В самой программе R3Crypt есть хорошее описание как работать с работать - кнопочка меню Информация.
Переименовывать расширение распакованных файлов в принципе не обязательно - RFT-DDS корректно переводит рфтдсс в ддс и обратно, если расширение файла задано в нижнем регистре.
Если у вас возникает ошибка при работе RFT-DDS, то вполне возможно используете какую-то левую программу. Качаем тут
Если после обработки файла все равно не открывается, то тут я ничем помочь не могу - кривые руки и тупые мозги лечить не умею.