[vadblm]

В логах IMAP сервера что?

[Rubichek]

спасибо проблему решить reboot
и в конфиге main.inc.php

заменил - $rcmail_config['imap_auth_type'] = LOGIN; на $rcmail_config['imap_auth_type'] = PLAIN;

и еще $rcmail_config['imap_auth_type'] = 'CRAM-MD5'; было null

не уверен не совсем правильно но залогинится в roundcube может пользователь с группы wheel.