А причем DNS? Есть в ESM средство просмотра очереди. Выберите очередь, где висят письма на доставку во внешний домен, и посмотрите причину недоставки, она отображается в Additional Information.
На керио правило простое: Откройте траффик в обе стороны по 25 порту от сервера в интернет и обратно. Причем в обратном направлении NAT ставить нельзя. Для контроллера разрешите TCP 53 (DNS). Все.
