[debug]

А зачем совпадение с именем домена? Настройте IIS так, чтобы сайт, в котором находится owa, принимал коннекты с любым host header.

[dim-soft]

настроил, но ie ругается, об ошибке сертификата (IP адреса интерфейса hamachi нет в сертификате, там как я понимаю внешний интерфейс)

[debug]

Ну так само собой.
Ругается он не из-за ip-адреса, а из-за того, что сертификат выписан на одно доменное имя, а обращаетесь вы к нему по другому. Кажись в IE можно просто проигнорить это предупреждение про сертификаты, и всё)

[dim-soft]

так ie можно сказать игнорировать (хотя неправильно это), а rpc over http в outlook-e там нельзя игнорировать.

[debug]

Короче, смотрите сертификат в IIS-е. На какое доменное имя он выписан. Если не на то, через которое пытаетесь зайти снаружи - получите сертификат на нужное имя...

[dim-soft]

прописал в локальном hosts ip от hamachi , имя домена, перестал ругаться, только как сейчас контроллер будет видеть пока не знаю
outlook rpc over http тоже заработал