Доброго времени суток. В модальном окне нет этого свойства. Передавайте в него ссылку на материнское окно самостоятельно:
Код:
var mWin = window.showModalDialog('/some/url', self, 'some properties of modal dialog');
В модальном окне получить ссылку можно как:
Код:
var opener = window.dialogArguments;
