Можете уже не смотреть
Если что успели сделать, возвращайте назад.
Воспроизвел вашу проблему у себя. Действительно, растянуть окно дает, а вот уменьшить - нет, странно.
Значение размера этого диалогового окна хранится в одном из параметров в разделе
HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\ComDlg32\CIDSizeMRU
В принципе не будет вреда если вы удалите все параметры (после экспортирования подраздела конечно), которые имеют циферные имена. Но можете экспортировать этот подраздел и опытным путем, удаляя поочередно параметры, найти именно тот параметр, который отвечает за окно в Photoshop.
