[atomic]

памяти у тебя достаточно. Посмотри где фотошп берет Темп.
правка-настройки-плагины и рабочие диски. выбери первым тот диск где побольше места есть. мин 4 Гб.
дальше любые. перезапусти фотошоп.

Если у тебя фотошоп 8 то у него есть еще и максимальный размер обрабатываемого файла макс 2036 Мб
правка-настройки-файловый браузер.

Если не получится то переконверти файл в другой формат. ACDSEE не лучший вариант но получается.

Если можешь заново отсканерить то сканери с пом фотошопа
файл-импорт-(модель сканера) тогда сохраняешь уже в фотошопе в любом формате. и все без проблем.

а своп сделай мин и мах одинаковым, например 900 Мб. тебе и этого с головой. желательно на отдельном разделе диска, поближе к первому разделу C:\, например на D:\. диск D:\ сделай 2 Гб.