[Coutty]

Несколько способов:
После того, как вы выделили ненужные (или наоборот - нужные) области, заходите в меню Select, а там:
- 1 вариант: Modify->Smooth. В окошке указать область размытия. В зависимости от разрешения. Для 800х600 хватит 2-4 пикселов. Затем выделенную область можно удалить.
- 2 вариант: Refine Edges. Тут куча настроек. Тот же Smooth можно применить или ещё чего понастраивать.

Альтернативный вариант: выделение производить мягкой кистью в режиме быстрой маски - тогда выделенная область сразу будет сглаженной.

Ну и конкретно по вышеприведённому фрагменту: копируете слой, а затем к нижнему применяете фильтр Blur->Gaussian Blur в несколько пикселов - опять же, в зависимости от разрешения. Если, конечно, на слое с портретом у вас внешняя область прозрачная.

Кстати, в пятом фотошопе есть инструмент Quick Selection Tool (поищите на панели инструментов - горячая клавиша W). Используя эту кисть совместно с Select->Refine Edges, можно производить выделение объектов с большой точностью и очень высокой скоростью.