[xoomer]

alvastar

Может не хватает блока питания на 300 Вт

Явно криминал. Небось и китайский ещё? И процессор Presscott? 450Вт минимум для вашей конфигурации. А то проблемы не только с видео, а и проблеммы с аппаратной частью ПК будут. Даже лучше 500Вт, так как два жёстких диска и видео мощное.

Дальше:

Иногда при этом гаснет изображение на мониторе, и появляется надпись Out of range

Скорее всего нехватает питания видеокарте.

А чем захват видео идёт? Видеокарта с TV-In или отдельная плата захвата?

В 80-90 процентов случаев виной этих лагов слущит непомерно слабенький БП. Меняй как можно скорее.