[Gnidodav]

Пара примечаний, возможно не по теме.
1. Использование Lancyos3 ресайзера и устранение "гребенки" не имеют ничего общего (разве что размер кадра по вертикали уменьшается вдвое, но в этом случае любой ресайзер прокатит)
2. max frame interval -1 - я так понимаю, что имеется ввиду max I-frame interval? Если да, то может в этом и кроется корень проблемы?
3. Почему 1Pass CBR? Два прохода с переменным битрейтом все же получше будут + можно поэксперементировать с Curve Compression = возможное улучшение качества.