[Guyver]

По сути вопроса не могу ничего конкретного подсказать, причин может быть множество.
А почему не используешь VirtualDubMod? Разбиваем иходник на видео и аудио потоки, отдельно кодим каждий из них. Я использую для видео - VirtualDubMod, для аудио - RazorLame(mp3) или HeadAC3he(ogg Vorbis), пользовался еще Nero Wave Editor(mp4), но он мне не нравится, т.к. получающийся с помощью него звук тише, чем в оригинале. Далее объединяем (опять же в VirtualDupMod, если звук в cbr mp3 или в ogg, либо Nandub для vbr mp3) получившиеся видео и аудио потоки в контейнер avi(не лучший вариант, при vbr mp3 часто возникает рассинхронизация) или mkv( ), либо пользуемся mp4box(+Yamb), если есть желание сохранить в контейнере mp4.
That's all. Если исходник не битый, то глюков с остановкой я не замечал.