AVEX
А в исходном видеопотоке их нет?
Далее
1. Что за исходник?
2. Какие версии кодеков?
3. Как сжимал - через avisynth, напрямую, или еще как-то
4. Что делал с видео - какиен фильтры применял
5. Ну и до кучи - параметры кодеков - битрейт, и другие, что сам менял, а не дефолтные брал.

SilentSpider
1. В исходнике квадратов нет(видео обработано в Pinnacle Studio и сжато кодеком MJPG, то же можно сказать и о захваченном с цифровой камеры материалом кодеком DVSD, проверял так же и другие варианты- сжимал отличного качества DVD фильм Dvix-ом с большим битрейтом-результат безутешный-те же квадратики)

2. Сейчас экспериментирую: вместо Dvix-а v.5.2.1. установил старую версию Dvix v.5.0.5, XviD Codec Build 06.02.2003 Koepi сейчас стоит, до этого стоял какой-то последний(скачивал с инета). K-Lite Codec Pack не устанавливал, т.к. после его установки потом невозможно что-то установить новое, даже после его удаления(где-то капитально прописывается)

3. В основном работаю VirtualDub 1.6.1.(больше возможностей), пробовал WinMPG Video Convert и Pinnacle Studio - безутешно

4. В VirtualDub в основном использовал фильтр Resize(доводил до размера 512x384) с режимом фильтра Lanczos3(для устранения гребёнки), выбираю кодек XviD-битрейт 1200-3000кбс, max frame interval -1, Quantization type- H.263 или MPEG, Encoding Mode- 1Pass CBR, FourCC used - Xvid, всё остальное по умолчанию

5.Честно, не знаю на что грешить: последнее время я перешел на Windows XP+SP2, до этого пользовался Windows XP+SP1 при последнем раскладе проблем не было, но это не факт, раньше я так же не пользовался Quick Time, версии других программ были более ранние. Пробовал у товарища на другом компе восстановить ту же програмную среду, что и у себя-наблюдается интерессная картина-при кодировке XviD-ом расстановка та же, а вот Dvix-ом всё ОК, не может же разное железо оказывать влияние по разному(хотя не утверждаю что на обоих компах проги были на 100% одинаковы). Уже перепробовал кучу вариантов с использованием различных вариантов настроек VirtualDub, программной среды Винды - пока безрезультатно.

[Gnidodav]

Пара примечаний, возможно не по теме.
1. Использование Lancyos3 ресайзера и устранение "гребенки" не имеют ничего общего (разве что размер кадра по вертикали уменьшается вдвое, но в этом случае любой ресайзер прокатит)
2. max frame interval -1 - я так понимаю, что имеется ввиду max I-frame interval? Если да, то может в этом и кроется корень проблемы?
3. Почему 1Pass CBR? Два прохода с переменным битрейтом все же получше будут + можно поэксперементировать с Curve Compression = возможное улучшение качества.

[Igor_D]

http://www.aziendeassociate.it/cd///XviD.cvs.head.exe Хвид 1.1 версия за прошлый месяц, которая идёт в последнем AutoGordianKnot. Все старые версии уже давно пора забыть.

Gnidodav

Пара примечаний, возможно не по теме.

Это вряд ли

Использование Lancyos3 ресайзера и устранение "гребенки" не имеют ничего общего (разве что размер кадра по вертикали уменьшается вдвое, но в этом случае любой ресайзер прокатит)

Вряд ли у AVEX исходный кадр размером 1024х768, хотя все может быть. И не есть ли квадраты результат некратного ресайза кадра с гребенкой?
AVEX

Сейчас экспериментирую: вместо Dvix-а v.5.2.1. установил старую версию Dvix v.5.0.5, XviD Codec Build 06.02.2003 Koepi сейчас стоит,

Старые версии кодеков вообще ставить не стоит. Ничего хорошего в них нет.

4. В VirtualDub в основном использовал фильтр Resize(доводил до размера 512x384) с режимом фильтра Lanczos3(для устранения гребёнки), выбираю кодек XviD-битрейт 1200-3000кбс, max frame interval -1, Quantization type- H.263 или MPEG, Encoding Mode- 1Pass CBR, FourCC used - Xvid, всё остальное по умолчанию

Насчет числа проходов Gnidodav правильно сказал. Двупроходное кодирование в подавляющем большинстве случаев дает лучший результат, кроме совсем специальных. Далее - какой исходный размер кадра? действительно 1024х768? Деинтерлейс лучше делать соответствующими фильтрами - AlparySoft Deinterlace - в дабе - или если извратов особо нет - его внутренними фильтрами. Если уж кадр действительно такой большой - можно выкидывать четные/нечетные поля и делать resize. Попробуй на умолчальных настройках кодеков. Это не идеал, но достаточно приличный результат у тебя получится. А потом от него уже плясать

SilentSpider
По поводу исходника - 768*576(без обрезки)
Xvid-ом и Divx прогонял на 2 прохода результаты разные: Divx -без изменений,Xvid-картинка стала практически идеальной, но размер...(при битрейте 3000, без аудио, 2-х минутный ролик весит 134 мешка).
Буду пробовать ваши подсказки, если у вас появятся ещё соображения по моему вопросу-примного благодарен. Благодарю всех кто откликнулся на мою проблему!