Поставь правильный кодек. Чтобы узнать, какой нужен воспользуйся программой типа GSpot
http://www.headbands.com/gspot/. Она имеется в наборе K-Lite Codec Pack. Если вручную, то открой AVI в программке типа WinHex или Lister (Total Commander), посмотри на заголовок. Там указывается 4-байтовые идентификаторы кодека-создателя. Например, для DivX5 будет "DX50".
