WMV9 от МастДая
 

Посоветовали мне как-то сравнить кодеки vp6 и wmv9 - мол у wmv9 тож никаких квадратиков квантизации нету. Ну кодек я скачал, установил, а настроек там оказалось не меньше, чем у vp6. Ну, ясен перец, что я в них ни хрена не понял. Так вот вопрос: может кто знает как настраивать этого монстра или где почитать об етым??

Поищи официальную документацию к кодеку.
Например к VP62 идет хорошее описалово, на английском.

В интернете я не нашел ничего 8(

Она-то есть на сайте дяди Билла, но...
И для прочтения придеться учить англиЦкий. :(