[aviLeX]

что-то страшное рассказываешь
еще раз проверяй настройки, в первом проходе должен быть высьавлен внятный профиль, например AS @ L5, чуть ниже - Twopass 1st pass,
на втором - Twopass 2st pass, чуть ниже - Target bitrate kbps - окончательный битрейт.

На первом проходе кодек анализирует видео без учета битрейта, просто проходя весь отрезок с постоянным, максимальным квантом, потом, на основе полученных данных и учитывая заданный тобою (только тут) битрейт - кодирует второй проход.

С этим уж проблем быть не должно. В том числе и на 64разрядной тачке.