А исходник не зашумленный был? Да и битрейт гдето 1400 всего(насколько я понял) - а движения много очень, рука же не штатив

Попробуй если есть шум добавить в скрипт строку TemporalSoften(4,3,6,15,2). Так же стоит увеличить битрейт до ~2000 и убрать деблокинг до -4,-3. Если и так не поможет, тогда попробуй режим Constant Quality с квантизером 18-23(попробуй разные - пока не найдешь нормальное для себя соотношение размер\качество).