Ясно. Мой вердикт - драйвер выставляет modeline неоптимальный для данного монитора. Так бывает со старыми мониторами с аналоговым подключением, когда EDID глючит.
У меня сейчас нет под рукой десктопа с линуксом (ну и старого монитора), не могу проверить, так что извиняюсь, могу лишь дать направление куда копать -
https://kodi.wiki/view/Creating_and_..._via_xorg.conf
Обратите внимание на пункт 2.3 Method 3: Nvidia Xorg driver log parsing
