[Angry Demon]

Котяра, APC Back-UPS CS 500 не обладает схемой стабилизации, поэтому тут ничего не сделать без UPS серии Smart.
Другой БП попробовать можно, единственное, я не уверен, что в напряжении дело. Для интереса можно проверить напряжение с выхода БП при подключенном модеме. Если падение относительно 12V небольшое, то дело, скорее всего в модеме.

Посмотри, в модеме нет вздувшихся конденсаторов?

Верно.

Почему?, обычные 12В.

Обычно, техника питается постоянным напряжением (DC), а тут переменное.