[QRS]

и имеются тормоза »

Если проблема имеет место при подключении с клиента с Windows Vista/Win7, то решить проблему поможет:

netsh.exe interface tcp set global autotuninglevel=highlyrestricted
или
netsh.exe interface tcp set global autotuninglevel=disabled
(выполнять нужно под имене администратора с повышенными привилегиями)

как посоветуете обезопасить сервер »

Имеет смысл как минимум использовать IPSec (ESP) для протокола RDP или любой VPN, что позволит шифровать трафик по порту 3389 (в службах RDP эпизодически находят уязвимости, т.ч. открывать прямой доступ к RDP из Инета не стоит).

поставить фильтр по ip ? »

Каким ПО Вы располагаете для установки таких фильтров (KIS, NOD32 ESS, TInspector, Kerio и т.п.)?
Если возможность поставить фильтр есть, а VPN или IPSec не приемлимы, то ставьте фильтры (но тогда все внешние клиенты должны иметь статические публичные адреса).

PS: Win2008 решило бы Ваши проблемы по фильтрации без стороннего ПО.