попытки взлома
 

начальство дала задачу, чтобы я мог в любой момент узнать о попытках взлома, чтобы в случае чего просто выключить сервер
как можно настроить чтобы мне приходили или смс или на почту письма о попытках взлома сервера?

в новом Евент Вьюере можно настроить отправку письма в случае определённого сообщения в определённом журнале.
Выбирайте нужный номер сообщений, который хотите мониторить, и в путь.

заодно, как можно проверить сервер на взлом? тоесть протеститьвать возможно ли в принципи взломать мой сервер?

да. позвонить в http://www.ptsecurity.ru/ и они за деньги вам проверят...
читайте логи.