[DJ Mogarych]

покупаю домен, поднимаю DNS-сервер и прописываю в нём MX-запись - то работать будет? »

Ещё A-запись и PTR-запись для самого почтового сервера. Да, будет.

Но спамеры ведь легко могут сделать так же. »

Но не делают, потому что быстро окажешься в чёрных списках DNS, и каждый раз возюкаться с заведением всех этих записей никакого времени не хватит.

что мешает подменить адрес отправителя в письме, указав там реальный домен? »

Для этого как раз и существует обратный DNS (PTR-запись). Сервер перед получением письма проверяет, соответствует ли домен, указанный в почтовом адресе отправителя, IP-адресу. Если не соответствует, письмо не принимается.