Полазив по инету и пораскинув мозгами, проблема решилась следующим образом:
Код:

<Class ban>
From ban_host
</Class>
<Class goodnet>
From 1.2.3.0/24
</Class>
TransferRate RETR,STOR,APPE 1024 user gooduser #скорость для нужных юзеров
TransferRate RETR,STOR,APPE 64 class ban #ограничил скорость для "вредных"
TransferRate RETR,STOR,APPE 768 class goodnet #скорость для "быстрой" сети
TransferRate RETR,STOR,APPE 128 class !goodnet #скорость для остальных сетей
Приоритет правила зависит от того, каким по-очереди вы его поставите. У меня все это заработало на ура
