[Amin]

Посмотрите, что пишет в логи а) демон sshd (/var/log/ssh...) б) сама ОС (/var/log/messages)
Учитывая, что мы через ssh вытаскиваем куда более значительные объемы, предположу, что у вас либо слишком параноидально-криво настроен файерволл (бывают такие умельцы, увлекающиеся бешеными модулями iptables без понимания логики их работы), либо нестабильно работающая сеть.