[evpu]

Уфф.. ну спасибо тем кто хоть заглянул). Ошибка хитровыдрюченная. Естественно, по внешнему описанию подсказать было нечего.

1. Пачкорд взял НОРМАЛЬНЫЙ, не 3 метра странного вида, а 40см, с экраном, обжатый самолично, качественной свивки.
2. В настройках sysctl Linux-a есть параметры отвечающие за размеры входного-выходного буфера. Их пришлось подкрутить.

В моменты пиковых нагрузок, количество соединений превышало 500(!!!) в секунду, при этом диапазон по-умолчанию динамических портов (28 тыщ портов) перебирался менее чем за 60 сек, т.е еще до того, как истекал таймаут жизни ранее закрытых.

Поэтому:

3. В софте перед mysql_real_connect поставил небольшой настраиваемый delay.
4. Расширил диапазон выдаваемых динамических портов до 4000-65000
5. уменьшил системный таймаут "net.ipv4.tcp_fin_timeout" до 15 сек.

Ушло вроде.

И ответ, почему на localhost-е не глючило - просто MySQL-у было тесно, он не отвечал с такой скоростью, чтобы такое могло произойти. А на ненагруженном ничем сервере и не создавалось такого количества процессов.