[no404error]

fantik

Насколько часто?

Раз в месяц.

Видишь, даже при хорошем интернете по 1-1,5 секунды уходит на запрос версии,

Выделенка на конкретный сервер - 4 мегабита.

соответственно, с 9000 страниц выйдет 3-4 часа...

Хорошо бы и так, но он с определенного момента перестает собирать, а просто выдает Error на все.

Или многопоточную писать, или в веб переводить, что, в принципе, тоже означает писать многопоточную.

В чем и суть. Самому мне лениво, имхо дохода с этого - 0. До этого я собирал (жуть) wget + сортировка miopad-ом + чистка руками Думал смогу автоматизировать, но не вышло.

p.S. Сейчас пройду вторым разом и отпишу с какой его начинает трясти. Может полезным окажется