[no404error]

fantik
Собирать данные с ~9000 страниц. Кусок текста между X и Y.

[fantik]

no404error,
Насколько часто? Видишь, даже при хорошем интернете по 1-1,5 секунды уходит на запрос версии, соответственно, с 9000 страниц выйдет 3-4 часа...

Или многопоточную писать, или в веб переводить, что, в принципе, тоже означает писать многопоточную.

Напиши в аську, 389893, поговорим, если интересно, насчет заточек под конкретные нужды

[no404error]

fantik

Насколько часто?

Раз в месяц.

Видишь, даже при хорошем интернете по 1-1,5 секунды уходит на запрос версии,

Выделенка на конкретный сервер - 4 мегабита.

соответственно, с 9000 страниц выйдет 3-4 часа...

Хорошо бы и так, но он с определенного момента перестает собирать, а просто выдает Error на все.

Или многопоточную писать, или в веб переводить, что, в принципе, тоже означает писать многопоточную.

В чем и суть. Самому мне лениво, имхо дохода с этого - 0. До этого я собирал (жуть) wget + сортировка miopad-ом + чистка руками Думал смогу автоматизировать, но не вышло.

p.S. Сейчас пройду вторым разом и отпишу с какой его начинает трясти. Может полезным окажется

[fantik]

no404error,

Да у меня, в принципе, память очищается после каждой итерации, собственно, переполнений никаких быть не должно. Расчитывал на 20-30 сайтов, но, полагаю, и пару десятков тысяч должна выдержать программа, если, конечно, это на экран не в таблице выводить, ибо сама визуальная табличка на 20000 строк будет жрать очень прилично ресурсов.

Если рассматривать вывод, например, в файл, то вообще проблем никаких у вас не будет. Могу дополнить, это не сложно.

В принципе, и количество потоков могу сделать вариабельным, тоже не тяжело

[no404error]

fantik
После 200 - затыки, после 1000 - сплошные Error.

И результаты не сохраняет.

[fantik]

no404error,
результаты не сохранит - там кликать надо не каждой строке

А можно ваш ini-файлик глянуть?

[no404error]

fantik
В личке варианты

[fantik]

no404error,

У меня 502 Bad Gateway выдает на все УРЛы.

А не может ли быть включена на сервере защита от кучи пакетов, идущих с одного айпи? Сомневаюсь, чтобы программа была виновата. Она ж простая, как два пальца...

Кстати, посмотрите, что отвечает сервер после прохождения всего списка - просто войдите в редактирование, и выберите "Код HTML", что выдаст, интересно

[no404error]

fantik

У меня 502 Bad Gateway выдает на все УРЛы.

Он закрыт для внешних IP.

[fantik]

Он закрыт для внешних IP. »

Это, безусловно, здорово. Но не мог бы ты сам в таком случае проверить реально, что выдает сервер после всех попыток доступа?