Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?

Coutty · Конфигурация компьютера

Если разметка и адреса всех страниц схожие, то реализовать сбор информации достаточно просто (адреса, например, имеют номера от 1.html до 300.html или что-то в этом духе). Кодируется, думаю, за час (плюсуем сюда время на формирование красивого отчёта, обновления по расписанию, создание интерфейса и т.п.)
Если надо на странице каталога выискивать ссылки и по ним скачивать страницы, то это сложнее, но незначительно. Опять же, "ровная" разметка значительно упрощает процедуру.

Да, ещё: если владелец сайта установил ограничения на загрузку страниц (например, не больше 10 штук в секунду или что-то в этом духе), то надо будет ещё предусматривать интервалы между запросами. Проф, может, это быстро сделает, а новичку придётся повозиться.

hellrised · Конфигурация компьютера

вообще надо не совсем сбор информации. есть код товара. этот код берется из таблицы (ее несложно сделать вручную - час/ два моего времени), ищется на сайте, определяется его наличие по соответствующей надписи (этот момент меня смущает больше всего), и ставится в таблице соответсвующая этому товару запись - есть он или отсутствует.
вообще скорость сканирования совсем не критична, критично делать это вручную.

Sham · Отправлено: **12:47, 07-09-2010** | #4

Регекспы подразумевают постоянство хтмл-кода. Удобнее сделать API для получения данных в удобном формате (XML,JSON и т.д.)

hellrised · Конфигурация компьютера

Регекспы - тут не пропущен пробел или точка?А то я нервничаю при виде этого слова.

Sham · Отправлено: **12:59, 07-09-2010** | #6

Регексп - регулярное выражение (много букв). Парсинг хтмл-кода идет в основном за счет них (preg_match и т.д.).

yurfed · Отправлено: **13:01, 07-09-2010** | #7

Регексп

Coutty · Конфигурация компьютера

Sham, думаю, речь идёт о разборе чужого интернет-магазина, т.ч. API вряд ли получится сделать. Или о своём всё-таки? Нет данных.

Цитата hellrised:

есть код товара. этот код берется из таблицы, ищется на сайте, определяется его наличие по соответствующей надписи, и ставится в таблице соответсвующая этому товару запись - есть он или отсутствует. »

Каким образом он ищется? Поисковым движком или подставляется куда-нибудь в адресную строку типа id=8387?
Найти конкретное слово в тексте - очень просто, если оно единственное на странице. Смущать не должно

А я в первую очередь подумал о простой функции поиска - без регулярных выражений.

hellrised · Конфигурация компьютера

магазин чужой.
Адреса страниц типа - http://www.адрес_магазина /код_товара_типа_AB123C /название_товара_с_подчеркиваниями_вместо_пробелов. html
если уж делать исходную таблицу кодов интересующих товаров, то вместе с его кодом можно воткнуть и адрес страницы.
Видимо поиск товара ни к чему, если его адрес известен. Остается автоматом найти метку "товар в наличии" или ее отсутствие. (в коде страницы даже мне не составило труда его найти вручную)

Coutty · Конфигурация компьютера

Ну что ж, если все ссылки будут, то вообще всё просто. А если страницы открываются даже по запросу http://www.адрес_магазина /код_товара_типа_AB123C / (без дальнейшей части), то и ссылки не нужны - кода хватит.

Вопрос решён?