![]() |
Внимание, важное сообщение: Дорогие Друзья!
В ноябре далекого 2001 года мы решили создать сайт и форум, которые смогут помочь как начинающим, так и продвинутым пользователям разобраться в операционных системах. В 2004-2006г наш проект был одним из самых крупных ИТ ресурсов в рунете, на пике нас посещало более 300 000 человек в день! Наша документация по службам Windows и автоматической установке помогла огромному количеству пользователей и сисадминов. Мы с уверенностью можем сказать, что внесли большой вклад в развитие ИТ сообщества рунета. Но... время меняются, приоритеты тоже. И, к сожалению, пришло время сказать До встречи! После долгих дискуссий было принято решение закрыть наш проект. 1 августа форум переводится в режим Только чтение, а в начале сентября мы переведем рубильник в положение Выключен Огромное спасибо за эти 24 года, это было незабываемое приключение. Сказать спасибо и поделиться своей историей можно в данной теме. С уважением, ваш призрачный админ, BigMac... |
|
Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Как скачать данные с сайта? |
|
Как скачать данные с сайта?
|
Новый участник Сообщения: 1 |
Привет, проблема такая. Дано задание - скачать с одного сайта довольно большой объём информации и забить его в таблицу.
Информации очень много и в ручную это сделать проблематично. Структура сайта - ссылки на карточки с подробной информацией которую и надо скачать. Есть ли программы для автоматизации такого процесса? |
|
Отправлено: 23:12, 18-05-2010 |
![]() Старожил Сообщения: 175
|
Профиль | Отправить PM | Цитировать как вариант - взять ХТМЛ сайта и прогнать его через JS где на выходе создается необходимая таблица. затем импорт данных в ексель, если надо. ну, скрипт придется писать самому...
алгоритм что-то типо: elements = element.getElementsByTagName(tagName); for (i=0;i<elements.length;i++) { if (elements[i].id=="filter") { ну и тут закидывать подходящие по фильтру ссылки в массив, после чего посещать каждую из них через XMLHttpRequest и обрабатывать полученные response по такому же принципу как отбирали ссылки } } |
Отправлено: 23:48, 18-05-2010 | #2 |
Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети. Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля. |
Ветеран Сообщения: 5624
|
Профиль | Отправить PM | Цитировать А можно использовать Teleport Pro и скачать все требуемые данные с сохранением структуры сайта, если это необходимо.
|
------- Отправлено: 01:23, 19-05-2010 | #3 |
Пользователь Сообщения: 54
|
Профиль | Отправить PM | Цитировать Как сделать на PHP скрипт чтоб дела такое получил урл - получил хтмл код страницы - перебрал текст выбрал слова на букву а - записал в базу - получил урл и тд. Список урлов известен, записать в базу сам могу, а вот заполучить в переменную код страницы вот это не знаю.
уже сам нашел $lines = file('http://mysite.ru'); |
Последний раз редактировалось enikei, 21-05-2010 в 15:27. Отправлено: 18:49, 20-05-2010 | #4 |
Новый участник Сообщения: 5
|
Профиль | Отправить PM | Цитировать Добрый день,
Если не сложно, поделитесь пожалуйста примером. Нужно посетить n-ное количество ссылок (известно), найти там нужный текст (в таблице) и скопировать его в строку таблицы в excel либо другой табличный или текстовый формат. |
|
Отправлено: 08:39, 23-11-2012 | #5 |
![]() |
Участник сейчас на форуме |
![]() |
Участник вне форума |
![]() |
Автор темы |
![]() |
Сообщение прикреплено |
| |||||
Название темы | Автор | Информация о форуме | Ответов | Последнее сообщение | |
Как скачать видео с сайта? | RooTC | Видео и аудио: обработка и кодирование | 1 | 20-02-2010 16:54 | |
Можно ли скачать панораму с сайта? | mailfannah | Хочу все знать | 9 | 16-07-2009 15:39 | |
Доступ - как скачать флеш-ролик с сайта | illusionmgs | Microsoft Windows 2000/XP | 1 | 04-06-2008 00:10 | |
Как скачать файл с сайта, если есть только POP3? | Yewgeniy | Хочу все знать | 17 | 16-11-2006 22:51 |
|