[решено] Скачать с сайта определенные файлы автоматически

Yewgeniy · Отправлено: **08:36, 28-04-2016** | #2

Почему-то мне кажется, что если нет желания покликать по ссылкам, то работать со скачанным материалом не хватит ни сил, ни времени, ни мотивации... Миллионы людей так учатся: скачивают гигабайты учебников, и на том учеба заканчивается. Это очень распространенная проблема.

biomirror · Отправлено: **09:41, 28-04-2016** | #3

Цитата Yewgeniy:

Почему-то мне кажется, что если нет желания покликать по ссылкам, то работать со скачанным материалом не хватит ни сил, ни времени, ни мотивации... »

Честно говоря, я пока и не собираюсь по ним заниматься. Меня интересует только то, что заявлено в теме - возможность скачивать автоматически определенные материалы с сайта.

Покликать по ссылкам, я всегда смогу, большого ума не надо. А вот придумать, как сделать так, чтобы не кликать (ни в данном случае, ни в будущем) - здесь нужные определенные знания и опыт, которых у меня пока нет. Поэтому обращаюсь за помощью сюда на форум.

Iska · Отправлено: **10:26, 28-04-2016** | #4

Цитата biomirror:

Меня интересует только то, что заявлено в теме - возможность скачивать автоматически определенные материалы с сайта. »

Любой граббер сайтов: Teleport, HTTTrack Website Copier и т.п.

x0r · Отправлено: **11:09, 28-04-2016** | #5

Можно Wget заюзать.

Код:

wget -r -nd -l1 -N -A.pdf -i "http://www.bbc.co.uk/worldservice/learningenglish/081222_download.shtml" -P c:\wget\%RANDOM%

biomirror · Отправлено: **15:36, 28-04-2016** | #6

Пытался HTTTrack использовать. Не получилось с ним.
Нашел в Internet download manager групповое скачивание файлов в Задачи-добавить группу файлов для скачивания

Но так удалось скачать лишь до 79 файла. С 80 - появилось две переменные: номер эпизода и имя файла. К такому жизнь данную опцию не готовила.
Пришлось использовать граббер IDM (всегда не мог понять, как им пользоваться). Кое-как настроил, анализ сделал на глубину 2 уровня. - и все равно пришлось ждать, пока он все посчитает. Но все-таки дождался.
Имена файлов никак не отражали номер эпизода. Ладно хоть состояли из набора чисел по возрастанию - чем больше номер эпизода, тем больше число. С помощью Ренеймера успешно переименовал.

Yewgeniy · Отправлено: **16:20, 28-04-2016** | #7

Я так понял, задача чисто академическая. Но такому учиться нет смысла, потому что применение того или иного способа зависит от реализации конкретного сайта. Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая.

biomirror · Отправлено: **10:33, 29-04-2016** | #8

Цитата Yewgeniy:

потому что применение того или иного способа зависит от реализации конкретного сайта »

На большинстве сайтов граббер помогает. Да и по сути, скачивание контента с сайтов можно разделить на несколько основных групп: Скачивание картинок (автоматическое) , swf файлов и видео (в том числе потоковое) - по сути надо иметь 3- 5 программ. В большинстве случаев одним IDM можно обойтись.

Цитата Yewgeniy:

Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая. »

А людям не жалко. А тем кому жалко, к тем не ходят)

topotun32 · Отправлено: **13:13, 29-04-2016** | #9

Цитата biomirror:

Цитата Yewgeniy:
Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая. »
А людям не жалко. А тем кому жалко, к тем не ходят) »

Возможно, дело не в жалости, а в непонимании вопроса.

Yewgeniy · Отправлено: **13:15, 29-04-2016** | #10

И мне не жалко. Но такое поведение (скачивание впрок) обычно ведёт в никуда. Скачиваются гигабайты, обрабатывается ноль. Качальщики обычно не могут остановится и продолжают качать. Качать для них - самоцель. Им от этого пользы нет, а владельцу сайта скорее вред: лишний трафик, искажение статистики.