Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Хочу все знать (http://forum.oszone.net/forumdisplay.php?f=23)
-   -   [решено] Скачать с сайта определенные файлы автоматически (http://forum.oszone.net/showthread.php?t=314332)

biomirror 28-04-2016 01:44 2630273

Скачать с сайта определенные файлы автоматически
 
Здравствуйте!
Есть сайт с перечнем уроков http://www.bbc.co.uk/worldservice/le...eepisode.shtml

По каждой из этих ссылок каждый урок представлен более подробно http://www.bbc.co.uk/worldservice/le...agepoint.shtml
И на каждой из этих страниц есть файл "Download this page" http://downloads.bbc.co.uk/worldserv...guagepoint.pdf

Хотел бы скачать с каждой страницы эти файлы. Но страниц многова-то, поэтому хотел бы знать, как это можно сделать в автоматическом режиме.

Yewgeniy 28-04-2016 08:36 2630292

Почему-то мне кажется, что если нет желания покликать по ссылкам, то работать со скачанным материалом не хватит ни сил, ни времени, ни мотивации... Миллионы людей так учатся: скачивают гигабайты учебников, и на том учеба заканчивается. Это очень распространенная проблема.

biomirror 28-04-2016 09:41 2630303

Цитата:

Цитата Yewgeniy
Почему-то мне кажется, что если нет желания покликать по ссылкам, то работать со скачанным материалом не хватит ни сил, ни времени, ни мотивации... »


Честно говоря, я пока и не собираюсь по ним заниматься. Меня интересует только то, что заявлено в теме - возможность скачивать автоматически определенные материалы с сайта.

Покликать по ссылкам, я всегда смогу, большого ума не надо. А вот придумать, как сделать так, чтобы не кликать (ни в данном случае, ни в будущем) - здесь нужные определенные знания и опыт, которых у меня пока нет. Поэтому обращаюсь за помощью сюда на форум.

Iska 28-04-2016 10:26 2630309

Цитата:

Цитата biomirror
Меня интересует только то, что заявлено в теме - возможность скачивать автоматически определенные материалы с сайта. »

Любой граббер сайтов: Teleport, HTTTrack Website Copier и т.п.

x0r 28-04-2016 11:09 2630318

Можно Wget заюзать.
Код:

wget -r -nd -l1 -N -A.pdf -i "http://www.bbc.co.uk/worldservice/learningenglish/081222_download.shtml" -P c:\wget\%RANDOM%

biomirror 28-04-2016 15:36 2630393

Пытался HTTTrack использовать. Не получилось с ним.
Нашел в Internet download manager групповое скачивание файлов в Задачи-добавить группу файлов для скачивания

Но так удалось скачать лишь до 79 файла. С 80 - появилось две переменные: номер эпизода и имя файла. К такому жизнь данную опцию не готовила.
Пришлось использовать граббер IDM (всегда не мог понять, как им пользоваться). Кое-как настроил, анализ сделал на глубину 2 уровня. - и все равно пришлось ждать, пока он все посчитает. Но все-таки дождался.
Имена файлов никак не отражали номер эпизода. Ладно хоть состояли из набора чисел по возрастанию - чем больше номер эпизода, тем больше число. С помощью Ренеймера успешно переименовал.

Yewgeniy 28-04-2016 16:20 2630408

Я так понял, задача чисто академическая. Но такому учиться нет смысла, потому что применение того или иного способа зависит от реализации конкретного сайта. Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая.

biomirror 29-04-2016 10:33 2630583

Цитата:

Цитата Yewgeniy
потому что применение того или иного способа зависит от реализации конкретного сайта »

На большинстве сайтов граббер помогает. Да и по сути, скачивание контента с сайтов можно разделить на несколько основных групп: Скачивание картинок (автоматическое) , swf файлов и видео (в том числе потоковое) - по сути надо иметь 3- 5 программ. В большинстве случаев одним IDM можно обойтись.
Цитата:

Цитата Yewgeniy
Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая. »

А людям не жалко. А тем кому жалко, к тем не ходят)

topotun32 29-04-2016 13:13 2630634

Цитата:

Цитата biomirror
Цитата Yewgeniy:
Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая. »
А людям не жалко. А тем кому жалко, к тем не ходят) »

Возможно, дело не в жалости, а в непонимании вопроса.

Yewgeniy 29-04-2016 13:15 2630635

И мне не жалко. Но такое поведение (скачивание впрок) обычно ведёт в никуда. Скачиваются гигабайты, обрабатывается ноль. Качальщики обычно не могут остановится и продолжают качать. Качать для них - самоцель. Им от этого пользы нет, а владельцу сайта скорее вред: лишний трафик, искажение статистики.

Iska 29-04-2016 14:36 2630671

Yewgeniy, напомнило:
Скрытый текст
Цитата:

Недавно, выхожу из МетрЫ, читаю, Книжный магАзин. Народ стоит, подхожу к одному, вылитый такой, дОцент.
- Шо дают?
Оказывается ДюмУ дают. Книжка такая. Не помню кто автор. А к вечеру обещали ГюгЮ выбросить. Ну я ж в очереди стоять не стал, я ж нормальный. Зашел с черного входа, подарил продавщице кое что из галантереи, ну она мне положила полный пОртфель, и ГюгЮ, и ДЮму, и Му-му.
У меня дома цельная библиОтека, читай не хочу. А че читать, читать каждый дурак умеет. Ты попробуй достать, тогда я скажу что ты культурный человек.

:).

Yewgeniy 29-04-2016 15:34 2630694

Обратите внимание, совок упал, когда народ затарился гюгами, дюмами и мумами.

topotun32 30-04-2016 15:05 2630909

Yewgeniy, это синдром библиотекаря - книги, кассеты, диски. Теперь цифровой контент. Поэтому скорости современного интернета зло - качал я минут, а смотрет/слушать/читать полгода.

Yewgeniy 30-04-2016 16:04 2630921

Цитата:

а смотрет/слушать/читать полгода.
Кто "накачивает" много, то не станет смотрет/слушать/читать. Это такой синдром "цифрового месси". Такие люди теряют "накачанное" сотнями гигов и террабайтами, когда ломается ЖД и тп. А потом начинают качать опять и опять...

Iska 01-05-2016 00:05 2631030

Цитата:

Цитата topotun32
это синдром библиотекаря »

Цитата:

Цитата Yewgeniy
Это такой синдром "цифрового месси" »

Синдром Плюшкина.

P.S. Классику, классику надо читать.


Время: 07:47.

Время: 07:47.
© OSzone.net 2001-