Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Сфера Microsoft » Программное обеспечение Windows » Интернет - wget

Ответить
Настройки темы
Интернет - wget

(*.*)


Сообщения: 36491
Благодарности: 6675


Конфигурация

Профиль | Сайт | Отправить PM | Цитировать


Домашняя страница
wget для Windows
Текущая версия: 1.11.4

wget - менеджер закачек, работающий из командной строки. Его можно использовать как для загрузки отдельных файлов (списков файлов), так и для закачки целых сайтов. Гибкие настройки (не уступающие GUI менеджерам закачек) обеспечиваются соответствующими параметрами командной строки.

Цитата http://os2.in.ru/software/internet/wget/:
WGet неинтерактивная программа, что означает, что она может работать в фоновом режиме, без непосредственного участия пользователя. Это позволяет запускать загрузку файлов и останавливать ее автоматически.

Для сравнения, большинство Веб-браузеров требуют непосредственного и постоянного присутствия пользователя, что является тратой времени, особенно при перекачке большого количества информации.

WGet способен рекурсивно спускаться по структуре HTML-документа и дереву каталогов FTP-сервера, позволяя делать их копии на локальной машине. Это свойство полезно для зеркалирования серверов или для поиска в сети нужной информации в режиме WWW-робота.

При скачке файлов и зеркалировании с использованием FTP-протокола допускается использование шаблонов. WGet может анализировать время и дату создания файлов на HTTP и FTP серверах и сохранять ее на локальной машине. Таким образом, WGet может отслеживать изменение содержимого удаленного файла и перекачивать его новую версию автоматически в случае необходимости. Это делает WGet весьма полезным для зеркалирования как FTP-серверов, так и домашних HTTP-страниц.

WGet чрезвычайно хорошо работает при медленном или нестабильном коннекте, пытаясь скачать документ до тех пор, пока он не будет полностью скачан или не будет превышено определенное пользователем количество попыток. WGet пытается продолжить загрузку с того места, на котором она была прервана используя REST для FTP-серверов и Range для тех HTTP-серверов, которые его поддерживают.

По умолчанию WGet поддерживает прокси-серверы, которые могут разгрузить сеть, увеличить скорость загрузки и обеспечить доступ сквозь firewalls. WGet также опционально поддерживает пассивную загрузку для FTP-серверов.

Загрузка трассируется выводом на экран точек, каждая из которых соответствует определенному объему скачанной информации (1 Кб по умолчанию). Это значение может быть изменено пользователем.

Для большей части свойств доступно полное их конфигурирование пользователем путем использования опций командной строки или редактированием файла `.wgetrc'

Наконец, GNU Wget является свободно распространяемым программным продуктом. Это означает, что любой пользователь может работать с ним, распространять его и изменять в соответствии с GNU General Public License, опубликованной Free Software Foundation.
Справка:
Код: Выделить весь код
wget --help
Документация: EN / RU.

Простые примеры использования:
Закачать файл по ссылке
Код: Выделить весь код
wget URL
Продолжить закачку частично загруженных файлов; не перезаписывать существующие файлы; закачать файлы, ссылки на которые перечислены в текстовом файле list.txt; записать лог в log.txt
Код: Выделить весь код
wget -c -nc -o log.txt -i list.txt
P.S. Для тех кто не может жить без графического интерфейса:
wget GUI 1
wget GUI 2
Это сообщение посчитали полезным следующие участники:

Отправлено: 06:04, 03-07-2005

 


Administrator


Сообщения: 25152
Благодарности: 3798

Профиль | Сайт | Отправить PM | Цитировать


Господа. Помогите нарисовать скрипт или batch с использованием wget для вот какой цели:
есть ftp
на нем определенное кол-во каталогов
в них подкаталоги, в которых файлы
необходимо скачать каталоги (с сохранением структуры) из корня, но только по времени модификации да еще и по условию, чтоб дата модификации была сегодня или вчера, а если в целевой папке (куда будет скачиваться) присутствуют каталоги, которые пытаемся скачать, то пропускать их
при этом еще нужно исключить подкаталоги по маске

Примерное содержимое нужных каталогов:

Если отталкиваться от примера, то мне нужно скачать каталог 23_10, модифицированный сегодня (или вчера), со всем содержимым, с сохранением структуры подкаталогов, но исключить подкаталог СС-22_10

__/22_10/
| |
| |_____/AA-22_10/
| | |
| | |________file1.ext
| | |________file2.ext
| |
| |_____/BB-22_10/
| | |
| | |________file1.ext
| | |________file2.ext
| |
| |_____/СС-22_10/
| |
| |________file1.ext
| |________file2.ext
|
|_/23_10/
| |
| |_____/AA-23_10/
| | |
| | |________file1.ext
| | |________file2.ext
| |
| |_____/BB-23_10/
| | |
| | |________file1.ext
| | |________file2.ext
| |
| |_____/СС-23_10/
| |
| |________file1.ext
| |________file2.ext

-------
FAQ по Windows 10 .::. Настройка Центра обновления в Windows 10 .::. Чистая установка Windows 10 – пошаговая инструкция


Отправлено: 10:29, 24-10-2008 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


(*.*)


Сообщения: 36491
Благодарности: 6675

Профиль | Сайт | Отправить PM | Цитировать


Blast, а локально уже существует аналогичная структура или нужно изначально выбрать только определенные каталоги?

-------
Канал Windows 11, etc | Чат @winsiders


Отправлено: 23:02, 25-10-2008 | #3



Administrator


Сообщения: 25152
Благодарности: 3798

Профиль | Сайт | Отправить PM | Цитировать


сорри.. я пропустил ответ

Локально нет структуры, есть только папка назначения, в которую и нужно это дело скачать. По большому счету не обязательно это должен быть wget, мне просто показалось, что с ним должно быть проще чем с виндовым ftp. Конечно хотелось бы отделаться командной строкой так как выполнять задание нужно по расписанию.

-------
FAQ по Windows 10 .::. Настройка Центра обновления в Windows 10 .::. Чистая установка Windows 10 – пошаговая инструкция


Отправлено: 18:27, 31-10-2008 | #4


(*.*)


Сообщения: 36491
Благодарности: 6675

Профиль | Сайт | Отправить PM | Цитировать


Blast, в общем, я не знаю, как задать маску для папок. Ее можно задавать в виде черного и белого списка для имен/расширений файлов. Там есть опции Accept, Reject. Например,
Код: Выделить весь код
-A "*22_[0-9][0-9]*" -R .txt
загрузит все файлы от 22_00 до 22_99 кроме текстовых.

Для папок есть свои - Include, eXclude, но я не знаю, поддерживают ли там маски. В мануале написано, что нужно указывать пути относительно корня.
Код: Выделить весь код
- I /files,/images -X /junk
.

В общем, если структуру создать (один раз сделать зеркало), то дальше wget уже не будет загружать неизменившиеся файлы/папки. Команда примерно такая:

Код: Выделить весь код
wget --ftp-user=user --ftp-password=password -l 2 -r -N -k host
Код: Выделить весь код
-l 2 - два уровня (насколько я понял, из структуры)
-r - рекурсивно
-N - time-stamping. Если локальный файл отсутствует или старее того, что на сервере - новый файл загружается. Иначе нет.
-k - (необязательно) конвертирует ссылки в док-тах для локального просмотра
host - адрес

-------
Канал Windows 11, etc | Чат @winsiders


Отправлено: 01:07, 01-11-2008 | #5


Аватара для vovansa

Пользователь


Сообщения: 145
Благодарности: 39

Профиль | Отправить PM | Цитировать


с помощью wget файлы можно переименовать? Если возможно, то каким образом.

-------
Будучи трезвым, претворите в жизнь все свои пьяные обещания — это научит вас держать язык за зубами. © Эрнест Хемингуэй.


Отправлено: 23:53, 01-08-2010 | #6


(*.*)


Сообщения: 36491
Благодарности: 6675

Профиль | Сайт | Отправить PM | Цитировать


vovansa, насколько я знаю, нельзя. Можно только конвертировать ссылки для локального просмтора (-k). А что конкретно требуется?

-------
Канал Windows 11, etc | Чат @winsiders


Отправлено: 19:19, 06-08-2010 | #7


Аватара для cher

ветеринар


Сообщения: 1507
Благодарности: 168

Профиль | Сайт | Отправить PM | Цитировать


Дабы не создавать новую тему.... так и не "добил" закачку файлов с сервера.
к примеру имеем адрес http://yaidiot.ru - 20 папок с файлами.
Надо всё содержимое скачать в C:\2 без изменения структуры.
Добился только скачивание index.html

-------
Коми форум


Отправлено: 00:30, 31-12-2011 | #8


Аватара для Morpheus

Ветеран


Сообщения: 12426
Благодарности: 2328

Профиль | Отправить PM | Цитировать


cher, вы рекурсивную загрузку включили? Ссылки на главной странице на эти файлы есть? Если ага, то примерно так:
Код: Выделить весь код
cd /d c:\2
wget -r -l0 -np -k http://yaidiot.ru
Не забывайте читать --help


Если ссылок нет, придётся составлять список и уже его подпихивать wget'у.
Это сообщение посчитали полезным следующие участники:

Отправлено: 02:58, 31-12-2011 | #9


Аватара для cher

ветеринар


Сообщения: 1507
Благодарности: 168

Профиль | Сайт | Отправить PM | Цитировать


Morpheus, Спасибо. Всё получилось.
откуда русскоязычный хэлп?

Последний раз редактировалось cher, 31-12-2011 в 07:41.


Отправлено: 07:33, 31-12-2011 | #10



Компьютерный форум OSzone.net » Сфера Microsoft » Программное обеспечение Windows » Интернет - wget

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Установка из портов через PROXY (wget нету в настройках) kaEwituS Общий по FreeBSD 16 02-05-2009 21:19
Wget разбил скачиваемый ISO файл на две части, как теперь склеить? sfap Программное обеспечение Linux и FreeBSD 2 23-11-2007 12:44
как пользоваться wget ptt Хочу все знать 4 21-02-2004 01:06
Wget Michelleq3 Программное обеспечение Linux и FreeBSD 6 30-10-2003 22:39




 
Переход