[mrcnn]

а я пошёл дальше: сейчас пишу программу ,которая парсит файлы, которые качает Оффлайн Эксплорер, заодно занимается всеми вопросами хранения всех урлов в своей базе данных, а на выходе по запросу генерирует список для закачки для Reget Deluxe. свой парсер - лучше всего. недостаток - много времени надо, чтобы её отлаживать, ну а так - универсальное решение.

А я вот писал перловый скрипт закачки сайтов и отдельных файлов. Работа с сокетами, парсер html, многоуровневая закачка со всех сайтов, обработка расширений закачиваемых файлов, работа с куками, шедулер, поддержка докачки как файлов так и сайта и т.п. Правда работает скрипт только по протоколу html, корректность получения файлов не проверяется, ссылки остаются несвязанными между собой, работает не со всеми сайтами и есть множество прочих недоработок.