Показать полную графическую версию : Программы для поиска и удаления дубликатов файлов
Alex Cop
09-03-2006, 04:29
Задача такая. У меня есть 500 ДВд дисков, забитых фильмами MPG4. я собираю фильмы из интернета десятками за день. Я их списываю на диски и пополняю свою коллекцию. Очень часто фильмы на разных интернет ресурсах дублируются часто под разными именами, например Day Watch.avi = Дневной дозор.avi. фильмы я качаю с помощью Teleport Ultra, которая ведёт базу данных по тем фильмам, которые уже скачаны. А проблема в следующем: как наиболее удобным образом(минимум затрат моего времени) определять, какие фильмы уде есть в моей коллекции, и удалять их, а каких ещё нет, и оставлять их. Итак, я нашёл недавно программу фриверную MD5 Registry, которая сопоставляет файлы по МД5 соответствию. Но в ней есть один недостаток - каждый файл приходится удалять вручную... Есть програма MPsoft Undoublе, но она, к сожалению, не способна к кумулятивному накоплению файлов. В идеале я бы хотел найти программу, которая бы обладала удобной системой поиска, как, например, Offline CD Browser, каждый диск бы хранился в отдельном файле, в котором бы хранилась исчерпывающая информация о структуре файлов, а также и контрольной сумме. и чтобы она корректно сравнивала содержимое жёсткого диска с всем массивом компакт дисков. К сожалению, я не смог найти такой программы. Наиболее близка к идеалу MD5 Registry, но у неё есть пару не очень удобных моментов. Может кто-то знает похожие программы? Я сначала хотел сам написать такую программу, заточенную под эту задачу, но у меня мало свободного времени на это... после того, как я нашёл md5 registry, я отказался от идеи писать свою программу, но вот модуль для преобразования её быза данных я бы написал. Если никто мне не подскажет, что ж , буду пользоваться MD5 Registry. Заранее спасибо за ответ...
А вести список фильмов не пробовал? У меня например такой в екселе есть, и просто стоит ввести название и сразу определит есть такой или нет, ну конечно необходмы поля с оригин. названием и названием после корявого перевода.
Alex Cop
10-03-2006, 06:19
Да веду я списочек. это удобно, если добывается пару фильмов в день. А если в день их прибывает штук 40-50, то это можно задолбаться. а ищу я в файрфоксе - очень удобно. если надо найти. а вот если найти дубликаты, то проще повеситься:)
Alex Cop
12-03-2006, 05:10
Так, вот, за это время нашёл ТОЛЬКО одну программу, которая предназначена специально для этого. Называется duplibase. Но что мне в ней не понравилось,так это применение CRC32, а не МД5. Предназначена для удаления дубликатов с ХДД, имея в виду файлы списанные на ДВД.
стоит она 25 долларов, но для 25 долларов она ещё слишком сырая, и я не хочу её приобретать, она слишком простая...
Поиски продолжаются... желательно фриверную программу, которая написана с любовью и заботой о пользователе.
У MD5 registry обнаружил один серьёзный недостаток - она не может работать с файлами, имена которых содержат русские буквы. но она ещё сырая, может это пофиксят....
а вообще уже рука подымается самому такую программу написать... блин... ну неужели ни у кого таких задач нет? в инете сотни каталогизаторов, все на оно лицо, и нельзя понять, чем они так сильно отличабтся друг от друга...
а хоть бы один искал дупликаты _И_ имел базу данных. а то в инете программы в основном _ИЛИ_
:(((((((((((((((
Alex Cop
08-07-2006, 03:42
Вот я и начал писать такую программу. Она уже умеет делать всё то, о чём я писал... хочешь сделать что-то хорошо, сделай это сам (с) Пятый Элемент
она делает кое-что такое, что ни одна программа не делает: собирает МД5 слепок с мп3 файлов, полностью игнорируя тэги, сканирует заодно мп3 файл и вычисляет честным образом средний битрейт и время звучания. в будущем введу режим работы с папками, интеллектуальную систему определения схожести папок, и.т.д.... заточена под огромные объёмы данных - на десятки миллионов файлов. И чёрта с два бы я такую программу нашёл... зато моё!
а в будущем хочу в неё вмонтировать три интересных модуля -
1) поиск похожих по звучанию мп3 файлов с ФФТ анализом и.т.д.
2) выделение из мп3 трека мотива, или главной темы, или кульминации, или припева и последующее пережатие его в низком битрейте - как бы превьюшка для мп3
3) распознавание нот - выделение мотива и занесение его в базу данных, чтобы написав ноты можно было бы найти треки с таким мотивом
и насколько я знаю, нет ни одной программы, которая бы это делала, кроме третьего пункта, но те программы заточены под преобразование в миди мп3 файлов, а это немногг не то, хотя тоже интересно, но справляются они с этим отвратно...
Начал с фильмов - закончил мр3 :)
Ну и как успехи? Альфа, вета есть? Посмотреть можно?
Alex Cop
16-12-2006, 11:15
Да, я написал альфу. Расчитывал на небольшую утилиту, поэтому писал как консольное приложение методами структурного программирования. работает с командной строки.
задача по сканированию содержания мп3, игнорируя таги решена. программа генерирует Батч-файл с командами для переноса дублирующихся файлов в указанное место.
сейчас я вижу, что надо будет её переделать в ООП. и сделать в GUI виде. потому что чем больше пишешь код, тьем больше хочешь новых возможностей.
хочу какм-то боком впихнуть туда одновременное сканирование поверхности ДВД или СД диска, путём внесения информации либо о скорости чтения, либо, что ешё лучше - статистики по c1 c2, PIE,PIF ошибкам. но в плане последнего я не нашёл СДК для этого. тогда на основании этой статистики можно было бы делать выводы о том, насколько надёжно хранится группа файлов, и ввести порог ошибок. соответствующий пункт в меню - перезаписать файлы, которые имеют определённый уровень ошибок. таким образом можно предотвратить потерю файлов при длительном хранении на СД и дВД из-за разложения красителя в составе болванки.
+ сделать экспорт базы данных в ХТМЛ формат
+всякие мелочи.
одному непросто это всё делать, тем более времени не хватает, но проект я не бросаю. хорошо бы кого-то присоединить... есть у меня приятель-программист, так ведь из запоя почти никогда не выходит...:))
посоветуйте прогу для поиска дубликатов файлов, желательно побесплатней
foxbat
Файлы каких типов искаться будут?
для всех типов файлов есть NoClone (http://noclone.net)
CloneSpy (www.clonespy.com)
Files Comparer (http://www.script-debugger.com/download/fc_setup.exe)
для картинок
ImageDupeless (http://www.imagedupeless.com/ru/)
Dup Detector (http://www.prismaticsoftware.com/Download/SetupDD.exe)
но кроме последней все платные ;-)
foxbat
Файлы каких типов искаться будут?
для всех типов файлов есть NoClone
CloneSpy
Files Comparer
для картинок
ImageDupeless
Dup Detector
но кроме последней все платные ;-)
по большей части картинки
З.Ы.
послядняя ссылка то и не фурычит :)
foxbat
Closed as of 5/28/06
действительно сайт не работает, да и сама прога давно не обновлялась
не расстрайвайся, она всёравно очень медленно работала
пользуйся ImageDupeless
Даже Total Commander умеет искать дубликаты :)
Еще есть плагины к Far'у (выйти на них можно через rarlab.com) - там почти бесплатно.
Даже Total Commander умеет искать дубликаты
просвети пож-та, как это делать?
foxbat
Попробуйте FDFinder. Просто задаёте ей папку или диск где надо искать дубликаты и всё. Без спросу ничего не удаляет.
foxbatза последние года три у меня накопилась коллекция картинок, эдак тысяч 180
и конечно на первом же десятке я столкнулся с проблемой дубликатов, перебрал всё, что посоветовал мне Yandex но удобней и быстрей чем ImageDupeless до сих пор не нашол ;)
xoxmodav
30-01-2007, 09:25
Даже Total Commander умеет искать дубликаты
просвети пож-та, как это делать?
Запросто:
- открываешь поиск,
- выбираешь диск или папку, в который искать дубликаты,
- вкладка "Допольнительно",
- подраздел "Поиск дубликатов" - выбирай что хочешь и нажимай "Начать поиск".
xoxmodav ну блин.... а мужики там не знают(с)... :))
спасибо всем, попробую всё... нашёл даже консольную прогу для поиска дублей..
2xoxmodav: а как потом с помощью Total Commander удалить дубликаты? При условии что дубликатов несколько тысяч?
Так все-таки - можно с помощью Total Commander удалить дубликаты?
Нажать кнопку "файлы-на панель", затем выделить все дубликаты, кроме того, который нужно оставить!
© OSzone.net 2001-2012
vBulletin v3.6.4, Copyright ©2000-2024, Jelsoft Enterprises Ltd.