Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » Любой язык - поиск уникальных файлов

Ответить
Настройки темы
Любой язык - поиск уникальных файлов

Аватара для Peutrov

Старожил


Сообщения: 411
Благодарности: 8

Профиль | Отправить PM | Цитировать


Есть папка с множеством подпапок, подподпапок и т.д. В них много файлов-дубликатов и мало уникальных файлов.
Как быстро найти только уникальные? (Сравнение по имени и размеру файла)

Total Commander прекрасно ищет дубликаты. Но уникальный файл подсветить не может.
Файлы надо только найти: удалять, перемещать нельзя.
Существует ли простое решение?
Спасибо

Отправлено: 03:42, 26-05-2020

 

Ветеран


Сообщения: 1754
Благодарности: 965

Профиль | Цитировать


Изображения
Тип файла: png dummy.png
(37.8 Kb, 4 просмотров)

с символическими ссылками тоже возможны коллизии

Отправлено: 22:08, 30-05-2020 | #21



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Забанен


Сообщения: 793
Благодарности: 260

Профиль | Цитировать


Если dummy.txt ссылается на dummy.exe, понятное дело хэши совпадут (причем не только SHA-256, можно браться за любой алгоритм, хоть даже KECCAK), так как обрабатываться будет не ссылка как таковая, а конечный объект ФС, - это не коллизия. Чтобы получить хэш самой ссылки, вам придется обратиться к потокам.

Отправлено: 22:33, 30-05-2020 | #22


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6483
Благодарности: 1462

Профиль | Отправить PM | Цитировать


Цитата greg zakharov:
Хоба! »
Ещё раз: в данном случае это несущественно, потому что, помимо хэша, сравнение идёт и по именам файлов, и по их размеру. В вашем примере файлы неодинаковы по всем параметрам, кроме хэша.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 15:58, 31-05-2020 | #23


Забанен


Сообщения: 793
Благодарности: 260

Профиль | Цитировать


Цитата DJ Mogarych:
это несущественно, потому что, помимо хэша, сравнение идёт и по именам файлов
Еще раз перечитайте название темы, также перечитайте мои прежние сообщения, дабы уяснить что имя файла - в грубом округлении, - метка для идентификации последовательности байтов, также как и количество байтов не является уникальной величиной. Вы прямо как Иринушка из рассказа Пантелеева "Буква 'ты'".

Отправлено: 17:20, 31-05-2020 | #24


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6483
Благодарности: 1462

Профиль | Отправить PM | Цитировать


Также и вы уясните, что в данном случае речь идёт об одновременном сравнении двух или трёх параметров, которые, не являясь уникальными по отдельности, вместе дают достаточную точность.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 20:14, 31-05-2020 | #25


Забанен


Сообщения: 793
Благодарности: 260

Профиль | Цитировать


DJ Mogarych, популярно, на пальцах. Допустим, есть три файла с названием dummy с одинаковым размером. В вашем понимании файлы являются просто дубликатами, однако, заглянув в содержимое, вы вдруг обнаруживаете различный порядок байтов. Потенциально хэши (если речь о SHA256) будут различны и потому такие файлы можно считать уникальными, они не будут удалены. А теперь представьте кучу разных файлов с разными именами, но одинаковым содержимом разбросанные по папкам. Будут ли они уникальны? Ответ - нет. Почему? Уникальностью называют содержимое, а не внешние факторы. Вы же не станете утверждать, что каждый человек уникален по-своему лишь потому, что он или она - человек?! Говоря об уникальности, вы разумеете содержание.

Удачи вам в ваших заблуждениях.

Отправлено: 20:37, 31-05-2020 | #26



Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » Любой язык - поиск уникальных файлов

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
CMD/BAT - Поиск файлов. zombivadim Скриптовые языки администрирования Windows 1 02-05-2016 01:18
CMD/BAT - Поиск цифр в текстовом файле и последующий их поиск в названии файлов массива (лог.) antares_80@vk Скриптовые языки администрирования Windows 10 25-10-2015 11:34
CMD/BAT - [решено] Поиск уникальных значений по файлу Sat_Kelman Скриптовые языки администрирования Windows 2 22-11-2011 12:12
CMD/BAT - [решено] Поиск, остановка процесса, поиск и замена файлов на разных дисках 4zz Скриптовые языки администрирования Windows 2 21-02-2011 16:07
подсчет уникальных значаний поля в MySQl Vlad Drakula Вебмастеру 17 20-06-2004 22:48




 
Переход