[Arsenik77]

root221, Iska, Foreigner, megaloman, - СПАСИБО!
megaloman - работает.

[kiripanda]

Удаление дубликатов по хешу

[Arsenik77]

megaloman, поторопился немного, bat-к работает, но как-то выборочно. Проверил на 5000 файлов в папке, батник удаляет, но не всЁ.

Примерно разобрался в чем дело, на файлах где есть в арабские (китайские) или другие не типичные символы батник затыкаеться.
типа XXXXXXXXXXXXX_Штукатурка.jpg
Нужно чтоб батник переименовывал их, во что нибудь типа XXXXXXXXXXXXX_yyyyy.jpg, где XXXXXXXXXXXXX - важные символы, yyyyy неважно.

Батник будет проверять по 100-200 тыс.файлов.

[Iska]

Iska, скрипт полностью удаляет все файлы в папке. »

Arsenik77, какой скрипт из двух? У меня работают оба варианта.

Если Вам нужно искать и удалять дубликаты — то это совсем другой разговор, например, «CloneSpy» или «Duplicate Files Finder», або что-то своё — в зависимости от конкретной задачи и условий применения.

[Arsenik77]

Iska, работает VBScript, PowerShell не понял как запускать.
Но только надо по одному файлу из тех, у которых размер одинаков, оставить.

Скрипт также работает с "трудными" именами файлов.

[megaloman]

Попробуйте вариант решения, но при таком большом числе файлов не уверен, как сработает сортировка в Dir. Я попробовал на 50000 файлов, но они небольшого размера

Код:

@Echo Off

Set Otkuda=E:\dddddddd
Set S1=-1

FOR /F "usebackq delims=" %%f IN (`Dir /B /A:-D /O:S "%Otkuda%\"`) DO Call :DelSize "%Otkuda%\%%f" 
GoTo :Eof

:DelSize
Set S2=%~z1

If %S1% NEQ %S2% (
   Set S1=%S2%
) Else (
   Del %1
)

[Arsenik77]

megaloman, работает с нормальным именами файлов, затык идет на таких именах у файло⠨тукатурка.jpg

[Foreigner]

Arsenik77,
Попробуй такой вариант, правда на большом кол-ве файлов не проверял:

Код:

@echo off
setlocal

pushd "c:\test\folder" || goto:eof
for /f "tokens=*" %%i in ('dir /b /a-d') do call:del "%%~fi"
popd
goto:eof

:del
set "file=%~1"

2>nul 1>nul (

wmic datafile where "path='\\test\\folder\\' and filesize='%~z1' and not name='%file:\=\\%'" call delete

)

[Arsenik77]

Батник затыкается на не правильных именах файлов, типа :

читать дальше »

16_21217_26+PE%C3%87AS+PRONTAS.JPG.jpg
12809_Гостиная_3.jpg.jpg
12810_Штукатурка_1.jpg.jpg
12811_Штукатурка_2.jpg.jpg

Либо эти файлы (с кривыми именами) надо удалять, либо как-то переименовывать.

Задачу считаю решенной, спасибо megaloman

[Iska]

В принципе, у меня сработали и пакетный файл Foreigner'а, и пакетный файл megaloman'а.

Но только надо по одному файлу из тех, у которых размер одинаков, оставить. »

Ясно. Поскольку изначально в условиях задачи было сказано, что:

удалял одинаковые по размеру файлы в одной папке »

то, я хоть и удивился, но сделал именно так, как было сказано . Причём, коллега megaloman оказался проницательнее — не только удивился, но и усомнился (и, как выяснилось, оказался прав).

Тогда ещё проще (хоть уже и нет необходимости, но приведу код):

Код:

Option Explicit

Dim objFSO
Dim strFolder
Dim objFile
Dim objDictionary
Dim elem


If WScript.Arguments.Count = 1 Then
	Set objFSO = WScript.CreateObject("Scripting.FileSystemObject")
	
	strFolder = WScript.Arguments.Item(0)
	
	If objFSO.FolderExists(strFolder) Then
		Set objDictionary = WScript.CreateObject("Scripting.Dictionary")
		
		For Each objFile In objFSO.GetFolder(strFolder).Files
			If objDictionary.Exists(objFile.Size) Then
				objFSO.DeleteFile objFile.Path, True
			Else
				objDictionary.Add objFile.Size, objFile.Path
			End If
		Next
		
		objDictionary.RemoveAll
		
		Set objDictionary = Nothing
	Else
		WScript.Echo "Folder [" & strFolder & "] not found."
	End If
	
	Set objFSO = Nothing
Else
	WScript.Echo "Usage: " & WScript.ScriptName & " <folder>"
End If

WScript.Quit 0

и примерно так (уверен, что подобрал не самый оптимальный вариант):

Код:

param (
    [string]$Folder = "E:\Песочница\0061\*"
)
Get-ChildItem -Path $Folder | `
    Where-Object -FilterScript { -not $_.PSIsContainer } | `
        Group-Object -Property Length | `
            Where-Object -FilterScript { $_.Count -gt 1 } | `
                ForEach-Object -Process {
                    $_.Group | Select-Object -Skip 1 | Remove-Item -Force
                }