[Foreigner]

PowerShell: Если такой вариант сортировки подойдет, то можно прицепить обработку файлов

Код:

$strings = 'хорошее кино',
           'хорошая комедия',
           'камедиклаб',
           'сигареты камел',
           'стивен сигал',
           'хорек и камел'

3,4,5 | foreach {

    $patterns = foreach ($s in $strings) {

        for ($i = 0; $i -le ($s.length - $_); $i++) {

            $s.substring($i,$_)
        
    }}

    "$($_):"
    
    foreach ($p in ($patterns | sort -unique)) {

        $res = $strings | where { $_ -match ".*${p}.*" } | foreach { $_ -replace $p,"[${p}]" }
        if ($res.count -ge 2) { $res; '' }
        
}}

Я для наглядности поместил сходства в квадратные скобки. Результат выводится группами по совпадениям (3,4 и 5 букв)

[Iska]

Foreigner, ноги у темы здесь растут: Прочие - не стандартный поиск дубликатов файлов.

[Foreigner]

Iska, там вроде не связано со скриптами. Ну ладно, что человек не делает, все делает для себя. Потренировался. Я кроме этого раздела никуда больше даже не заглядываю

[Alexander_88]

Foreigner, спасибо, хочу протестировать, а у меня экран сразу изчезает.. т.е. нажимаю на файле правой кнопкой, "выполнить power shell", потом на синем фоне все быстро пробегает и окно закрывается
и еще вопросик, а можно прописать слова для игнора и чтобы расширение игнорировало? дело в том, что на многих файлах стоит как префикс название одного и того же домена, но эти файлы не являются дубликатами

[Foreigner]

хочу протестировать, а у меня экран сразу изчезае »

Добавьте в конец:

Код:

...
}}
[console]::readkey($true)

или запишите результат в файл, исправьте последнюю строку:

Код:

...
}} | set-content 1.txt

а можно прописать слова для игнора »

Можно, но надо все делать в комплексе, в скрипте просто пример поиска строк в которых есть соответствия из 3-х, 4-х или 5-буквенных подстрок. Завтра, если не буду занят, адаптирую под ваши условия.

[Foreigner]

Код:

$notparse = 'mydomain.com_|mydomain.org_|www.ya.ru_'                          # не учитывается при поиске
$search_len = 4                                                               # длина подстроки
$files = get-childitem "D:\Test" -recurse | where { -not $_.psiscontainer }   # D:\Test -- путь к папке

$patterns = foreach ($f in $files) {
    
    $f = $f.basename -replace $notparse
    for ($i = 0; $i -le ($f.length - $search_len); $i++) {

        $f.substring($i,$search_len)
        
}}

return & {

foreach ($p in ($patterns | sort -unique)) {

    $res = $files | where { ($_.basename -replace $notparse) -match ".*${p}.*" } | foreach { "[${p}]: " + "$_" }
    if ($res.count -ge 2) { $res; '' }
        
}} | set-content "D:\Test\result.txt"

[Alexander_88]

Foreigner, спасибо огромное.. оказывается я плохо пример сверху привел, там на самом деле гораздо больше совпадений))

только у меня вопросик:

1 - если у меня окно не изчезает и куча красного понаписано, мерцает, потом раз.. и останавливается (но окно не закрывается), я закрыл сам, открыл результаты, там уже записалось что-то, может нужно все же дождаться завершения, пока само закроется? (я прикрепил скрин)

2 - можно сделать так, чтобы не происходило слияние имени файла, если между ними есть слово игнор, а то получается, что вырезается слово игнор, и то, что было до и после этого слова сливается и принимается за дубликат

пример:

я указал в игнор
rufig_
tort_
символов сделал 7

одно из совпадений

[0OPUD-1]: 00030rufig_OPUD-179_site.com.wmv
[0OPUD-1]: 00010tort_OPUD-181_site.com.wmv


3 - интересно откуда могло взяться вот такое?:

символы 6

[[FHD]C]: 00001tort_DCN-047_site.com.wmv
[[FHD]C]: DCN-043.avi

в принципи все правильно, 6 символов есть, но почему в замене такое написано? я попробовал переместить в другую папку отдельно эти два файла, тогда получилось все нормально [DCN-04].......... может ли скрипт записать в квадратные скобки что - то из соседних файлов? (просто есть файл [FHD]CORE-026.mkv)

[Foreigner]

[0OPUD-1]: 00030rufig_OPUD-179_site.com.wmv [0OPUD-1]: 00010tort_OPUD-181_site.com.wmv »

Ну правильно, в данном случае при разборе tort_ и rufig_ не учитываются.

[FHD]CORE-026.mkv »

Это конечно плохо, дело в том, что для поиска используется регулярное выражение, а "[]" служат спецсимволами для регекспов, заранее я всего предусмотреть не могу...
Пока попробуйте так:

Код:

$notparse = 'mydomain.com_|mydomain.org_|www.ya.ru_|\[игнор\]' # Если присутствуют'[' и ']', то их надо экранировать '\[' и '\]' 
$search_len = 7
$files = get-childitem .\test -recurse | where { -not $_.psiscontainer }

$patterns = foreach ($f in $files) {
    
    $f = $f.basename -replace $notparse
    for ($i = 0; $i -le ($f.length - $search_len); $i++) {

        $f.substring($i,$search_len) -replace '(\[|\])','\$1'
        
}}

return & {

foreach ($p in ($patterns | sort -unique)) {

    $res = $files | where { ($_.basename -replace $notparse) -match ".*${p}.*" } | foreach { "[${p}]: " + "$_" }
    if ($res.count -ge 2) { $res -replace '\\'; '' }
        
}} | sc 1.txt

Если игнорируемая последовательность внутри строки (00030rufig_OPUD-179_site.com.wmv), то даже не знаю

[Alexander_88]

сейчас нету fhd...., спасибо

Если игнорируемая последовательность внутри строки (00030rufig_OPUD-179_site.com.wmv), то даже не знаю »

а нельзя сделать игнор, если встречается 5 цифр подряд? просто есть много файлов, которые начинаются всегда на пять цифр, но эти цифры не нужно сравнивать (пример имени файла выше)
или можно прописать в игнор случайные символы?, к примеру *rufig_, где * это случайные цифры перед словом.., я даже могу их кол-во задать, их будет 5, например #####rufig_