Показать полную графическую версию : Как удалить дубли строк в большом файле?
Medvedoc
04-08-2021, 17:54
Добрый день! Подскажите пожалуйста батник, который может удалять дубли в большом текстовом файле .txt
Файл весит под 1,5-2Гб со количеством строк больше 2000000
DJ Mogarych
04-08-2021, 18:09
powershell -command "gc 'D:\temp\doubles.txt' |sort -Unique |out-file 'D:\temp\doubles2.txt'"
DJ Mogarych, про sort — не заказывали :).
DJ Mogarych
04-08-2021, 20:25
Мне приходила в голову та же мысль, но вряд ли в этом случае это имеет значение.
DJ Mogarych, да, вполне логично. Я тоже не вижу какого-либо глубинного смысла в сохранении исходной сортировки при данном действе.
© OSzone.net 2001-2012
vBulletin v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.