Как удалить дубли строк в большом файле? - Компьютерный форум OSzone.net

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)

- Скриптовые языки администрирования Windows (http://forum.oszone.net/forumdisplay.php?f=102)

- - Как удалить дубли строк в большом файле? (http://forum.oszone.net/showthread.php?t=349337)

Medvedoc

04-08-2021 17:54 2963638

Как удалить дубли строк в большом файле?

Добрый день! Подскажите пожалуйста батник, который может удалять дубли в большом текстовом файле .txt
Файл весит под 1,5-2Гб со количеством строк больше 2000000

DJ Mogarych

04-08-2021 18:09 2963644

Код:

powershell -command "gc 'D:\temp\doubles.txt' |sort -Unique |out-file 'D:\temp\doubles2.txt'"

Iska	04-08-2021 20:23 2963653

DJ Mogarych, про sort — не заказывали :).

DJ Mogarych

04-08-2021 20:25 2963654

Мне приходила в голову та же мысль, но вряд ли в этом случае это имеет значение.

Iska	04-08-2021 20:57 2963659

DJ Mogarych, да, вполне логично. Я тоже не вижу какого-либо глубинного смысла в сохранении исходной сортировки при данном действе.

Время: 13:58.