Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » CMD/BAT - Сравнение файлов

Ответить
Настройки темы
CMD/BAT - Сравнение файлов

Новый участник


Сообщения: 27
Благодарности: 2

Профиль | Отправить PM | Цитировать


Здравствуйте необходим батник, который сравнивает два текстовых файла и выводит уникальные строки в третий. Только есть небольшой нюанс, необходимо сравнивать с файлом в 10GB и больше
PHP код: Выделить весь код

1>3.txt findstr //g:1.txt 2.txt 


Либо вообще не работает с большими файлами, либо очень долго

Отправлено: 23:02, 10-12-2018

 

Ветеран


Сообщения: 27449
Благодарности: 8086

Профиль | Отправить PM | Цитировать


Цитата Asdshka:
Либо вообще не работает с большими файлами, либо очень долго »
Ну, дык, десять гигабайт — они и в Африке десять гигабайт, не будет тут быстро.

Исходный файл какого примерно размера? Каково примерное содержимое файлов? Посмотрите, нельзя ли будет использовать ADO или Log Parser, например.

Отправлено: 23:33, 10-12-2018 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Новый участник


Сообщения: 27
Благодарности: 2

Профиль | Отправить PM | Цитировать


Цитата Iska:
Ну, дык, десять гигабайт — они и в Африке десять гигабайт, не будет тут быстро.
Исходный файл какого примерно размера? Каково примерное содержимое файлов? Посмотрите, нельзя ли будет использовать ADO или Log Parser, например. »
Файл, который сравниваем может быть любого размера, но как правило до 1GB. Файл, с которым сверяем 10GB и выше.
Содержимое файлов:
PHP код: Выделить весь код

login@domain.url:password
login
@domain.url:password
login
@domain.url:password
login
@domain.url:password
login
@domain.url:password
login
@domain.url:password
login
@domain.url:password
login
@domain.url:password
login
@domain.url:password
login
@domain.url:password 


Отправлено: 08:17, 11-12-2018 | #3


Ветеран


Сообщения: 1274
Благодарности: 564

Профиль | Отправить PM | Цитировать


Asdshka,
1.txt

вася@domain.url:123
петя@domain.url:456
оля@domain.url:111
гена@domain.url:222

2.txt

оля@domain.url:111
миша@domain.url:321
гена@domain.url:222
маша@domain.url:654

а что дает в конечном итоге такой вывод:
3.txt

Этого нет в "1.txt"
миша@domain.url:321
маша@domain.url:654

Этого нет в "2.txt"
вася@domain.url:123
петя@domain.url:456

при таких размерах это тоже может иметь сотни и тысячи строк, это визуально одна каша и никакой привязки уже нет при таком количестве.

делалось таким кодом (но в данной ситуации при указанных размерах это конечно не ваш случай)
Код: Выделить весь код
@echo off
>>"3.txt" (
 echo Этого нет в "1.txt"
 findstr /vlg:"1.txt" "2.txt"
 echo:
 echo Этого нет в "2.txt"
 findstr /vlg:"2.txt" "1.txt"
)
pause

Отправлено: 16:00, 11-12-2018 | #4


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


Powershell:
Код: Выделить весь код
Compare-Object -referenceobject $(get-content "D:\FCA\FCA_node_final.txt") -differenceobject $(get-content "D:\FCA\FCA.txt")
https://stackoverflow.com/questions/...ing-powershell

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 16:35, 11-12-2018 | #5


Ветеран


Сообщения: 3806
Благодарности: 824

Профиль | Отправить PM | Цитировать


DJ Mogarych, даже интересно, как оно себя покажет на файле в 10 Гб. И что будет, если запустить на 32-битной системе

Отправлено: 17:07, 11-12-2018 | #6


Ветеран


Сообщения: 27449
Благодарности: 8086

Профиль | Отправить PM | Цитировать


Ну, будем надеяться, что, ежели коллега DJ Mogarych сам на таких размерах не пробовал, то автор попробует и нам расскажет.

Отправлено: 17:32, 11-12-2018 | #7


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


Да хорошо покажет, а результаты можно фильтровать.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 15:42, 12-12-2018 | #8



Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » CMD/BAT - Сравнение файлов

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Сравнение текстовых файлов Speedy Программное обеспечение Windows 9 30-03-2015 02:42
Любой язык - Сравнение списка файлов и каталога с файлами с копированием файлов из каталога jastreb83 Скриптовые языки администрирования Windows 0 10-04-2013 09:56
CMD/BAT - Сравнение и объединение файлов veresov Скриптовые языки администрирования Windows 4 08-08-2012 10:44
Delphi - [решено] Сравнение файлов. Snake750 Программирование и базы данных 6 15-03-2010 00:42
Сравнение файлов Guest Программирование и базы данных 6 24-04-2004 04:47




 
Переход