Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » Любой язык - [решено] Сравнение 2-х текстовых файлов и удаление дубликатов строк в 1-м файле.

Ответить
Настройки темы
Любой язык - [решено] Сравнение 2-х текстовых файлов и удаление дубликатов строк в 1-м файле.

Старожил


Сообщения: 227
Благодарности: 21

Профиль | Отправить PM | Цитировать


Добрый день!
Появилась небольшая проблемка по сравнению текстовых файлов.
Необходимо сравнить попарно текстовые файлы и удалить повторяющееся строки в 1-м из них.
Например:
1-й текст
  • BBC News
  • BBC Persian Television
  • BBC World News
  • BFM TV
  • Bloomberg
  • Business
  • Business 24
2-текст
  • Business 24
  • CNC World
  • CNews
  • CNews TV
  • CNN
  • CNN Airport
  • CNN Chile
  • CNN en Español
  • BBC Persian Television
  • CNN Indonesia
  • CNN International
  • BBC News
  • CNN Philippines
  • CNN Türk
Строки в обоих текстах идут в разной последовательности.
После преобразования 1-й тест должен выглядеть так;
  • BBC World News
  • BFM TV
  • Bloomberg
  • Business
Может кто встречал скрипт или утилиту для такой задачи, поделитесь, пожалуйста.
Многие утилиты для работы с текстом (или плагины) могут просто выделить или вывести в 3-й файл дубликаты строк. Можно конечно их потом удалить и вручную, но если строк 1-2 тысячи, то задача не из лёгких.
Поэтому и хочу найти подобный софт именно для удаления.
Можно было бы соединить оба файла и найти дубликаты строк, но это не подходит...

Заранее благодарен за подсказки и помощь.

Отправлено: 12:24, 26-05-2019

 

Аватара для YuS_2

Crazy


Contributor


Сообщения: 1227
Благодарности: 513

Профиль | Отправить PM | Цитировать


Цитата Uragan66:
кто встречал скрипт »
powershell
Код: Выделить весь код
$file1 = 'test1.txt'
$file2 = 'test2.txt'
$file_out = 'out.txt'

diff (gc $file1 -enc utf8|sort) (gc $file2 -enc utf8|sort)|
? sideindicator -eq '<='|select -exp inputobject|
sc $file_out -enc utf8
В принципе, сортировка не особо нужна, её можно вообще выкинуть, т.к. сравнение будет построчным и порядок строк значения не имеет. Это чуть-чуть ускорит код в целом.

-------
scio me nihil scire. Ѫ


Последний раз редактировалось YuS_2, 26-05-2019 в 15:03. Причина: Дополнение.

Это сообщение посчитали полезным следующие участники:

Отправлено: 13:59, 26-05-2019 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Старожил


Сообщения: 227
Благодарности: 21

Профиль | Отправить PM | Цитировать


YuS_2, Спасибо большое! Скрипт подошел, на малом количестве строк отрабатывает быстро, так, что сортировка пока не мешает.
Пробовал подобный скрипт на AutoIt (нашел в сети), но он почему-то или вообще не отрабатывал, или на выходе получалась ерунда.
С Вашим вроде всё отлично. Ещё раз моя благодарность!

Отправлено: 16:14, 26-05-2019 | #3



Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » Любой язык - [решено] Сравнение 2-х текстовых файлов и удаление дубликатов строк в 1-м файле.

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
CMD/BAT - Сравнение чисел в .txt и двух текстовых файлов papacoca Скриптовые языки администрирования Windows 14 01-03-2019 08:00
Любой язык - Удаление из txt файлов не нужных строк и дубликатов строк. voler Скриптовые языки администрирования Windows 1 26-02-2018 14:10
Сравнение текстовых файлов Speedy Программное обеспечение Windows 9 30-03-2015 02:42
CMD/BAT - [решено] удаление части строк из всех текстовых файлов в папке icq99999999 Скриптовые языки администрирования Windows 4 06-11-2013 07:19
Офис и Текст - Автоматическое сравнение текстовых файлов Kzer-Za Программное обеспечение Windows 4 04-10-2011 11:50




 
Переход