Любой язык - [решено] Удаление дубликатов строк из текстового файла со сравнением по две строки

greg zakharov · Отправлено: **18:25, 27-06-2019** | #11

Цитата YuS_2:

тоже есть параметр -Unique

Ага, но в виду редкости его использования на практике, о нем легко позабыть.

Uragan66 · Отправлено: **21:57, 27-06-2019** | #12

По ходу работы со скриптом, выяснились некоторые нюансы. Для скрипта, предложенного ув. Iska:
Цитата Iska:

Код:

$aContent = Get-Content -Path 'C:\Мои проекты\0266\0001.txt'

 @(for($i = 0; $i -le $aContent.Length - 1; $i = $i + 2) {
 $aContent[$i] + "`r`n" + $aContent[$i + 1]
}) | Sort-Object -Unique

»
требуются идеальные пары строк: название канала - ссылка. И соответственно чётное количество строк.
В противном случае строки могут перемешаться, и ссылки не будут соответствовать.
Бывает попадаются файлы с различного рода мусором между строк. К примеру:

Код:

#EXTINF:-1 ,Первый канал
http://gorod.tv/s/live/1/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Россия 1
http://gorod.tv/s/live/2/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Матч ТВ
http://gorod.tv/s/live/3/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,НТВ
http://gorod.tv/s/live/4/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Пятый канал
http://gorod.tv/s/live/5/46.252.219.59/1561632042766/0.m3u8
Здесь какая-то информация
http://gorod.tv/s/live/1/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Пятый канал
#EXTINF:-1 ,Россия К
http://gorod.tv/s/live/6/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 , Москва 24
http://91.231.219.145:80/tv_moscow_24/video.m3u8
#EXTINF:-1 , Санкт-Петербург
http://91.231.219.145:80/tv_sankt_peterburg/video.m3u8
https://smarttvnews.ru/wp-content/uploads/2018/11/BT-2016-logo_color7890.png
https://smarttvnews.ru/wp-content/uploads/2018/11/BT-2016-logo_color7890.png
#EXTINF:-1 ,Discovery
http://hls-v3-spbtv.msk.spbtv.com/for_spb/msk/ipv3/154.m3u8
#EXTINF:-1 ,NASA TV
http://hls-v3-spbtv.msk.spbtv.com/for_spb/msk/ipv3/17.m3u8
#EXTINF:-1 ,Россия 24
http://gorod.tv/s/live/7/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Карусель
http://gorod.tv/s/live/8/46.252.219.59/1561632042766/0.m3u8

В примере вместо названия канала может быть что-то другое написано или канал может быть без ссылки. Или же прописаны ссылки на изображения.

Можно ли, перед выполнением основного кода скрипта, как-то удалить всё, что не соответствует парам канал - ссылка ? Регулярным выражением или дополнительным кодом в скрипт.
То есть первая строка название канала, обязательно начинающееся на #EXTINF, вторая строка - обязательно ссылка (могут быть http; https; rtmp; mms; rtmpe; udp).
Всё что не соответствует таким парам нужно удалить.

Uragan66 · Отправлено: **22:53, 27-06-2019** | #13

Составил такой RegExp:

Код:

^(#EXTINF.*[^\n\r]+\r?\nhttps?:\/\/[^\n\r]+\r?\n?|#EXTINF.*[^\n\r]+\r?\nrtmp:\/\/[^\n\r]+\r?\n?|#EXTINF.*[^\n\r]+\r?\nmms:\/\/[^\n\r]+\r?\n?|#EXTINF.*[^\n\r]+\r?\nrtmpe:\/\/[^\n\r]+\r?\n?|#EXTINF.*[^\n\r]+\r?\nudp:\/\/[^\n\r]+\r?\n?)

Нужные пары строк то ищет, но не получается удалить всё, кроме найденного.

greg zakharov · Отправлено: **23:06, 27-06-2019** | #14

Код:

for ($i, $arr = 0, (gc input.log); $i -lt $arr.Length;) {
   $a, $b = $arr[$i], $arr[$i + 1] # потенциальная пара
   # критерий относительно которого формируется пара
   if ($a.StartsWith('#') -and $b -match ':\/\/') {
      # выводим пару в окно хоста
      "$a`n$b"
      # переходим на две позиции вперед
      $i += 2
   }
   else {
      # в противном случае переходим к следующему значению
      ++$i
      continue
   }
}

Должно вернуть:

Код:

#EXTINF:-1 ,Первый канал
http://gorod.tv/s/live/1/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Россия 1
http://gorod.tv/s/live/2/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Матч ТВ
http://gorod.tv/s/live/3/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,НТВ
http://gorod.tv/s/live/4/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Пятый канал
http://gorod.tv/s/live/5/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Россия К
http://gorod.tv/s/live/6/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 , Москва 24
http://91.231.219.145:80/tv_moscow_24/video.m3u8
#EXTINF:-1 , Санкт-Петербург
http://91.231.219.145:80/tv_sankt_peterburg/video.m3u8
#EXTINF:-1 ,Discovery
http://hls-v3-spbtv.msk.spbtv.com/for_spb/msk/ipv3/154.m3u8
#EXTINF:-1 ,NASA TV
http://hls-v3-spbtv.msk.spbtv.com/for_spb/msk/ipv3/17.m3u8
#EXTINF:-1 ,Россия 24
http://gorod.tv/s/live/7/46.252.219.59/1561632042766/0.m3u8
#EXTINF:-1 ,Карусель
http://gorod.tv/s/live/8/46.252.219.59/1561632042766/0.m3u8

Uragan66 · Отправлено: **07:58, 28-06-2019** | #15

greg zakharov, спасибо большое!
Но у меня почему-то не получается запустить скрипт, выдаёт ошибку компиляции:

greg zakharov · Отправлено: **08:59, 28-06-2019** | #16

Uragan66, ничего удивительного: вы пытаетесь запустить сценарий pwsh как WSH, - последнему ничего не известно о синтаксисе PowerShell.

Uragan66 · Отправлено: **09:07, 28-06-2019** | #17

greg zakharov, извините, думал, что скрипт нужно запускать как js.
Теперь разобрался... Большая благодарность за скрипт!

Uragan66 · Отправлено: **11:34, 28-06-2019** | #18

Немного подправил скрипт под свою задачу:

Код:

@(for($i, $arr = 0, (gc .\*.m3u -Encoding utf8); $i -lt $arr.Length;) {
   $a, $b = $arr[$i], $arr[$i + 1] # потенциальная пара
   # критерий относительно которого формируется пара
   if ($a.StartsWith('#EXTINF') -and $b -match ':\/\/') {
      # выводим пару в окно хоста
      "$a`n$b"
      # переходим на две позиции вперед
      $i += 2
   }
   else {
      # в противном случае переходим к следующему значению
      ++$i
      continue
   }
}) | Sort-Object -Unique | Out-File .\out.m3u -Encoding utf8

Отрабатывает отлично...
Ещё раз большое спасибо всем за помощь!

Uragan66 · Отправлено: **15:30, 24-08-2019** | #19

Здравствуйте!
Использую, подсказанный ув. greg zakharov, скрипт:

Код:

@(for($i, $arr = 0, (gc .\*.m3u -Encoding utf8); $i -lt $arr.Length;) {
   $a, $b = $arr[$i], $arr[$i + 1] # потенциальная пара
   # критерий относительно которого формируется пара
   if ($a.StartsWith('#EXTINF') -and $b -match ':\/\/') {
      # выводим пару в окно хоста
      "$a`n$b"
      # переходим на две позиции вперед
      $i += 2
   }
   else {
      # в противном случае переходим к следующему значению
      ++$i
      continue
   }
}) | Sort-Object -Unique | Out-File .\out.m3u -Encoding utf8

Скрипт работает отлично, ещё раз большое спасибо!
Но бывает возникает необходимость пускать на вход не один файл, а несколько.
Подскажите, пожалуйста, можно ли для обработки скриптом прописать не один файл, а папку с файлами одного расширения ?
Буду премного благодарен за ответы и подсказки.

DJ Mogarych · Конфигурация компьютера

Цитата Uragan66:

можно ли для обработки скриптом прописать не один файл, а папку с файлами одного расширения ? »

Код:

gc C:\temp\*.txt