[Iska]

загрузил файл для теста на диск: yadi.sk/d/a4DIRzf2qCISYg (надеюсь на форуме разрешено делиться ссылками на текстовые документы) »

coollogan, упакуйте Ваш текстовый файл в архив.

[coollogan]

coollogan, упакуйте Ваш текстовый файл в архив. »

Iska, готово: https://yadi.sk/d/0cw4wmiQITeQww

[DJ Mogarych]

coollogan, объём данных, который вы обрабатываете, весьма большой.
Необходимо дождаться окончания работы скрипта - да, он может работать несколько часов.
Если вы хотите быстрее, надо запускать на более мощном железе.

Либо, сначала модифицировать сам исходный файл, например, убрать https://www.instagram.com/, а оставлять только логины - это уменьшит время обработки, т. к. объём файла будет меньше.

[coollogan]

Необходимо дождаться окончания работы скрипта »

Спасибо, будем пробовать, смущало что в этот момент ничего не происходит, ни статус-бара, ни логов, ничего)
Следующий на обработку файл – 147мб, боюсь представить сколько времени займет процесс.

[DJ Mogarych]

Ну, можно, наверное, намутить какой-то вывод в консоль процесса, но это ещё больше растянет время обработки.

coollogan, я упустил одну важную вещь!
Уберите из скрипта

Код:

@{e={$_.name -as [int]}}

В изначальном условии вы давали цифры, а в результате обрабатываете нецифровые строки.

Так что

Код:

gc C:\temp\PS.txt |group -noel |select name,count |sort name |Export-Csv C:\temp\PS.csv ';' -NoType

Можно, чтобы было побыстрее, не сортировать, это можно будет сделать потом:

Код:

gc C:\temp\PS.txt |group -noel |Export-Csv C:\temp\PS.csv ';' -NoType

[coollogan]

DJ Mogarych, большое спасибо за помощь)

[Iska]

В изначальном условии вы давали цифры, а в результате обрабатываете нецифровые строки. »

Это как всегда .

coollogan, Вам действительно нужен подсчёт количества повторов? Может быть, задача проще, и Вам достаточно просто отобрать уникальные значения, без подсчёта повторов, не?!

[Iska]

coollogan, можете попробовать на WSH (используем OLE DB):

Скрытый текст

Код:

Option Explicit

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = 1


Dim strSourceFile
Dim strDestFile
Dim strPath2Schema

Dim objRecordset

Dim dtStartDateTime


strSourceFile = "PS.txt"
strDestFile   = "ResultFile.csv"

With WScript.CreateObject("Scripting.FileSystemObject")
	strPath2Schema = .GetParentFolderName(WScript.ScriptFullName)
	
	dtStartDateTime = Now()
	WScript.Echo "Start at:  " & CStr(dtStartDateTime)
	
	If Not .FileExists(.BuildPath(strPath2Schema, "Schema.ini")) Then
		With .CreateTextFile(.BuildPath(strPath2Schema, "Schema.ini"), True)
			.Write _
				"[" & strSourceFile & "]" & vbCrLf & _
				"ColNameHeader=False" & vbCrLf & _
				"CharacterSet=1251" & vbCrLf & _
				"Format=Delimited(;)" & vbCrLf & _
				"TextDelimiter=none" & vbCrLf & _
				"Col1=Url Text" & vbCrLf & _
				"" & vbCrLf & _
				"[" & strDestFile & "]" & vbCrLf & _
				"ColNameHeader=True" & vbCrLf & _
				"CharacterSet=1251" & vbCrLf & _
				"Format=CSVDelimited" & vbCrLf & _
				"TextDelimiter=none" & vbCrLf & _
				"Col1=Url Char Width 255" & vbCrLf & _
				"Col2=Count Integer" & vbCrLf
			
			.Close
		End With
	End If
	
	If .FileExists(.BuildPath(strPath2Schema, strDestFile)) Then
		.DeleteFile .BuildPath(strPath2Schema, strDestFile), True
	End If
	
	WScript.CreateObject("ADODB.Recordset").Open _
		"SELECT S.[url], COUNT(S.[url]) AS [Count] INTO [" & strDestFile & "] " & _
		"FROM [" & strSourceFile & "] AS S " & _
		"GROUP BY S.[url] " & _
		"ORDER BY COUNT(S.[url]) DESC", _
		"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & strPath2Schema & ";Extended Properties=""text;""", _
		adOpenStatic, adLockOptimistic, adCmdText
	
	WScript.Echo "Finish at: " & CStr(Now())
	WScript.Echo "Total: " & CStr(DateDiff("s", dtStartDateTime, Now())) & " second(s)."
End With

WScript.Quit 0

Поместите скрипт рядом с Вашим файлом PS.txt.

У меня получается на Вашем выложенном файле PS.txt так:

Скрытый текст

с сортировкой — чуть больше двадцати секунд (без сортировки — чуть больше пятнадцати секунд).

NB! Важное замечание: на x64 ОС нужно использовать x86-версии cscript.exe/wscript.exe, т.е., прямо указывать путь к ним из каталога C:\Windows\SysWOW64 (см. скриншот под спойлером выше).

[coollogan]

Это как всегда . »

Ктож знал, что есть отличия) За то теперь запомню точно))

Вам действительно нужен подсчёт количества повторов? »

Да, задача такая, нужно собрать топ ±3000 повторяющихся строк из списка)

можете попробовать на WSH (используем OLE DB): »

Спасибо! Завтра попробую изучить, начну с того, что такое WSH
Это встроенная функция как PowerShell, или можно её скачать? Мне советовали использовать AWK, чуть с ума не сошел изучая сайты которые хоть что-то пишут про него) Да пишут так, как будто первые 499 страниц инструкции куда-то делись, и начинается с пятисотой)) Понял, что не мой вариант, хотя там такой массив данных обрабатывался за несколько секунд тоже)

[Iska]

начну с того, что такое WSH »

1. Сохраните код в файл с расширением .vbs, получив скрипт WSH (Windows Script Host).
2. Расположите данный скрипт рядом с Вашим файлом PS.txt.
3. Вызовите скрипт на исполнение.

Если Ваша ОС — x64, то вместо пункта 3 будут следующие пункты:

3. Откройте интерпретатор команд: Win-R, «"%comspec%" /k», Enter.
4. Перетащите из окна Проводника в окно интерпретатора команд файл «C:\Windows\SysWOW64\cscript.exe».
5. Нажмите пробел, находясь в окне интерпретатора команд.
6. Перетащите из окна Проводника в окно интерпретатора команд скрипт WSH (файл с расширением .vbs), созданный в пп.1-2.
7. Нажмите Enter, находясь в окне интерпретатора команд.