PowerShell - [решено] [Вопрос новичка] Ошибка в скрипте PowerShell

Iska · Отправлено: **13:09, 26-01-2020** | #2

Код:

Get-Content -Path 'C:\Мои проекты\0297\0002.txt' | `
    Group-Object | Select-Object -Property Name, Count | Sort-Object -Property Name | `
        Export-Csv -NoTypeInformation -Path 'C:\Мои проекты\0297\0003.txt'

DJ Mogarych · Конфигурация компьютера

Цитата Iska:

Group-Object »

Какой прекрасный командлет, я и забыл про него.

coollogan · Отправлено: **08:49, 27-01-2020** | #4

ISKA, Большое, человеческое, спасибо!
Еще такой вопрос, сколько примерно по времени должен обрабатываться файл с 1040000 строк? Запустил скрипт, прошел уже час, файл 003 создался сразу, но пустой, в PowerShell тишина, переживаю что ничего не происходит.

Busla · Отправлено: **11:01, 27-01-2020** | #5

coollogan, построчное чтение файла - медленная операция

попробуйте заменить первую строку на

Код:

(Get-Content -Path 'C:\Мои проекты\0297\0002.txt' -Raw) -split "`n" | `

DJ Mogarych · Конфигурация компьютера

Медленное не построчное чтение, а группировка такого здоровенного массива.

Может быть, полезно будет добавить к Group-Object флаг -NoElement, т. к. список элементов в данном случае не нужен.

Serguei Kouzmine · Отправлено: **18:25, 27-01-2020** | #7

coollogan,
а просто использовать немного перереботанный оригиналиный скрипт не хотите ?

Код:

$wordCounts = @{}; Get-Content .\data.txt | ForEach-Object  { $wordCounts[$_] ++ } ; $wordCounts.GetEnumerator()  | Sort-Object -Property Value

Код:

Name                           Value
----                           -----
4                              1
2                              2
1                              4

Код:

for N in $(seq 1 1 10000) ; do  cat data.txt >> bigdata.txt; done

Код:

$wordCounts = @{}; Get-Content .\bigdata.txt | ForEach-Object  { $wordCounts[$_] ++ } ; $wordCounts.GetEnumerator()  |
Sort-Object -Property Value

так же бысто

[code]
Name Value
---- -----
11 1691
4 1692
2 3384
1 3386
[/CODE ]

v79italya · Отправлено: **21:54, 27-01-2020** | #8

Цитата coollogan:

файл с 1040000 строк »

Не могли бы этот файл мне отправить на маил: v79italya@gmail.com Попробую для сравнения в Power Query обработать

DJ Mogarych · Конфигурация компьютера

Я сгенерировал файл в миллион строк командой

Код:

(1..1000000).foreach({get-random -InputObject (1..999)}) > c:\temp\million.txt

Вот этой командой всё отработало за 30,59 сек.

Код:

gc C:\temp\million.txt |group -noel |select name,count |sort @{e={$_.name -as [int]}} |Export-Csv C:\temp\numbers.csv ';' -NoType

А если убрать -NoElement, то за 63,91 сек. Логично - чем меньше данных прокачиваешь через конвейер и чем раньше фильтруешь данные, тем быстрее работает.

coollogan · Отправлено: **11:22, 28-01-2020** | #10

v79italya, загрузил файл для теста на диск: yadi.sk/d/a4DIRzf2qCISYg (надеюсь на форуме разрешено делиться ссылками на текстовые документы)

DJ Mogarych, использовал код:

Код:

gc C:\temp\million.txt |group -noel |select name,count |sort @{e={$_.name -as [int]}} |Export-Csv C:\temp\numbers.csv ';' -NoType

Аналогично, как и в первом случае, у меня ничего не происходит, просто комп начинает шуметь. За час работы никаких изменений не произошло ��
Это связано с тем, что у меня не просто нули и единицы, а ссылки, я правильно понимаю? Следующий файл который я хотел обработать весит 147мб..

Цитата Serguei Kouzmine:

а просто использовать немного перереботанный оригиналиный скрипт не хотите ? »

Хочу) Но к сожалению вы имеете дело с дилетантом, по этому выслав мне 3 скрипта вы вызвали в моей голове системную ошибку)