Показать полную графическую версию : Разбить файл по N строк
Здравствуйте, как можно разбить файл по N строк?
Допустим у меня файл, где 100млн строк, надо разбить его на файлы по 10млн строк, последний файл может быть меньше (если кол-во не позволяет)
Находил BAT и PowerShell, но они слишком медленно работали...
dmitryst
22-01-2023, 19:36
100млн строк »
они слишком медленно работали.. »
На таком количестве строк будет работать медленно всё, разве что, кроме ассеблера :biggrin:
На крайняк, можно попросить фрилансеров написать улититу на С++
PowerShell:
gc file.txt -readcount 1000 | ForEach-Object { $i=0 } { $_ | Out-File "new_file${i}.txt"; $i++}
gc - сокращенный вариант команды GetContent (чтение файла);
file.txt - исходный многострочный файл, который нужно разделить на несколько с меньшим количеством строк;
1000 - число строк в каждом файле на выходе;
new_file${i}.txt - маска для имени файлов на выходе, вместо ${i} будет инкремент числа от 0 и далее.
у меня файл, где 100млн строк, надо разбить его на файлы по 10млн строк »
powershell
measure-command{
$fld = '.\test'
$fin = 'test.txt'
$max = 10000000
$reader = [io.streamreader]::new($fin)
$i,$n = 0,1
if (!(test-path $fld -patht 'Container')){$null = md $fld}
while ($reader.peek() -ne -1) {
$fout = $fld + '\' + $n + '.txt'
$writer = [io.streamwriter]::new($fout)
while ($i -lt $max){
$writer.writeline($reader.readline())
$i++
if ($reader.peek() -eq -1){$i = $max}
}
$i = 0
$n++
$writer.dispose();$writer.close()
}
$reader.dispose();$reader.close()
}
файл размером 1.5Гб, 100000000 строк
результат скорости:
TotalSeconds : 121,5333788
dmitryst
23-01-2023, 08:59
YuS_2, да, таки ваш шворц быстрее :yes:
DJ Mogarych
23-01-2023, 13:09
Можно так попробовать (git bash)
.\bash.exe -c "split 'd:\temp\contig.txt' 'D:\temp\part' -l 10000000 -d -a 3"
© OSzone.net 2001-2012
vBulletin v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.