Разбить файл по N строк - Компьютерный форум OSzone.net

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)

- Скриптовые языки администрирования Windows (http://forum.oszone.net/forumdisplay.php?f=102)

- - Разбить файл по N строк (http://forum.oszone.net/showthread.php?t=352880)

Разбить файл по N строк

Здравствуйте, как можно разбить файл по N строк?
Допустим у меня файл, где 100млн строк, надо разбить его на файлы по 10млн строк, последний файл может быть меньше (если кол-во не позволяет)

Находил BAT и PowerShell, но они слишком медленно работали...

Цитата:

Цитата Asdshka

100млн строк »

Цитата:

Цитата Asdshka

они слишком медленно работали.. »

На таком количестве строк будет работать медленно всё, разве что, кроме ассеблера :biggrin:
На крайняк, можно попросить фрилансеров написать улититу на С++

PowerShell:

Код:

gc file.txt -readcount 1000 | ForEach-Object { $i=0 } { $_ | Out-File "new_file${i}.txt"; $i++}

gc - сокращенный вариант команды GetContent (чтение файла);

file.txt - исходный многострочный файл, который нужно разделить на несколько с меньшим количеством строк;

1000 - число строк в каждом файле на выходе;

new_file${i}.txt - маска для имени файлов на выходе, вместо ${i} будет инкремент числа от 0 и далее.

Цитата:

Цитата Asdshka

у меня файл, где 100млн строк, надо разбить его на файлы по 10млн строк »

powershell

Код:

measure-command{



$fld = '.\test'

$fin = 'test.txt'

$max = 10000000

$reader = [io.streamreader]::new($fin)

$i,$n = 0,1



if (!(test-path $fld -patht 'Container')){$null = md $fld}

while ($reader.peek() -ne -1) {

        $fout = $fld + '\' + $n + '.txt'

        $writer = [io.streamwriter]::new($fout)

        while ($i -lt $max){

                $writer.writeline($reader.readline())

                $i++

                if ($reader.peek() -eq -1){$i = $max}

        }

        $i = 0

        $n++

        $writer.dispose();$writer.close()

}

$reader.dispose();$reader.close()



}

файл размером 1.5Гб, 100000000 строк
результат скорости:

Цитата:

TotalSeconds : 121,5333788

YuS_2, да, таки ваш шворц быстрее :yes:

Можно так попробовать (git bash)

Код:

.\bash.exe -c "split 'd:\temp\contig.txt' 'D:\temp\part' -l 10000000 -d -a 3"