Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Linux и FreeBSD » Программирование в *nix » [решено] Склеивание файлов в папках

Ответить
Настройки темы
[решено] Склеивание файлов в папках

Аватара для Тишина

Пользователь


Сообщения: 127
Благодарности: 8

Профиль | Отправить PM | Цитировать


ОС: Linux
ФС: ntfs
файлы: бинарные, различный объём от 1кб до 160 кб
колличество файлов: по прогнозу их будет около 1 миллиарда (свыше 2тб данных)

Задача: склеить все файлы из папки в один.

Подробности:
существует большое кол-во папок, например "qqq1", "qqq1 1", "qqq1 2"... .... "qqq1 N", в них находятся файлы примерно с таким именем "3332.file1", "3339.file1", "3412.file1" и т.д. по возрастанию индекса в имени (прирост "рандомный").
нужен батник, который будет работать по всем папкам и склеивать (в порядке увеличения индекса) содержимое каждой в отдельный файл, т.е. из папки "qqq1 4" получится "FILE_qqq1 4.dat".

примечание: папок и файлов очень много (на данный момент около 50 миллионов файлов по 18500 в каждой папке), желательно что бы можно было указать с какой папки начать и сколько папок будет учавствовать, дабы предотвратить зависания и прочие неприятности, индексы у папок идут от 1 до N

P.S. эта же задача, но с решением на WINDOWS
http://forum.oszone.net/showthread.p...69#post2254369

Отправлено: 13:54, 14-11-2013

 

Аватара для Тишина

Пользователь


Сообщения: 127
Благодарности: 8

Профиль | Отправить PM | Цитировать


Код: Выделить весь код
#!/bin/bash

for i in `find -mindepth 1 -type d`
do
cat $i/* >> $i.file | sort -n
done

P.S. написал одно решение и максимально (как смог) его сократил
народ, есть более простой ("короткий") способ? лично я за минимализм кода

Отправлено: 13:24, 02-04-2014 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.



Компьютерный форум OSzone.net » Linux и FreeBSD » Программирование в *nix » [решено] Склеивание файлов в папках

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Любой язык - Склеивание файлов в папках (желательно в bat, Но можно и ps) Тишина Скриптовые языки администрирования Windows 8 15-11-2013 09:06
CMD/BAT - [решено] Удаление определенных файлов в конкретных папках mrG0bliN Скриптовые языки администрирования Windows 6 03-06-2013 22:37
Склеивание pdf файлов Igor32123 Хочу все знать 4 06-12-2012 19:08
CMD/BAT - [решено] "Склеивание" нескольких текстовых файлов yaoleg2 Скриптовые языки администрирования Windows 2 21-09-2011 13:52
CMD/BAT - [решено] удаление всех файлов и подпапок в нескольких папках alexandri Скриптовые языки администрирования Windows 18 12-01-2010 05:33




 
Переход