Войти

Показать полную графическую версию : [решено] Тащим 100.000.000 мелких файлов с сервака в архив ...


DoublE_zone
24-11-2007, 22:27
Доброго времени суток!
Имеется сервак, на серваке стоит 5 сказевых винтов, сложенных в Raid 5, 1 логический раздел на все дисковое пространство. На диске имеется группа (невероятно большая, в районе 100.000.000) папок и примерно раза в 3 меньше прочих файлов, которые весят не так много в общей сложности. Короче, папки и файлы создавались прогой на продакшене, папки либо вообще пустые, либо имеют 1-2 файла (помимо файла *.db, естественно). Сейчас продакшен переехал на новый сервак и поганит там. :) Проблема в том, чтобы перетащить всю эту группу файлов с сервака на 1 винт и положить в архив. Такое огромное количество файлов тянуть просто по сетке не выйдет... Зипование без сжатия в прошлый раз заняло 2 суток, сейчас файлов резко добавилось. Такого количества времени нет, да и ошибки при зиповке могут все поломать. Так что хотелось бы придумать что-нить похитрее...
Может, есть у кого идеи как мне это сделать??? Спасибо.

HLT
26-11-2007, 08:57
xcopy /E - копирует не пофайлово, а сколько в память сразу поместится
включая пустые каталоги

DoublE_zone
26-11-2007, 10:54
HLT, как вариант, конечно, можно попробовать, поставив игнорирование ошибок, на всякий случай. Но, боюсь, сливаться будет неделю. Эта команда выполняется в фоновом режиме? А то забьет весь сервак по обращениям к дискам... :(

HLT
26-11-2007, 11:09
Эта команда выполняется в фоновом режиме »Приоритет ей указать поменьше)

всю эту группу файлов с сервака на 1 винт и положить в архив »А, может, не заморачиваться с копированием по сети? IDE контроллер есть на сервере? Вскрыть корпус, прицепить IDE хард и зазиповать на него всё что нужно. Операция-то одноразовая, насколько я понимаю...
Главное - по сетке всё это не гонять...

DoublE_zone
26-11-2007, 12:31
Сейчас попробовал XCopy с набором ключей ECHY, вроде красиво все. Поставлю на Новый Год сливаться. :) По прогнозам, за трое суток все должно слиться. Зипить не хочу, поскольку потом придется расзипивать, да и ошибки на чтение там вполне возможны. XCopy, думаю, отработает наилучшим образом. Спасибо.

HLT
26-11-2007, 12:47
с набором ключей ECHY, вроде красиво все »Еще обратите внимание на ключ /Z
http://www.mcse.ms/message1693164.html

DoublE_zone
26-11-2007, 13:47
HLT, да, и его обязательно. Спасибо.

DoublE_zone
27-11-2007, 11:56
HLT, еще вопрос. Какой командой посоветуете все это богатство потом с сервера удалять, чтобы не реагировал на ошибки и побыстрее снес такое количество файлов: DEL, ERASE?

HLT
27-11-2007, 13:16
format =)

xDel - имхо быстрее всего будет (http://schinagl.priv.at/nt/xdel/xdel.html)

DoublE_zone
27-11-2007, 16:46
HLT, format », я оценил юмор.
xDel - имхо быстрее всего будет », спасибо. :)

DoublE_zone
11-12-2007, 11:05
HLT, еще раз огромное спасибо. Обе программулины отработали красиво и четко. Сливалось почти двое суток, но файлов оказалось несколько меньше предполагаемого количества.

HLT
11-12-2007, 11:39
Обращайтесь, если что =)




© OSzone.net 2001-2012