Замена всех дисков в RAID5 массиве на более емкие
 

Здравствуйте,

хочу заменить все винты в RAID массиве на более емкие, но никогда не делал этого раньше. Не могли бы вы посоветовать как это сделать?
Перечитал кучу информации, но остались не ясные моменты.

Можете написать последовательность действий?

Имеется сервер FreeBSD 6.2 (32-bit), RAID контроллер 3ware 9650SE-4LPML (4ех портовый, SATA). Работает в режиме RAID5. Стоят 4 одинаковых винта по 400Гб (общий объем массива чуть больше 1Тб). Все порты контроллера задействованы. Файловая система юнита подмонтирована в папку /data.

Как я понял для системы используется отдельный диск не подключенный к 3ware. Хочу поменять эти 4 диска на другие 4 диска по 2 Тб каждый. Вроде бы смотрел в инете, что эта версия FreeBSD, файловая система UFS2 и контроллер поддерживают тома более 2 Tb. Они будут использоваться только для хранения данных, а не для зарузки. Но непонятно, что насчет юзеров, использующих, Windows 7 Pro (32-bit) смогут ли они увидеть этот сетевой диск (размер как я понимаю будет около ~ 5,4 Тб).

На передней панели корпуса сервера 4 корзины с индикаторами. Как понять какой диск подключен к какому порту не разбирая корпус, чтобы не вытащить не тот диск?

Как я понимаю последовательность действий такая:
1. Забекапить все на внешний USB-винт (собираюсь купить для бекапов USB-HDD 3 TB с интерфейсом USB 3.0 и контроллер USB 3.0, кстати в какую ФС его лучше форматировать? в такую же как на сервере UFS2?)
2. Остановить первый винт соответсвующей командой контроллера 3ware. # tw_cli maint remove c0 p0. Удалять весь массив надеюсь сразу не нужно?
3. Вставить новый неразмеченныф 2Тб винт на место первого.
4. СДелать rebuild и дождаться его завершения.
5. Повторить пункты с 2го по 4ый для оставльных трех винтов.
6. Поймет ли RAID контроллер после того как вставлю четвертый винт (на этот момент они будут все одинакового размера), что можно увеличить размер массива с (4-1)*400 Gb до (4-1)*2000Gb?
7. Увеличить размер ФС.

И еще: то есть после того как командой отсоединили диск от массива, его можно сразу физически вынимать из корпуса? Как понять поддерживатся ли hot spare? это должно быть в спецификации корзинки для дисков?

Rebuild сам должен сделаться когда вставлю физически диск и сделаю rescan? или самому каждый раз делать?
Извиняюсь за свои вопросы, но повторю раньше этого никогда не делал.

Желательно подробней напишите как проделать эту процедуру. В инете в основном теория написана.
Какие могут быть подводные камни?

Не выйдет такой фокус. На каждом из 2Тбайтников будет использоваться только 400Гб, остальное пространство останется незадействованным и в итоге вы останетесь с массивом старого размера. Да и зачем вся эта катавасия, если будет сделан бекап?? Предлагаю такую последовательность действий:
1. Забекапить все на внешний USB-винт, остановив предварительно все сервисы, могущие писать на заменяемый массив, предупредив юзеров о простое.
1a. UPD (забыл, а это важно, иначе система завалится в панику на следующем этапе) Отмонтировать /data
2. Удалить массив при помощи утилиты менеджмента и снять старые диски.
3. Поставить новые диски и создать из них новый массив.
4. Создать на новом массиве таблицу разделов GPT (>2Тб ведь том теперь), сам раздел, отформатировать и смонтировать его. Не забыть отредактировать fstab.
5. Развернуть бекап с внешнего носителя на свежесозданный раздел.
6. Запустить сервисы, упомянутые в п.1 и дать отмашку юзерам.

Бекап и восстановление лучше всего делать при помощи dump/restore.

Вы имеете ввиду hot swap? Да, 3ware его поддерживает, можно снимать/ставить диски на лету.

прочитать мануал к контроллеру, который поддерживает и hot swape (отключение диска без выключения компьютера) и hot spare ( автоматическое отключение дефектного диска из массива и включение запасного) Если у вас в рейд массиве предусмотрен hot spare, то можно потихоньку заменить все HDD пережидая ребилд. Но резервная копия должна быть!

Хм, а как же вроде бы есть такая функция как расширение емкости существующего массива без разрушения.
Вот посморите http://www.nix.ru/autocatalog/contro...che_59558.html В разделе потребительские свойства.

А потом в FreeBSD сделать growfs.

Оперативное расширение объема накопителей и перенос уровней RAID http://www.3ware.com/products/pdf/82...0SE-Rusian.pdf на стр 2 в разделе функциональность 3ware 9650SE

Там же: Поддержка режимов «горячей» замены и «горячего» резервирования с целью обеспечения максимальной доступности данных

Бекапы всегда полезно делать. А вдруг что? Замена дисков в RAID массиве потенциально опасная. Ну все же юзеры очень плохо переживают отключение от сервера. Начальник тоже несколько раз переспашивал можно ли сделать без выключения и перезагрузок.

Ну попробуйте. Если получится ваша затея, то можете обозвать меня вруном.

Да нет, я просто спрашиваю. Получится так или нет.

Не получится. Имхо.

Вставил винчестер Hitachi HDS723030ALA640 в SATA разъем на материнской плате ASUS-P5B-MX - определяется как SATA150. Хотя сам винт относится к третьей ревизии сата, а плата поддерживает вторую ревизию сата. Могут ли два пина сзади винчестера (там где разъемы сата и питания) влиять на скорость? не офиц сайте перерыл всю документацию но не нашел никакой инфы по поводу этих принов.

Кстати, подумав, решил, что в предложенной мною последовательности работ
можно исключить выделенное. У вас будет и бекап, и в случае чего вы сможете просто вернуть старые диски на место со всей инфой.

Купил 4 трехтерабайтных диска Hitachi HDS723030ALA640. Начал проверять совместимость. Нашел на сайте производителя

http://kb.lsi.com/KnowledgebaseArticle16481.aspx

третья строчка снизу - что надо обновить прошивку для того чтобы RAID контроллер видел трехтерабайтные харды.
вот что выдает команда tw_cli /c0 show all, запущенная на сервере

То есть прошивка у меня более старая. Нашел манул но там вроде неясно как то упоминается, что иногда надо обновлять и драйвера с софтом до обновления прошивки. Еще хочу как-нибудь забекапить текущую версию прошивки.
Кто нибудь прошивал 3ware 9650SE? Не подскажите как можно сделать? И как забекапить текущуюю прошивку?

http://kb.lsi.com/KnowledgebaseArticle10058.aspx
Прошивку брать здесь http://kb.lsi.com/Download15820.aspx
Драйвера обновятся вместе со всей системой (вы вроде собирались обновляться до 8.2)
Можно взять драйвер и по ссылке, но придётся перебирать ядро, вырезав оттуда имеющийся драйвер twa(4).

Еще вопрос: а получится обновиться с FreeBSD6.2 до FreeBSD8.2 за раз как написано здесь http://www.lissyara.su/articles/free...ke_buildworld/ тупо написав в stable-supfile
?
Или нет, вроде бы вы и во многих местах написано, что сначала нужно обновиться до седьмой версии. А уж потом до восьмой.
Могут ли быть подводные камни? Просто мне нужно успеть это все сделать за субботу. Обновить систему, прошивку, дрова 3ware, и созадть RAID массив и переписать туда все из backup (1 терабайт).
Скорость инета там низкая (~60кбайт/с).

Вроде да, сначала до семёрки, потом до восьмёрки Но не ручаюсь. Я бы вообще ставил систему с нуля, воспользовавшись от старой лишь конфигами. Это точно будет быстрее и надежнее - помимо самой системы ведь наверняка придётся перебирать кучу софта из портов.
Это печально, поскольку потребуется скачать десятки, а то и сотни мегабайт (смотря сколько какого софта).

Но. Можно слить дерево исходников (и заодно портов с дистфайлами) и в более скоростном месте.

Да больше того, можно поставить и настроить всю систему ну хоть дома, а потом подкинуть диск, перекинуть dump/restore и подправить что потребуется. Насколько я понял, добыть диск, нужный для этой операции для вас не проблема, а в качестве суррогатной матери сойдёт любой относительно современный ПК, в который этот диск можно вставить. :)

Проблема в том, что я новичок в FreeBSD, и то, что я не знаю, что настраивал предыдущий админ, какие конфиги и как надо перенастроить, а какие оставить как есть.

Установить могу на виртуалку дома, dump/restore надеюсь будет тоже не оч проблемно, а вот с пунктом подправить сложнее.
Да я опечатался там скорость скачивания 60 КБайт/c но все равно низкая.

Поэтому думаю задампить систему на внешний винт, а потом обновиться и если не получится, то восстановиться из дампа.

То есть тупо можно делать по инструкции http://www.lissyara.su/articles/free...ke_buildworld/ ?
Два обновления насколько я понял? первое до 7.0. Второе с 7.0 до 8.2? меняя в супфайле версию релиза?
Вроде бы где то читал, что в более поздних версиях (выше 6 ой) cvsup заменили на csup.

По-моему, проще самостоятельно выяснить настройки, чем доверить это mergemaster'у. Тем более, что он довольно тупой и предлагает на усмотрение пользователя, что делать с конфигами - оставить старый, заменить на новый, или объединить. А конфигов сотни. Можно ошибиться, да просто устать, пролистывая и сравнивая кучи конфигов.
Лучше на отдельный диск, можно внешний.
Есть ещё утилита freebsd-update, не помню точно, когда она появилась, где-то во времена 6.х.
Сильно упрощает апгрейд, но имеет ограничение - требует GENERIC ядро, а многие админы по старой привычке, или обчитавшись древних статей, до сих пор его ковыряют, хоть нужда в этом сейчас многократно ниже, чем лет 10 назад.
Емнип, csup появился в 6.1. Но это нестрашно, поскольку он полный функциональный аналог cvsup, за исключением графического режима.

Все же у меня получилось обновиться до 7.2 :)

в Product Release Notes for 3ware 9.5.3 написано:

а у меня версия ПО более старая. Версия прошивки 3.08.02.007, релиз 9.4.1.3
Прошивка на сайте 4.10.00.007 имеет Release 9.5.3.
Причем поддерживает 3TB диски только 4.10.00.021 и более новые.

Я так понимаю из замечания, мне надо установить драйвер, CLI и 3DM2? а только потом прошивать?

P.S. и еще: можно не перебирать ядро, а подменить как-то драйвер twa.ko (есть такой файл в папке drivers на офиц диске с Release 9.5.3)?

А почему не до 7.4 тогда уж? Кстати, обновление между минорными релизами не в пример проще, чем между мажорными, поскольку они отличаются по большей части только закрытыми дырами и обновлёнными драйверами.
Прошивать-то можно в любой момент, просто если драйвер старый, то может и не до конца понять новую прошивку, так что лучше, конечно, обновить систему, автоматически обновив драйвер.
В 7.4 версия драйвера 3.70.05.010, в release notes 7.2 версия драйвера не указана, но есть примечание The twa(4) driver now supports 64-bit DMA. Что как раз касается поддержки очень больших дисков. Но я всё равно предложил бы обновиться до 7.4, хотя бы потому, что 7.2 уже год как EoL.
Он продублирован в ядре. Вернее наоборот - тот драйвер, что по умолчанию в ядре, продублирован в виде модуля.

То есть только обновить FreeBSD до 7.4. А потом прошивку.
А обновлять 3DM2 и CLI не надо вручную перед прошивкой?

Угу.
Зачем вручную? Оби эти утилиты есть в портах. Обновить уж точно не повредит.

Обновился до 7.4 сегодня и после этого перестал работать RoundCube Webmail :(

Вот, что пишет, когда захожу на веб страницу с почтовым сервером

Думал, что из-за алиасов, восстановил из бекапа папки /etc/mail/aliases версии 6.2 - не помогло. Хотя если запускать через почтовый клиент Thunderbird, то письма отправляются

Обновил систему до FreeBSD 7.4, установил программы контроллера 3ware (в портах не нашел, нашел на ISO образе, лежащем на официальном сайте для Codeset 9.5.3), перепрошил, создал GPT раздел и сейчас синхронизируюсь с бекапом.

сейчас осталась маленькая проблема после обновления с FreeBSD 7.2 до FreeBSD 7.4 с RoundCube, но вроде бы как почта работает из почтового клиента.
Да, mergemaster - это самое сложное в процессе обновления системы :) Кое, что пришлось самому подправлять. Единственное, я отсавил на потом файлы master.passwd и group из /etc версии FreeBSD 6.2. И вроде бы пока нормально. Надо ли с ними что то делать?

Спасибо БОЛЬШОЕ за помощь :)

да, и как выяснилось изучая глубины мана, что версия может быть любая, кроме STABLE, а у меня была как раз FreeBSD-6.2 STABLE

Ну, вообщем, вы - не врун! :)))

Я все таки по одному постепенно вставлял диски на прошлой и позапрошлой неделе и они ребилдились. Массив, естественно оставался таким же. Это понятно. Бекап я сделал, но была мысль, что может и получится без бекапа. Я рассчитывал, что когда обновлю систему до FreeBSD 7.4, перепрошью контроллер, так как он видел всего лишь 746GB из 3TB от каждого диска, потом воспользуюсь функцией расширения массива, которая есть у этого контроллера, потом думал воспользоваться программой для преобразования MBR в GPT из портов, называется gdisk. После делается growfs и на этом все заканчивается, а бекап для подстраховки. НО подстраховка оказалась не зря была сделана!

После перепрошивки контроллера до новой прошики, он стал видеть новые диски как трехтерабайтные, но юнит слетел полностью!

tw_cli /c0 show показывал, что все диски в статусе OK, но там где был юнит - было пусто!!! и в таблице дисков в колонке юнит был у всех прочерк! Вот на это я не рассчитывал, я то думал, что самым сложным будет преобразование в GPT живых данных. Из-за которого придется восстанавливаться.

Cоздал массив в BIOS контроллера, и запустил tw_cli /c0/u0 start verify

Правда непонятным для меня остались, какой лучше выбрать размер страйпа. Раньше на массиве 1 ТБ было 64К, на новом 9 ТБ поставил такой же (контроллер предлагает 16К,64К,256К). Почитал гугл - все пишут по-разному. И режим StorSave выбрал balance. Режим кеша записи выбрал вкл, хотя батарейки на контроллере нет, но есть UPS на сервере.

Еще непонятно пока с программой tw_cli. Я установливал в консоли, используя setupFreeBSD7.sh, который был на диске. ОН спросил куда ставить, я ответил, что в /usr/data/3ware, так как в других папках места не было. Теперь у меня две программы tw_cli: одна старая, которая вызывается, когда я набираю просто tw_cli, а вторая новая, которая появляется когда набираешь /usr/data/3ware/AMCC/CLI/tw_cli. Хотя и старая тоже определяет все диски корректно. Можно как нибудь старую заменить новой? например, перезаписав ее?

Перепрошивал с использованием screen, хотя находился в локальной сети, на всякий случай, вдруг соединение бы потерялось.

Создал еще журнал для UFS2 на новом массиве. Вместо soft-updates. Теперь массив видится как da0p1.journal, раньше было da0.

На счет скорости записи: gstat сейчас выдает порядка в максимуме 106000 Kbps для записи на массив и порядка 35000Kbps в максимуме для чтения с внешнего винта - правда я не понимаю, почему значение для чтения сильно меньше, чем для записи, должно же быть наоборот. Ведь записываться на массив не может быстрее, чем читаться из бекапа. Скорость, чтения честно говоря не радует :( Поэтому я и хотел делать все на живых данных, так как времени нет ждать (около 20 часов). Правда сейчас, по моим расчетам, если и дальше будет так переписываться, то процесс перегонки данных (1ТБ) из бекапа на массив займет 10 часов. Может когда писалось в бекап, диски были старые Samsung, которые скорости не выдвали, а сейчас новые Hitachi. Как те, так и другие 7200rpm. Внешний диск, на котором бекап, определяется в /var/run/dmesg.boot как SATA150 (подключен через eSata), хотя сам диск и коробка поддерживают SATA3, а материнка до SATA2. То есть по идее должно быть как SATA2. Сейчас средняя скорость записи на массив 23 МБ/c.

Еще насчет размеров диска. В принципе тут почти все понятно. Было 4 диска в RAID-5, кажый по 3 терабайта. Емкость одного уходит на избыточность данных. Остается 9 ТБ. Но, при создании новой ФС и выделения места под журнал и учета, что все отображается в единицах по снованию 2, то получаются скромные 7,9 ТБ. В десятичных терабайтах 8,7 ТБ. Что-то, по-моему, 300 ГБ - немало резервируется под ФС. Для newfs я использовал флаг -m 0. На внешнем винте 3 ТБ, тоже когда он был пустой было 2,9 ТБ. То есть 100ГБ для ФС. У меня под систему винт стоит на 80 ГБ - меньше, че резервируется под ФС :)

Вообщем, я получил немалый experience, много пришлось прочитать ссылок, README и документации. Если кому понадобится могу написать полную инструкцию, как я делал.

Лучше всего ставить из портов - sysutils/tw_cli. Порты следует предварительно обновить.
Чтобы измерить примерно чистую производительность массива так, бутылочным горлышком не стали другие элементы, делаем примерно так:
count следует подобрать так, чтобы помноженное на bs давало значение, превышающее объём оперативки раза в два, чтобы исключить влияние буферов.
Нежелательно использовать значение меньше 5 - резко повышаются накладные расходы на запись и фрагментация.

Вообще я в последнее время предпочитаю использовать при больших объёмах (больше 500Гб) ZFS, поскольку UFS не очень имхо подходит. Правда, обещают SU+J, но когда оно будет, а ZFS уже тут. Но у неё свои тонкости - высокие требования к памяти, нежелательность использовать на массивах, созданных контроллером (желательно пользоваться средствами самой ZFS, raidz1 к примеру), несовместимость с dump/restore.