[решено] Комплектация для RAID-массива на 128 ТБайт

[AzazeLHAck]

День добрый!
Системы хранения данных излишне дорогостоящи и поэтому решили смастерить RAID-массив сами, как тут (http://basik.ru/maxx/bas/gravicapa/15.jpg).
Но есть несколько вопросов:
Массив будет состоять из 64-ёх жёстких дисков разделённых на 2 блока по 32 диска. Каждый диск по 2 Терабайта. + два 2.5" винчестера по 160 ГБайт для ОС.
Хранилище создаётся для хранения материала отснятого кино, т.е. RAW видео файлы (формат .R3D). А так же в качестве дискового пространства для рендер-фермы.
Главный вопрос: Как лучше соединить диски? Например, по 8 на каждый RAID-контроллер, и будет 4 RAID контроллера на каждом из двух блоков.
Следующий вопрос: Если этот вариант хороший, то какой хватит процессор на работу с данными и таким количеством дисков, какой будет производительнее (Xeon или i7) и какую лучше выбрать материнку (про необходимость минимум четырёх PCIx8 ясно)..?
Следующий: Нужно чтобы 4 RAID-контроллера были тоже объединены, т.е. все диски в блоке представляли собой один большой диск :) Возможно ли это..? (Необходимость зеркальности есть! т.е. если один выйдет из строя, чтобы потери данных не происходило) Какие контроллеры посоветуете?
Дальше:
Нужна хорошая скорость чтения и записи данных (относительно назначения хранилища), т.е. рассматриваем Smart Dual Lan. Достигает ли эта технология 2Gb/s?
Если достигает, то потребуется либо сетевой контроллер PCI с этой технологией, либо, чтобы это уже было в материнке.
Что скажете..?

[AzazeLHAck]

Что-то нет никаких комментариев.. Вы не стесняйтесь :)))

[cameron]

Массив будет состоять из 64-ёх жёстких дисков разделённых на 2 блока по 32 диска. Каждый диск по 2 Терабайта »
итого что бы получить маркетинговые 128Тб вы сделате RAID0. читать до просветления что такое RAID0.
Главный вопрос: Как лучше соединить диски? Например, по 8 на каждый RAID-контроллер, и будет 4 RAID контроллера на каждом из двух блоков. »
лучше всего, не изобретать велосипед, а взять тупенькие DAS которые можно объединять в единый массив. пример - Dell MD1000/MD1200/3000 (15/12/15 дисков соот-но)
почему по 8? и будет 4 RAID контроллера на каждом из двух блоков. »
каких блоков? как вы соберёте райдконтроллеры в единый массив? :)
Следующий вопрос: Если этот вариант хороший »
вариант ужасный.
то какой хватит процессор на работу с данными и таким количеством дисков, какой будет производительнее (Xeon или i7) »
процессор каким образом начал работать с дисками? особенно с теми, которые висят на своих собственных контроллерах?
какую лучше выбрать материнку (про необходимость минимум четырёх PCIx8 ясно)..? »
материнеку нормальную, серверную.
(Необходимость зеркальности есть! т.е. если один выйдет из строя, чтобы потери данных не происходило) »
см. пункт1.
Нужна хорошая скорость чтения и записи данных (относительно назначения хранилища), т.е. рассматриваем Smart Dual Lan. Достигает ли эта технология 2000Gb/s? »
есть понятие 802.3ad, а что такое smart dual lan - это загадка - так вот она позволит получить линк с 2gbps, а не 2tbps, как вы написали.

[AzazeLHAck]

cameron,
что бы получить маркетинговые 128Тб вы сделате RAID0. читать до просветления что такое RAID0. »
Я знаю, что такое RAID 0, и я не говорил, что мне нужно 128Тбайт памяти, будет 64 Тбайта полезной памяти.
учше всего, не изобретать велосипед, а взять тупенькие DAS »
Системы хранения данных излишне дорогостоящи и поэтому решили смастерить RAID-массив сами »
почему по 8? »
Я где-то слышал, чтобы нагрузки не было, но возможно ошибаюсь. Видел контроллеры с 24-мя внутренними портами, можно и таких набрать. А вы где-то видели один контроллер на 64 диска..?
как вы соберёте райдконтроллеры в единый массив? »
В этом и был мой третий вопрос, зачем задавать его мне обратно?
процессор каким образом начал работать с дисками? »
Мне кажется, или вы действительно думаете, что с данными на диске можно работать и без процессора. А вопрос в том, какой лучше для подобного устройства?
материнеку нормальную, серверную. »
Ну когда выяснится какой процессор лучше, материнку я итак подберу, это не трудно.
есть понятие 802.3ad »
Хорошая идея, спасибо :)
что такое smart dual lan - это загадка »
Смотрите тут (http://www.gigabyte.ru/global/ru/pages/mb_090814_24/data/tech_090814_p55_f-smart-dual-lan.htm)
с 2gbps, а не 2tbps, как вы написали. »
В каком это месте я написал 2tbps? :o :dont-know

[cameron]

А вы где-то видели один контроллер на 64 диска..? »
External порты? =)
или же корпуса с бекплейном и экспандерами? :)
Мне кажется, или вы действительно думаете, что с данными на диске можно работать и без процессора. »
да, я так думаю.
а вы нет?
Смотрите тут »
читайте rfc, а не сайт гигабайта.
В каком это месте я написал 2tbps? »
Достигает ли эта технология 2000Gb/s? »

Я знаю, что такое RAID 0, и я не говорил, что мне нужно 128Тбайт памяти, будет 64 Тбайта полезной памяти. »
тогда ваш выбор:
3x Dell MD 1000 + Perc 6/E + 45 дисков SAS Near Line (это тоже маркетинг, не обольщайтесь).
это вам даст около 86Тб (без HS) в массиве RAID6.
минусы:
- очень долгий init (думаю около 3 суток)
- очень долгий ребилд, со значительными пенальти.
- одновременный выход из строя 2-х дисков = потеря всех данных.
- 9U только полок.

[AzazeLHAck]

External порты? »
А можно ссылку на такой контроллер, а то я где ни смотрел, везде максимум на 24 диска..
да, я так думаю.
а вы нет? »
Я - нет. Процессор задействован при копировании данных.
2000Gb/s? »
Ой, виноват.. запарился :)

[cameron]

А можно ссылку на такой контроллер, а то я где ни смотрел, везде максимум на 24 диска.. »
http://www.adaptec.com/en-us/products/controllers/hardware/sas/performance/sas-5445z/
Я - нет. Процессор задействован при копировании данных. »
а ещё процессор задействован что бы любая ОС запустилась.

[AzazeLHAck]

cameron,
На сайте написано:
Up to 256 SATA or SAS devices using SAS expanders
т.е. ставим одну Adaptec RAID 5445Z, и при помощи expander'ов подсоединяем все 64 диска..?
А насчёт 802.3ad: Если поставим такую (http://content.it4profit.com/itshop/itemcard_cs.jsp?ITEM=60730182455256286&THEME=itaka&LANG=ru&SUPPLIER=438), то скорость будет 4Гбит/с..?

[cameron]

т.е. ставим одну Adaptec RAID 5445Z, и при помощи expander'ов подсоединяем все 64 диска..? »
бэкплейна =)
А насчёт 802.3ad: Если поставим такую, то скорость будет 4Гбит/с..? »
если ваш свитч это поддерживает - то никто вам не мешает агрегировать 4 линка.
другое дело в том, что вы не получите реально такую скорость, по ряду причин =)
да, PCI-X - это жесть. зачем?

[AzazeLHAck]

вы не получите реально такую скорость, по ряду причин »
А какую получу..?
зачем? »
Зачем что..? Зачем PCI-X..? А как мне подключить этот массив к нескольким компьютерам, на которых будет идти работа с данными..?

[cameron]

А какую получу..? »
а вам в каких попугаях?
Зачем PCI-X..? А как мне подключить этот массив к нескольким компьютерам, на которых будет идти работа с данными..? »
оппа, а вы, простите, по PCI-X собираетесь подключить этот массив? О_о

[kim-aa]

Можно собрать такой массив при помощи программного LVM: например ZFS или StorageFoundation
Все функции будут в таком случае реализованы программно.
Единственное требование чтобы хост видел все диски. Естественно в таком случае не обязательно пытаться объединить все диски чрез один контроллер, более того - это даже не правильно.

[AzazeLHAck]

оппа, а вы, простите, по PCI-X собираетесь подключить этот массив? »
Вы, конечно, простите, но кажется вам всё напоминать надо.. А на пару сообщений назад взглянуть трудно..?
да, PCI-X - это жесть. зачем? »
Это предложение было к чему..?
а вам в каких попугаях? »
В литрах :) В чём измеряют скорость передачи данных, в тех и давайте..

Все функции будут в таком случае реализованы программно. »
А какие у этого способа недостатки..?

[cameron]

Вы, конечно, простите, но кажется вам всё напоминать надо.. А на пару сообщений назад взглянуть трудно..? »
вы сами то читать сперва научитесь, подтяните мат.часть.
PCI-X - шина, на которую вы, зачем-то, собираетесь покупать сетевую карту.
мало того что сейчас проблемно найти серверную мать с такой шиной, так ещё и целесообразность её под вопросом.
а массив вы собираетесь подключать по iSCSI, если я правильно дотелепатировала.
Это предложение было к чему..? »
к тому что это морально и физически устаревший интерфейс.
В литрах В чём измеряют скорость передачи данных, в тех и давайте.. »
скорость передачи принято измерять в мегабитах(байтах) в секунду.
замеряется она между чем-то и чем-то, при каких-то условиях, а не абстрактно.
но, как я поняла, вам это всё не в домёк, поэтому абстрактные 4гбпс агрегированого линка вы получите.

[AzazeLHAck]

вы сами то читать сперва научитесь, подтяните мат.часть. »
Уважаемая, не все на этом форуме нереально секут в железе, интерфейсах, шинах и т.д. И прошу, не надо делать вид всезнайки, которая время от времени спускается с небес оставить сообщение о том, что кто-то в чём-то не разбирается.. Вы тоже, возможно, не знаете как создать загрузочный USB-HDD с разными ос на нём? Вас же не отсылают учить матчасть..
Давайте уважать друг друга.
это морально и физически устаревший интерфейс »
Понятно, просто я не обратил внимание на интерфейс. Сказали бы, что лучше PCIe :)
cameron, скажите, пожалуйста, как соединить такой массив (ну можно сказать сервер) с другими компьютерами, чтобы скорость была как можно быстрее..? Ну чтобы больше чем 1Gbps..

[cameron]

Вас же не отсылают учить матчасть.. »
я рада что Вы смогли найти мой вопрос, это даёт Вам плюс. ну а минус в том, что я прошу дать мне мат. часть почитать, ибо не знаю. Вы же даже в ответы вдуматься не очень то хотите.
cameron, скажите, пожалуйста, как соединить такой массив (ну можно сказать сервер) с другими компьютерами, чтобы скорость была как можно быстрее..? »
для начала Вы определились как именно Вы будете делать оный массив? вариант kim-aa возможно даже более подходящий, особенно если вы в ладах с linux-like OS.
в зависимости от этого возможны варианты.
далее "соединить" это тоже немного абстрактно.
для кого-то шара это "соединить", а кто-то хочет диск по iSCSI всё таки получить.
Ну чтобы больше чем 1Gbps.. »
а вы уверены что клиент может брать/отдавать быстрее? и с чего вы решили что скорость вашего массива будет такова что 1-2гбпс будет не хватать клиентам? опять же скольки?

[AzazeLHAck]

определились как именно Вы будете делать оный массив »
Хорошо. Хотим сделать так, чтобы несколько компьютеров имели доступ к одному большому диску, размером, 128 ТБайт (если полезный размер придётся уменьшить в связи с уровнем RAID, то не беда, добавим дисков :) ), состоящему из 64-ёх 2-ух терабайтовых жёстких дисков.
Вот приблизительная схема:
http://savepic.net/406378m.jpg (http://savepic.net/406378.htm)
Покупать систему хранения данных и т.д. не можем, ибо дорого. Поэтому нужно сделать всё самим.
Чтобы определиться как делать массив, я и создал тему. Но буду рад если различные варианты будут раскрываться более подробно и доступно.
далее "соединить" это тоже немного абстрактно. »
Ну общий доступ по сети или "шара" тоже пойдёт, если можно добиться высокой скорости (2-4 Gbps).
может брать/отдавать быстрее? »
Нужно чтобы мог.. Очень нужно.. Так как на массиве будет храниться высококачественное видео для монтажа, композитинга и т.д.
если вы в ладах с linux-like OS »
Не в ладах :)

В итоге вопросы таковы:
1) Сколько нужно контроллеров (PCIe)?
2) Если будет 4 контроллера, а не 1, можно ли будет их объединить так, чтобы Рабочие станции (смотрите схему) видели весь массив, как один большой диск..?
3) Соединение с рабочими станциями: если использовать эту (http://content.it4profit.com/itshop/itemcard_cs.jsp?ITEM=100226073031021599&THEME=itaka&LANG=en&SUPPLIER=438) или подобную сетевую карту, возможно ли достигнуть скорости между сервером и станцией > 2Гбит/сек..?

[cameron]

Хорошо. Хотим сделать так, чтобы несколько компьютеров имели доступ к одному большому диску, размером, 128 ТБайт (если полезный размер придётся уменьшить в связи с уровнем RAID, то не беда, добавим дисков ), состоящему из 64-ёх 2-ух терабайтовых жёстких дисков. »
не забывайте о том, что маркетинговые 2Тб, на самом деле не 2Тб форматированной ёмкости.
Ну общий доступ по сети или "шара" тоже пойдёт, если можно добиться высокой скорости (2-4 Gbps). »
можно =)
вот только не факт что массив сможет отдавать с такой скоростью.
Нужно чтобы мог.. Очень нужно.. »


в таком случае сетевушки и свитчики не dlink и иже с ним.
сетевушки - intel, свитчики - Cisco или 3com/HP L2, управляемые :) ибо собирать тиму там надо.
Так как на массиве будет храниться высококачественное видео для монтажа, композитинга и т.д. »
Покупать систему хранения данных и т.д. не можем, ибо дорого. Поэтому нужно сделать всё самим. »
в связи с этим, как я понимаю, сами данные ценности никакой не представляют, главное поднять "объём"? я правильно понимаю?
1) Сколько нужно контроллеров (PCIe)? »
если LVM - то 2-3-4.
если DAS - 1.
2) Если будет 4 контроллера, а не 1, можно ли будет их объединить так, чтобы Рабочие станции (смотрите схему) видели весь массив, как один большой диск..? »
объединять вы будуте не контроллеры, а тома в ОС.
да, можно.
Соединение с рабочими станциями: если использовать эту или подобную сетевую карту »
это обычная интеловая пила, покупайте родную, а не ОЕМную делловскую - дешевле.
возможно ли достигнуть скорости между сервером и станцией > 2Гбит/сек..? »
iperf/jperf покажут вам, я думаю, около 1,6-1,8гбпс на 2-х гигабитных линках в тиме.

[AzazeLHAck]

не забывайте о том, что маркетинговые 2Тб, на самом деле не 2Тб форматированной ёмкости. »
Не, это я не забыл :) Всё расчитанно :)
вот только не факт что массив сможет отдавать с такой скоростью. »
А как сделать, чтобы отдавал..?
сетевушки - intel »
Такая (http://content.it4profit.com/itshop/itemcard_cs.jsp?ITEM=70510151004721984&THEME=itaka&LANG=ru&SUPPLIER=438) сетевушка и такой (http://www.elantech.ru/cat/1470/129663/) коммутатор подойдут..?
сами данные ценности никакой не представляют, главное поднять "объём"? я правильно понимаю? »
Ещё как представляют..! Поэтому и нужен RAID-массив с таким RAID, чтобы если один диск полетит, можно было заменить и потери данных чтобы не было.
если LVM - то 2-3-4.
если DAS - 1. »
А как бы вы в нашем случае посоветовали..? То, что на схеме отмечено, как Сервер, это, ведь отдельный компьютер по сути.. Думаю лучше будет LVM и 3 контроллера по 24 диска на каждый, или как-то по-другому посоветуете..? И какой фирмы контроллеры лучше использовать..?
объединять вы будуте не контроллеры, а тома в ОС.
да, можно. »
Т.е. на самом Сервере, да..? Отлично.
около 1,6-1,8гбпс на 2-х гигабитных линках в тиме. »
А если использовать свич тот самый (http://www.elantech.ru/cat/1470/129663/) и соединять всё 4-мя сетевыми кабелями..?

[cameron]

А как сделать, чтобы отдавал..? »
считать IOPS'ы и замерять работы конкретного приложения в данной среде.
Такая сетевушка »
сетевушка да
такой коммутатор подойдут..? »
обратите внимание, что свитч имеет 100мбпс порты и его возможности к 802.3ad у меня вызывают сомнения.
Ещё как представляют..! Поэтому и нужен RAID-массив с таким RAID, чтобы если один диск полетит, можно было заменить и потери данных чтобы не было. »
в таком случае заниматься кустарщиной не стоит, а стоит обратиться к профессионалам.
А как бы вы в нашем случае посоветовали..? »
я не могу советовать не зная бюджета и потребностей.
То, что на схеме отмечено, как Сервер, это, ведь отдельный компьютер по сути.. »
это сервер, а не компьютер. который, иже как и весь массив, нужно охлаждать.
Думаю лучше будет LVM и 3 контроллера по 24 диска на каждый, или как-то по-другому посоветуете..? »
возможно, я мало знакома с linux-like решениями, но аналог этого на windows (динамические диски) я бы делать не стала ни в коем случае.
И какой фирмы контроллеры лучше использовать..? »
адаптек
А если использовать свич тот самый и соединять всё 4-мя сетевыми кабелями..? »
если у клиента будет линк 1гбпс то больше ~700-900mbps вы не получите.

для получения дальнейшей информации имеет смысл читать более профессиональные железячные/сетевые форумы.