Комплектация для RAID-массива на 128 ТБайт
 

День добрый!
Системы хранения данных излишне дорогостоящи и поэтому решили смастерить RAID-массив сами, как тут.
Но есть несколько вопросов:
Массив будет состоять из 64-ёх жёстких дисков разделённых на 2 блока по 32 диска. Каждый диск по 2 Терабайта. + два 2.5" винчестера по 160 ГБайт для ОС.
Хранилище создаётся для хранения материала отснятого кино, т.е. RAW видео файлы (формат .R3D). А так же в качестве дискового пространства для рендер-фермы.
Главный вопрос: Как лучше соединить диски? Например, по 8 на каждый RAID-контроллер, и будет 4 RAID контроллера на каждом из двух блоков.
Следующий вопрос: Если этот вариант хороший, то какой хватит процессор на работу с данными и таким количеством дисков, какой будет производительнее (Xeon или i7) и какую лучше выбрать материнку (про необходимость минимум четырёх PCIx8 ясно)..?
Следующий: Нужно чтобы 4 RAID-контроллера были тоже объединены, т.е. все диски в блоке представляли собой один большой диск :) Возможно ли это..? (Необходимость зеркальности есть! т.е. если один выйдет из строя, чтобы потери данных не происходило) Какие контроллеры посоветуете?
Дальше:
Нужна хорошая скорость чтения и записи данных (относительно назначения хранилища), т.е. рассматриваем Smart Dual Lan. Достигает ли эта технология 2Gb/s?
Если достигает, то потребуется либо сетевой контроллер PCI с этой технологией, либо, чтобы это уже было в материнке.
Что скажете..?

Что-то нет никаких комментариев.. Вы не стесняйтесь :)))

итого что бы получить маркетинговые 128Тб вы сделате RAID0. читать до просветления что такое RAID0.
лучше всего, не изобретать велосипед, а взять тупенькие DAS которые можно объединять в единый массив. пример - Dell MD1000/MD1200/3000 (15/12/15 дисков соот-но)
почему по 8? каких блоков? как вы соберёте райдконтроллеры в единый массив? :)
вариант ужасный.
процессор каким образом начал работать с дисками? особенно с теми, которые висят на своих собственных контроллерах?
материнеку нормальную, серверную.
см. пункт1.
есть понятие 802.3ad, а что такое smart dual lan - это загадка - так вот она позволит получить линк с 2gbps, а не 2tbps, как вы написали.

cameron,
Я знаю, что такое RAID 0, и я не говорил, что мне нужно 128Тбайт памяти, будет 64 Тбайта полезной памяти.
Я где-то слышал, чтобы нагрузки не было, но возможно ошибаюсь. Видел контроллеры с 24-мя внутренними портами, можно и таких набрать. А вы где-то видели один контроллер на 64 диска..?
В этом и был мой третий вопрос, зачем задавать его мне обратно?
Мне кажется, или вы действительно думаете, что с данными на диске можно работать и без процессора. А вопрос в том, какой лучше для подобного устройства?
Ну когда выяснится какой процессор лучше, материнку я итак подберу, это не трудно.
Хорошая идея, спасибо :)
Смотрите тут
В каком это месте я написал 2tbps? :o :dont-know

External порты? =)
или же корпуса с бекплейном и экспандерами? :)
да, я так думаю.
а вы нет?
читайте rfc, а не сайт гигабайта.
тогда ваш выбор:
3x Dell MD 1000 + Perc 6/E + 45 дисков SAS Near Line (это тоже маркетинг, не обольщайтесь).
это вам даст около 86Тб (без HS) в массиве RAID6.
минусы:
- очень долгий init (думаю около 3 суток)
- очень долгий ребилд, со значительными пенальти.
- одновременный выход из строя 2-х дисков = потеря всех данных.
- 9U только полок.

А можно ссылку на такой контроллер, а то я где ни смотрел, везде максимум на 24 диска..
Я - нет. Процессор задействован при копировании данных.
Ой, виноват.. запарился :)

http://www.adaptec.com/en-us/product...nce/sas-5445z/
а ещё процессор задействован что бы любая ОС запустилась.

cameron,
На сайте написано:
Up to 256 SATA or SAS devices using SAS expanders
т.е. ставим одну Adaptec RAID 5445Z, и при помощи expander'ов подсоединяем все 64 диска..?
А насчёт 802.3ad: Если поставим такую, то скорость будет 4Гбит/с..?

бэкплейна =)
если ваш свитч это поддерживает - то никто вам не мешает агрегировать 4 линка.
другое дело в том, что вы не получите реально такую скорость, по ряду причин =)
да, PCI-X - это жесть. зачем?

А какую получу..?
Зачем что..? Зачем PCI-X..? А как мне подключить этот массив к нескольким компьютерам, на которых будет идти работа с данными..?

а вам в каких попугаях?
оппа, а вы, простите, по PCI-X собираетесь подключить этот массив? О_о

Можно собрать такой массив при помощи программного LVM: например ZFS или StorageFoundation
Все функции будут в таком случае реализованы программно.
Единственное требование чтобы хост видел все диски. Естественно в таком случае не обязательно пытаться объединить все диски чрез один контроллер, более того - это даже не правильно.

Вы, конечно, простите, но кажется вам всё напоминать надо.. А на пару сообщений назад взглянуть трудно..?
Это предложение было к чему..?
В литрах :) В чём измеряют скорость передачи данных, в тех и давайте..

А какие у этого способа недостатки..?

вы сами то читать сперва научитесь, подтяните мат.часть.
PCI-X - шина, на которую вы, зачем-то, собираетесь покупать сетевую карту.
мало того что сейчас проблемно найти серверную мать с такой шиной, так ещё и целесообразность её под вопросом.
а массив вы собираетесь подключать по iSCSI, если я правильно дотелепатировала.
к тому что это морально и физически устаревший интерфейс.
скорость передачи принято измерять в мегабитах(байтах) в секунду.
замеряется она между чем-то и чем-то, при каких-то условиях, а не абстрактно.
но, как я поняла, вам это всё не в домёк, поэтому абстрактные 4гбпс агрегированого линка вы получите.

Уважаемая, не все на этом форуме нереально секут в железе, интерфейсах, шинах и т.д. И прошу, не надо делать вид всезнайки, которая время от времени спускается с небес оставить сообщение о том, что кто-то в чём-то не разбирается.. Вы тоже, возможно, не знаете как создать загрузочный USB-HDD с разными ос на нём? Вас же не отсылают учить матчасть..
Давайте уважать друг друга.
Понятно, просто я не обратил внимание на интерфейс. Сказали бы, что лучше PCIe :)
cameron, скажите, пожалуйста, как соединить такой массив (ну можно сказать сервер) с другими компьютерами, чтобы скорость была как можно быстрее..? Ну чтобы больше чем 1Gbps..

я рада что Вы смогли найти мой вопрос, это даёт Вам плюс. ну а минус в том, что я прошу дать мне мат. часть почитать, ибо не знаю. Вы же даже в ответы вдуматься не очень то хотите.
для начала Вы определились как именно Вы будете делать оный массив? вариант kim-aa возможно даже более подходящий, особенно если вы в ладах с linux-like OS.
в зависимости от этого возможны варианты.
далее "соединить" это тоже немного абстрактно.
для кого-то шара это "соединить", а кто-то хочет диск по iSCSI всё таки получить.
а вы уверены что клиент может брать/отдавать быстрее? и с чего вы решили что скорость вашего массива будет такова что 1-2гбпс будет не хватать клиентам? опять же скольки?

Хорошо. Хотим сделать так, чтобы несколько компьютеров имели доступ к одному большому диску, размером, 128 ТБайт (если полезный размер придётся уменьшить в связи с уровнем RAID, то не беда, добавим дисков :) ), состоящему из 64-ёх 2-ух терабайтовых жёстких дисков.
Вот приблизительная схема:

Покупать систему хранения данных и т.д. не можем, ибо дорого. Поэтому нужно сделать всё самим.
Чтобы определиться как делать массив, я и создал тему. Но буду рад если различные варианты будут раскрываться более подробно и доступно.
Ну общий доступ по сети или "шара" тоже пойдёт, если можно добиться высокой скорости (2-4 Gbps).
Нужно чтобы мог.. Очень нужно.. Так как на массиве будет храниться высококачественное видео для монтажа, композитинга и т.д.
Не в ладах :)

В итоге вопросы таковы:
1) Сколько нужно контроллеров (PCIe)?
2) Если будет 4 контроллера, а не 1, можно ли будет их объединить так, чтобы Рабочие станции (смотрите схему) видели весь массив, как один большой диск..?
3) Соединение с рабочими станциями: если использовать эту или подобную сетевую карту, возможно ли достигнуть скорости между сервером и станцией > 2Гбит/сек..?

не забывайте о том, что маркетинговые 2Тб, на самом деле не 2Тб форматированной ёмкости.
можно =)
вот только не факт что массив сможет отдавать с такой скоростью.

в таком случае сетевушки и свитчики не dlink и иже с ним.
сетевушки - intel, свитчики - Cisco или 3com/HP L2, управляемые :) ибо собирать тиму там надо.
в связи с этим, как я понимаю, сами данные ценности никакой не представляют, главное поднять "объём"? я правильно понимаю?
если LVM - то 2-3-4.
если DAS - 1.
объединять вы будуте не контроллеры, а тома в ОС.
да, можно.
это обычная интеловая пила, покупайте родную, а не ОЕМную делловскую - дешевле.
iperf/jperf покажут вам, я думаю, около 1,6-1,8гбпс на 2-х гигабитных линках в тиме.

Не, это я не забыл :) Всё расчитанно :)
А как сделать, чтобы отдавал..?
Такая сетевушка и такой коммутатор подойдут..?
Ещё как представляют..! Поэтому и нужен RAID-массив с таким RAID, чтобы если один диск полетит, можно было заменить и потери данных чтобы не было.
А как бы вы в нашем случае посоветовали..? То, что на схеме отмечено, как Сервер, это, ведь отдельный компьютер по сути.. Думаю лучше будет LVM и 3 контроллера по 24 диска на каждый, или как-то по-другому посоветуете..? И какой фирмы контроллеры лучше использовать..?
Т.е. на самом Сервере, да..? Отлично.
А если использовать свич тот самый и соединять всё 4-мя сетевыми кабелями..?

считать IOPS'ы и замерять работы конкретного приложения в данной среде.
сетевушка да
обратите внимание, что свитч имеет 100мбпс порты и его возможности к 802.3ad у меня вызывают сомнения.
в таком случае заниматься кустарщиной не стоит, а стоит обратиться к профессионалам.
я не могу советовать не зная бюджета и потребностей.
это сервер, а не компьютер. который, иже как и весь массив, нужно охлаждать.
возможно, я мало знакома с linux-like решениями, но аналог этого на windows (динамические диски) я бы делать не стала ни в коем случае.
адаптек
если у клиента будет линк 1гбпс то больше ~700-900mbps вы не получите.

для получения дальнейшей информации имеет смысл читать более профессиональные железячные/сетевые форумы.

Хорошо, в принципе всё понятно, спасибо за помощь и советы, в оставшемся проблем разобраться не составит, думаю :)

1) если программно сформированные тома разделять по доступу как блочные устройства (FC, iSCSI), то все клиенты должны быть близки по ОС.
Например те же StorageFoundation и ZFS не позволяет подключить к одному тому Windows и UNIX, т. к. Windows не понимает данных файловых систем.
Нагрузка на процессор вырастает (правда для современных компьютеров это не особо актуально).
Не все реализации LVM стабильны, например динамические диски Windows - я бы не рекомендовал


2) По сети в 1 Gbit можно установить iSCSI или FTP соединение порядка 80 МБайт/сек. SAMBA ~70 МБайт/сек

Совеременные диски в RAID10 легко выдают такие скорости даже при RANDOM-чтении
Проблема обычно в приемной (клиентской стороне) - она же должна уметь обрабатывать с такой же скоростью данные.

3) Большие скорости требуют 10GBase-T.

LinkAgregation или NLB решают проблему бутылочного горлышка на стороне сервера, но не расширяют канал точка-точка (сервер-клиент).
К тому же по деньгам выйдет тож на тож

В идеале лучше чтобы каждый диск был прицеплен к собственному контроллеру, а каждый контроллер был подключен к собственной шине - максимальный параллелизм.
Но это не реализуемо.

На практике число контроллеров должно быть не меньше двух (я бы заявил не меньше четырех).

При помощи OpenSolaris или OpenSuse можно построить приличный NAS-сервер.

Существуют сепециализированные дистрибутивы, например: FreeNAS, OpenFiler