Имя пользователя:
Пароль:
 | Правила  

Компьютерный форум OSzone.net » Железо » Выбор отдельных компонентов компьютера и конфигурации в целом » [решено] Комплектация для RAID-массива на 128 ТБайт

Ответить
Настройки темы
[решено] Комплектация для RAID-массива на 128 ТБайт

Аватара для AzazeLHAck

Пользователь


Сообщения: 94
Благодарности: 3

Профиль | Сайт | Отправить PM | Цитировать


Изменения
Автор: AzazeLHAck
Дата: 27-01-2011
Описание: 2000 - 2
День добрый!
Системы хранения данных излишне дорогостоящи и поэтому решили смастерить RAID-массив сами, как тут.
Но есть несколько вопросов:
Массив будет состоять из 64-ёх жёстких дисков разделённых на 2 блока по 32 диска. Каждый диск по 2 Терабайта. + два 2.5" винчестера по 160 ГБайт для ОС.
Хранилище создаётся для хранения материала отснятого кино, т.е. RAW видео файлы (формат .R3D). А так же в качестве дискового пространства для рендер-фермы.
Главный вопрос: Как лучше соединить диски? Например, по 8 на каждый RAID-контроллер, и будет 4 RAID контроллера на каждом из двух блоков.
Следующий вопрос: Если этот вариант хороший, то какой хватит процессор на работу с данными и таким количеством дисков, какой будет производительнее (Xeon или i7) и какую лучше выбрать материнку (про необходимость минимум четырёх PCIx8 ясно)..?
Следующий: Нужно чтобы 4 RAID-контроллера были тоже объединены, т.е. все диски в блоке представляли собой один большой диск Возможно ли это..? (Необходимость зеркальности есть! т.е. если один выйдет из строя, чтобы потери данных не происходило) Какие контроллеры посоветуете?
Дальше:
Нужна хорошая скорость чтения и записи данных (относительно назначения хранилища), т.е. рассматриваем Smart Dual Lan. Достигает ли эта технология 2Gb/s?
Если достигает, то потребуется либо сетевой контроллер PCI с этой технологией, либо, чтобы это уже было в материнке.
Что скажете..?

-------
Взломаем же систему зла!


Отправлено: 13:45, 26-01-2011

 

Аватара для cameron

Ветеран


Сообщения: 4677
Благодарности: 1092

Профиль | Отправить PM | Цитировать


Цитата AzazeLHAck:
А какую получу..? »
а вам в каких попугаях?
Цитата AzazeLHAck:
Зачем PCI-X..? А как мне подключить этот массив к нескольким компьютерам, на которых будет идти работа с данными..? »
оппа, а вы, простите, по PCI-X собираетесь подключить этот массив? О_о

-------
в личке я не консультирую и не отвечаю на профессиональные вопросы. для этого есть форум.


Отправлено: 13:49, 27-01-2011 | #11



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Аватара для kim-aa

Назгул


Сообщения: 2633
Благодарности: 345

Профиль | Отправить PM | Цитировать


Можно собрать такой массив при помощи программного LVM: например ZFS или StorageFoundation
Все функции будут в таком случае реализованы программно.
Единственное требование чтобы хост видел все диски. Естественно в таком случае не обязательно пытаться объединить все диски чрез один контроллер, более того - это даже не правильно.

-------
Мы овладеваем более высоким стилем спора. Спор без фактов. Спор на темпераменте. Спор, переходящий от голословного утверждения на личность партнера. (c)Жванецкий

Это сообщение посчитали полезным следующие участники:

Отправлено: 14:47, 27-01-2011 | #12


Аватара для AzazeLHAck

Пользователь


Сообщения: 94
Благодарности: 3

Профиль | Сайт | Отправить PM | Цитировать


Цитата cameron:
оппа, а вы, простите, по PCI-X собираетесь подключить этот массив? »
Вы, конечно, простите, но кажется вам всё напоминать надо.. А на пару сообщений назад взглянуть трудно..?
Цитата cameron:
да, PCI-X - это жесть. зачем? »
Это предложение было к чему..?
Цитата cameron:
а вам в каких попугаях? »
В литрах В чём измеряют скорость передачи данных, в тех и давайте..

Цитата kim-aa:
Все функции будут в таком случае реализованы программно. »
А какие у этого способа недостатки..?

-------
Взломаем же систему зла!


Отправлено: 17:11, 27-01-2011 | #13


Аватара для cameron

Ветеран


Сообщения: 4677
Благодарности: 1092

Профиль | Отправить PM | Цитировать


Цитата AzazeLHAck:
Вы, конечно, простите, но кажется вам всё напоминать надо.. А на пару сообщений назад взглянуть трудно..? »
вы сами то читать сперва научитесь, подтяните мат.часть.
PCI-X - шина, на которую вы, зачем-то, собираетесь покупать сетевую карту.
мало того что сейчас проблемно найти серверную мать с такой шиной, так ещё и целесообразность её под вопросом.
а массив вы собираетесь подключать по iSCSI, если я правильно дотелепатировала.
Цитата AzazeLHAck:
Это предложение было к чему..? »
к тому что это морально и физически устаревший интерфейс.
Цитата AzazeLHAck:
В литрах В чём измеряют скорость передачи данных, в тех и давайте.. »
скорость передачи принято измерять в мегабитах(байтах) в секунду.
замеряется она между чем-то и чем-то, при каких-то условиях, а не абстрактно.
но, как я поняла, вам это всё не в домёк, поэтому абстрактные 4гбпс агрегированого линка вы получите.

-------
в личке я не консультирую и не отвечаю на профессиональные вопросы. для этого есть форум.

Это сообщение посчитали полезным следующие участники:

Отправлено: 17:16, 27-01-2011 | #14


Аватара для AzazeLHAck

Пользователь


Сообщения: 94
Благодарности: 3

Профиль | Сайт | Отправить PM | Цитировать


Цитата cameron:
вы сами то читать сперва научитесь, подтяните мат.часть. »
Уважаемая, не все на этом форуме нереально секут в железе, интерфейсах, шинах и т.д. И прошу, не надо делать вид всезнайки, которая время от времени спускается с небес оставить сообщение о том, что кто-то в чём-то не разбирается.. Вы тоже, возможно, не знаете как создать загрузочный USB-HDD с разными ос на нём? Вас же не отсылают учить матчасть..
Давайте уважать друг друга.
Цитата cameron:
это морально и физически устаревший интерфейс »
Понятно, просто я не обратил внимание на интерфейс. Сказали бы, что лучше PCIe
cameron, скажите, пожалуйста, как соединить такой массив (ну можно сказать сервер) с другими компьютерами, чтобы скорость была как можно быстрее..? Ну чтобы больше чем 1Gbps..

-------
Взломаем же систему зла!


Отправлено: 19:08, 27-01-2011 | #15


Аватара для cameron

Ветеран


Сообщения: 4677
Благодарности: 1092

Профиль | Отправить PM | Цитировать


Цитата AzazeLHAck:
Вас же не отсылают учить матчасть.. »
я рада что Вы смогли найти мой вопрос, это даёт Вам плюс. ну а минус в том, что я прошу дать мне мат. часть почитать, ибо не знаю. Вы же даже в ответы вдуматься не очень то хотите.
Цитата AzazeLHAck:
cameron, скажите, пожалуйста, как соединить такой массив (ну можно сказать сервер) с другими компьютерами, чтобы скорость была как можно быстрее..? »
для начала Вы определились как именно Вы будете делать оный массив? вариант kim-aa возможно даже более подходящий, особенно если вы в ладах с linux-like OS.
в зависимости от этого возможны варианты.
далее "соединить" это тоже немного абстрактно.
для кого-то шара это "соединить", а кто-то хочет диск по iSCSI всё таки получить.
Цитата AzazeLHAck:
Ну чтобы больше чем 1Gbps.. »
а вы уверены что клиент может брать/отдавать быстрее? и с чего вы решили что скорость вашего массива будет такова что 1-2гбпс будет не хватать клиентам? опять же скольки?

-------
в личке я не консультирую и не отвечаю на профессиональные вопросы. для этого есть форум.

Это сообщение посчитали полезным следующие участники:

Отправлено: 21:51, 27-01-2011 | #16


Аватара для AzazeLHAck

Пользователь


Сообщения: 94
Благодарности: 3

Профиль | Сайт | Отправить PM | Цитировать


Цитата cameron:
определились как именно Вы будете делать оный массив »
Хорошо. Хотим сделать так, чтобы несколько компьютеров имели доступ к одному большому диску, размером, 128 ТБайт (если полезный размер придётся уменьшить в связи с уровнем RAID, то не беда, добавим дисков ), состоящему из 64-ёх 2-ух терабайтовых жёстких дисков.
Вот приблизительная схема:

Покупать систему хранения данных и т.д. не можем, ибо дорого. Поэтому нужно сделать всё самим.
Чтобы определиться как делать массив, я и создал тему. Но буду рад если различные варианты будут раскрываться более подробно и доступно.
Цитата cameron:
далее "соединить" это тоже немного абстрактно. »
Ну общий доступ по сети или "шара" тоже пойдёт, если можно добиться высокой скорости (2-4 Gbps).
Цитата cameron:
может брать/отдавать быстрее? »
Нужно чтобы мог.. Очень нужно.. Так как на массиве будет храниться высококачественное видео для монтажа, композитинга и т.д.
Цитата cameron:
если вы в ладах с linux-like OS »
Не в ладах

В итоге вопросы таковы:
1) Сколько нужно контроллеров (PCIe)?
2) Если будет 4 контроллера, а не 1, можно ли будет их объединить так, чтобы Рабочие станции (смотрите схему) видели весь массив, как один большой диск..?
3) Соединение с рабочими станциями: если использовать эту или подобную сетевую карту, возможно ли достигнуть скорости между сервером и станцией > 2Гбит/сек..?

-------
Взломаем же систему зла!


Отправлено: 23:10, 27-01-2011 | #17


Аватара для cameron

Ветеран


Сообщения: 4677
Благодарности: 1092

Профиль | Отправить PM | Цитировать


Цитата AzazeLHAck:
Хорошо. Хотим сделать так, чтобы несколько компьютеров имели доступ к одному большому диску, размером, 128 ТБайт (если полезный размер придётся уменьшить в связи с уровнем RAID, то не беда, добавим дисков ), состоящему из 64-ёх 2-ух терабайтовых жёстких дисков. »
не забывайте о том, что маркетинговые 2Тб, на самом деле не 2Тб форматированной ёмкости.
Цитата AzazeLHAck:
Ну общий доступ по сети или "шара" тоже пойдёт, если можно добиться высокой скорости (2-4 Gbps). »
можно
вот только не факт что массив сможет отдавать с такой скоростью.
Цитата AzazeLHAck:
Нужно чтобы мог.. Очень нужно.. »

в таком случае сетевушки и свитчики не dlink и иже с ним.
сетевушки - intel, свитчики - Cisco или 3com/HP L2, управляемые ибо собирать тиму там надо.
Цитата AzazeLHAck:
Так как на массиве будет храниться высококачественное видео для монтажа, композитинга и т.д. »
Цитата AzazeLHAck:
Покупать систему хранения данных и т.д. не можем, ибо дорого. Поэтому нужно сделать всё самим. »
в связи с этим, как я понимаю, сами данные ценности никакой не представляют, главное поднять "объём"? я правильно понимаю?
Цитата AzazeLHAck:
1) Сколько нужно контроллеров (PCIe)? »
если LVM - то 2-3-4.
если DAS - 1.
Цитата AzazeLHAck:
2) Если будет 4 контроллера, а не 1, можно ли будет их объединить так, чтобы Рабочие станции (смотрите схему) видели весь массив, как один большой диск..? »
объединять вы будуте не контроллеры, а тома в ОС.
да, можно.
Цитата AzazeLHAck:
Соединение с рабочими станциями: если использовать эту или подобную сетевую карту »
это обычная интеловая пила, покупайте родную, а не ОЕМную делловскую - дешевле.
Цитата AzazeLHAck:
возможно ли достигнуть скорости между сервером и станцией > 2Гбит/сек..? »
iperf/jperf покажут вам, я думаю, около 1,6-1,8гбпс на 2-х гигабитных линках в тиме.

-------
в личке я не консультирую и не отвечаю на профессиональные вопросы. для этого есть форум.

Это сообщение посчитали полезным следующие участники:

Отправлено: 10:53, 28-01-2011 | #18


Аватара для AzazeLHAck

Пользователь


Сообщения: 94
Благодарности: 3

Профиль | Сайт | Отправить PM | Цитировать


Цитата cameron:
не забывайте о том, что маркетинговые 2Тб, на самом деле не 2Тб форматированной ёмкости. »
Не, это я не забыл Всё расчитанно
Цитата cameron:
вот только не факт что массив сможет отдавать с такой скоростью. »
А как сделать, чтобы отдавал..?
Цитата cameron:
сетевушки - intel »
Такая сетевушка и такой коммутатор подойдут..?
Цитата cameron:
сами данные ценности никакой не представляют, главное поднять "объём"? я правильно понимаю? »
Ещё как представляют..! Поэтому и нужен RAID-массив с таким RAID, чтобы если один диск полетит, можно было заменить и потери данных чтобы не было.
Цитата cameron:
если LVM - то 2-3-4.
если DAS - 1. »
А как бы вы в нашем случае посоветовали..? То, что на схеме отмечено, как Сервер, это, ведь отдельный компьютер по сути.. Думаю лучше будет LVM и 3 контроллера по 24 диска на каждый, или как-то по-другому посоветуете..? И какой фирмы контроллеры лучше использовать..?
Цитата cameron:
объединять вы будуте не контроллеры, а тома в ОС.
да, можно. »
Т.е. на самом Сервере, да..? Отлично.
Цитата cameron:
около 1,6-1,8гбпс на 2-х гигабитных линках в тиме. »
А если использовать свич тот самый и соединять всё 4-мя сетевыми кабелями..?

-------
Взломаем же систему зла!


Отправлено: 14:16, 28-01-2011 | #19


Аватара для cameron

Ветеран


Сообщения: 4677
Благодарности: 1092

Профиль | Отправить PM | Цитировать


Цитата AzazeLHAck:
А как сделать, чтобы отдавал..? »
считать IOPS'ы и замерять работы конкретного приложения в данной среде.
Цитата AzazeLHAck:
Такая сетевушка »
сетевушка да
Цитата AzazeLHAck:
такой коммутатор подойдут..? »
обратите внимание, что свитч имеет 100мбпс порты и его возможности к 802.3ad у меня вызывают сомнения.
Цитата AzazeLHAck:
Ещё как представляют..! Поэтому и нужен RAID-массив с таким RAID, чтобы если один диск полетит, можно было заменить и потери данных чтобы не было. »
в таком случае заниматься кустарщиной не стоит, а стоит обратиться к профессионалам.
Цитата AzazeLHAck:
А как бы вы в нашем случае посоветовали..? »
я не могу советовать не зная бюджета и потребностей.
Цитата AzazeLHAck:
То, что на схеме отмечено, как Сервер, это, ведь отдельный компьютер по сути.. »
это сервер, а не компьютер. который, иже как и весь массив, нужно охлаждать.
Цитата AzazeLHAck:
Думаю лучше будет LVM и 3 контроллера по 24 диска на каждый, или как-то по-другому посоветуете..? »
возможно, я мало знакома с linux-like решениями, но аналог этого на windows (динамические диски) я бы делать не стала ни в коем случае.
Цитата AzazeLHAck:
И какой фирмы контроллеры лучше использовать..? »
адаптек
Цитата AzazeLHAck:
А если использовать свич тот самый и соединять всё 4-мя сетевыми кабелями..? »
если у клиента будет линк 1гбпс то больше ~700-900mbps вы не получите.

для получения дальнейшей информации имеет смысл читать более профессиональные железячные/сетевые форумы.

-------
в личке я не консультирую и не отвечаю на профессиональные вопросы. для этого есть форум.

Это сообщение посчитали полезным следующие участники:

Отправлено: 14:36, 28-01-2011 | #20



Компьютерный форум OSzone.net » Железо » Выбор отдельных компонентов компьютера и конфигурации в целом » [решено] Комплектация для RAID-массива на 128 ТБайт

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
2008 - Создание Raid массива без потери данных NikiWin Windows Server 2008/2008 R2 7 24-02-2011 07:58
RAID - [решено] PCIe SATA II 300 RAID 2 chanells контроллер и создание RAID-массива на XP kservice Накопители (SSD, HDD, USB Flash) 0 10-11-2010 11:34
Установка - Проблема с драйверами для raid массива при установке win 7 Vladimir_P Microsoft Windows 7 1 15-11-2009 14:59
Создание raid массива на работающей системе Orfan Microsoft Windows NT/2000/2003 5 28-10-2008 23:10
Разное - Тестирование RAID массива Visor Прочее железо 5 18-02-2008 12:53




 
Переход