Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Накопители (SSD, HDD, USB Flash) (http://forum.oszone.net/forumdisplay.php?f=53)
-   -   Выбор RAID массива (http://forum.oszone.net/showthread.php?t=333702)

Dreamer_UFA 13-03-2018 07:23 2802989

Выбор RAID массива
 
Добрый день.

Пришел на работу новый сервер Supermicro с корзиной hdd на 24 диска по 10 Tb. Планирую на нем развернуть ESXi и несколько виртуальных машин.
В первую очередь OwnCloud, файловое хранилище.

Столкнулся с выбором Raid. Хотелось бы минимальную потерю емкости и отказоустойчивость. RAID 10 ?

Хотелось бы выслушать мнения специалистов, как лучше использовать данное "богатство" :)

Jula0071 13-03-2018 12:14 2803032

Какой RAID контроллер? SSD-кэш планируете использовать или уже всё забили HDD?
Цитата:

Цитата Dreamer_UFA
Хотелось бы минимальную потерю емкости и отказоустойчивость. »

RAID 6. Но нужно учитывать, что как и все сложные типы массивов, весьма требователен к железу, при деградации даёт большую просадку производительности, так что без мониторинга оставлять нельзя (впрочем, как и любой сервер). Да и вообще он медленнее того же RAID 10.

Цитата:

Цитата Dreamer_UFA
В первую очередь OwnCloud, файловое хранилище. »

Почему для этой цели не взяли NAS, непонятно. Ну да ладно.

Dreamer_UFA 13-03-2018 13:00 2803044

Данное железо было заказано до меня. Вот только пришло.

Платформа: supermicro ssg-6048r-e1cr24n
Raid контроллер: Supermicro LSI/Avago SAS 3108 SAS-3 12 Гб/с LP SGL
Жесткие диски: WD Gold 10 Tb (WD101KRYZ) x 24 шт.
SSD: модель не помню SAMSUNG 256Gb x 2

Изначально задумывалось под СХД. Однако мне хочется использовать потенциал данного железа более разумно.
Вот это счастье мне нужно грамотно внедрить, перевесить часть сервисов на него и освободить старые сервера.

Театр начинается с вешалки, пока развернул на 1 SSD VMWare ESXI. Больше ничего не делал. Так же планирую на этот сервер сливать бэкапы 1С.

Может в режиме диалога пообщаемся на данную тему ?

Jula0071 13-03-2018 13:31 2803052

Цитата:

Цитата Dreamer_UFA
Raid контроллер: Supermicro LSI/Avago SAS 3108 SAS-3 12 Гб/с LP SGL »

• Supports RAID 0, 1, 5, 6, 10, 50, 60
Думаю, самым эффективным в плане надёжность/скорость/эффективность будет RAID 60.

Dreamer_UFA 13-03-2018 13:38 2803053

Принято. Я думал тоже об этом.
Еще такой вопрос. Не рекомендуют использовать под бэкап массив на котором крутится "живая" система.
Может скажем дисков 20 под массив, 4 диска отдельно под бэкап

Jula0071 13-03-2018 13:58 2803054

Цитата:

Цитата Dreamer_UFA
Не рекомендуют использовать под бэкап массив на котором крутится "живая" система. »

Это какая, виртуалка с овнклаудом что ли? Если честно, не очень понял вопрос.

Dreamer_UFA 13-03-2018 14:06 2803055

на этом железе я хочу поднять ESXI с 3 виртуалками. И часть дисков из этого сервера использовать под бэкап 1С. Не на OwnCloud

Jula0071 13-03-2018 14:20 2803058

1С будет крутиться на этом же сервере в одной из виртуалок? Тогда да, нужен как минимум отдельный массив, а по уму – отдельную железку (сервер, NAS) для бекапов.

Я бы виртуалки держал на быстром RAID 10 (из SSD), а бекапы лил на медленный, но надёжный RAID 6. Но мне неизвестны ваши задачи, может вам овнклауд на сто терабайт нужен. :) А так массивов разных типов можно настроить сколько душа пожелает.

Dreamer_UFA 13-03-2018 15:02 2803064

1С серверов - 2 шт. Отдельные новенькие машины. Место нужно под бэкапы баз и вложенных документов.
В общем выделю под это дело гигов 20.

Jula0071 13-03-2018 15:31 2803071

Цитата:

Цитата Dreamer_UFA
В общем выделю под это дело гигов 20. »

20 гигов это ни о чём, вы не оговорились, имея в виду 20 ТБ? В любом случае, раз
Цитата:

Цитата Dreamer_UFA
1С серверов - 2 шт. Отдельные новенькие машины. »

то заморачиваться отдельным массивом под это дело особого смысла не вижу.

Dreamer_UFA 13-03-2018 15:37 2803075

Оговорился, да.
2 сервера 1С. Один из них резервный, постоянно синхронится с первым. Нужно выносить бэкапы баз (старше 3 дней) (их много) за пределы сервера.

Jula0071 13-03-2018 15:45 2803077

Цитата:

Цитата Dreamer_UFA
Нужно выносить бэкапы баз (старше 3 дней) (их много) за пределы сервера. »

Вот если б вы взяли NAS Synology вместо этого супермайкро, то в пару кликов создали б там iSCSI target, или SMB шару. А так вам придётся поднимать виртуалку либо с виндосервером, либо с линуксом и там ручками корячиться. Есть всякие OpenMediaVault, но все они не дотягивают до уровня удобства железных насов.

Dreamer_UFA 13-03-2018 15:50 2803079

Если бы...
Я недавно устроился в эту компанию. Железо было заказано уже. Так что что имеем ...
Ну да ладно, принцип понятен. Спасибо.

Завтра займусь

Jula0071 13-03-2018 16:20 2803087

Ещё настоятельно рекомендую зарезервировать хотя бы пару дисков как hot spare. И хотя бы штучки 4 докупить как cold spare, если конечно нет SLA. 24 диска в одном тазу - очень велика вероятность отказа. Ну или в самом деле поделите их на несколько массивов, но тогда полезный объём сильнее сократится

cameron 15-03-2018 00:33 2803418

не очень поняла зачем там ESXi, да и описание сервера поражает отсуствием процов и памяти...
24 медленных SATA дисков в любом рейде, кроме R10 - это ад и израиль при ребилде. время ребилда у вас будет измеряться сутками.
десятка отребилдится быстро, потому что ребилдиться будет только один спан, соот-но (объём\линейную скорость)-~10%.

согласна с Jula0071, - под описанную задачу нужен NAS, а не вот это вот.

ещё немного непонятный момент по
Цитата:

Цитата Dreamer_UFA
2 сервера 1С. Один из них резервный, постоянно синхронится с первым. »

, так как понятия "синхронится" нет. есть некое кол-во разных технологий, но ни одна из них одним словом "синхронится" не описывается и уж, тем более, не работает.

Цитата:

Цитата Jula0071
24 диска в одном тазу - очень велика вероятность отказа. »

с чего бы вдруг? при соблюдении температурных режимов всё будет не так уж и страшно.
Цитата:

Цитата Jula0071
Ну или в самом деле поделите их на несколько массивов, но тогда полезный объём сильнее сократится »

или сделать один массив и резать на нём LUN'ы контроллером. потерь нет.
хотя непонятно зачем - из сата всё равно ничего не выжать. только унылое хранение и ничего больше.
Цитата:

Цитата Jula0071
И хотя бы штучки 4 докупить как cold spare, если конечно нет SLA. »

SLA на супермикру? да вы шутник.

Jula0071 15-03-2018 10:50 2803463

Цитата:

Цитата cameron
с чего бы вдруг? при соблюдении температурных режимов всё будет не так уж и страшно. »

Чистая математика. Чем больше дисков, тем выше вероятность выхода из строя хотя бы одного из них, а деградация сложных массивов, как вы сами заметили, вещь достаточно неприятная.
Цитата:

Цитата cameron
SLA на супермикру? да вы шутник. »

От 3d party почему нет? Есть такие конторы, хороших денег просят.

cameron 15-03-2018 12:23 2803479

Цитата:

Цитата Jula0071
Чистая математика. Чем больше дисков, тем выше вероятность выхода из строя хотя бы одного из них »

это да.
Цитата:

Цитата Jula0071
От 3d party почему нет? Есть такие конторы, хороших денег просят. »

выделила жирным ;)

Dreamer_UFA 12-04-2018 10:24 2808409

Вопрос:
На машине установил VWware Esxi 6.0
Собрал на контроллере Avago 3108 raid50 из 24 дисков.

Как "нарезать" LUN`ы. В интерфейсе контроллера не нашел. При установке хранилища в VMWare - ставит только 64Тб

cameron 12-04-2018 11:06 2808417

https://docs.broadcom.com/docs/pub-005110
или
https://www.supermicro.nl/manuals/ot...3108L-H8iR.pdf
вот документация.
раздел Virtual Drive Management.
Цитата:

Цитата Dreamer_UFA
При установке хранилища в VMWare - ставит только 64Тб »

документация VmWare, раздел Storage Maximums

Dreamer_UFA 25-04-2018 12:16 2810610

Все добрый день.
Установил сервер HyperV 2016 Core. Настроил.

Имеется массив 200 ТБ. Правильно ли идеологически разбивать диски через консоль управления дисками ?
Какие ограничения есть по размеру этих самых дисков.
Вопрос наверное наивный, но знаний не хватает касательно виртуализации и серверного оборудования.

1) Правильно ли в моем случае будет нарезать диск как мне необходимо и установить виртуальные машины. ?

PS. Отрезал кусок диска и расшарил для 1Сника под бэкапы. Смущает скорость записи. Решится ли если подключу два сетевых интерфейса между собой гигабитом. (сервер 1с и hyper-V)

Второй диск неразмеченный - SSD на 256 Гб. Организовать на него кэш ?

Jula0071 25-04-2018 13:26 2810629

Цитата:

Цитата Dreamer_UFA
Имеется массив 200 ТБ. »

Представляю, с каким грохотом он навернётся.

cameron 25-04-2018 13:42 2810634

Цитата:

Цитата Dreamer_UFA
Имеется массив 200 ТБ. »

это RAID6? я правильно высчитала?
Цитата:

Цитата Dreamer_UFA
Правильно ли идеологически разбивать диски через консоль управления дисками ? »

какая цель преследуется разбиением?
Цитата:

Цитата Dreamer_UFA
Какие ограничения есть по размеру этих самых дисков. »

это вопрос?
Цитата:

Цитата Dreamer_UFA
PS. Отрезал кусок диска и расшарил для 1Сника под бэкапы. Смущает скорость записи. Решится ли если подключу два сетевых интерфейса между собой гигабитом. (сервер 1с и hyper-V) »

а мы знаем как сейчас у вас соединено? и какая скорость запись?...
Цитата:

Цитата Dreamer_UFA
Второй диск неразмеченный - SSD на 256 Гб. Организовать на него кэш ? »

какими средствами?

Dreamer_UFA 25-04-2018 14:44 2810660

Цитата:

Цитата cameron
это RAID6? я правильно высчитала? »

RAID 60

Цитата:

Цитата cameron
какая цель преследуется разбиением? »

Выделение места для баз, виртуальных машин, файлов (share)

Цитата:

Цитата cameron
а мы знаем как сейчас у вас соединено? и какая скорость запись?... »

Скорость записи 6-7 МБ/с. Сервер в сети, один сетевой интерфейс в коммутатор (100 мб/с)

Цитата:

Цитата cameron
какими средствами? »

Диск сейчас никак не задействован.

Сейчас все на уровне экспериментов. Выбор гипервизора еще не окончателен, хотя скорее всего останусь на HyperV

Дано: сервер, 24 жестких диска по 10 Тб., 2 SSD
Надо: эффективное использование

Хочу перенести на него OwnCloud существующий сейчас, Kerio Mail Server. Ну и для себя пару виртуалок поднять, в целях экспериментов и самообучения.

Хотел еще на него повесить Proxy/Firewall функционал.

cameron 25-04-2018 14:55 2810663

Цитата:

Цитата Dreamer_UFA
Выделение места для баз, виртуальных машин, файлов (share) »

я бы сделала несколько зеркал и несколько (или один) R10 самим контроллером.
ребилд этого 200Тб "счастья" будет самым настоящим весельем.
Цитата:

Цитата Dreamer_UFA
Скорость записи 6-7 МБ/с. Сервер в сети, один сетевой интерфейс в коммутатор (100 мб/с) »

для 100-ки предел ~10MB/sec.
соот-но варианты:
1. отдающий сервер не успевает отдавать
2. на принимающем идёт фоновая инициализация массива, соот-но IO замедлены.
3. 100-ный свитч не вытягивает нагрузки.
4. антивирусное ПО развлекается.

Цитата:

Цитата Dreamer_UFA
Диск сейчас никак не задействован. »

это не ответ на мой вопрос. вам, чтобы ответить на свой вопрос, нужно ознакомиться с документаций от вашего контроллера
https://www.supermicro.nl/manuals/ot...3108L-H8iR.pdf
страница 37 и ниже.

Цитата:

Цитата Dreamer_UFA
Дано: сервер, 24 жестких диска по 10 Тб., 2 SSD
Надо: эффективное использование »

нет внятных задач, нет паттерна нагрузки, есть *овноконфиг, который нужно натянуть на кактус. как-то так.
Цитата:

Цитата Dreamer_UFA
Хочу перенести на него OwnCloud существующий сейчас, Kerio Mail Server. Ну и для себя пару виртуалок поднять, в целях экспериментов и самообучения.
Хотел еще на него повесить Proxy/Firewall функционал. »

это всё укладывается в расчёт только по дисковому объёму.

Dreamer_UFA 25-04-2018 15:11 2810668

Я Вас услышал.

Постараюсь более четко описать ТЗ с ТТХ частью.

Использование 200 Тб в одном массиве и "счастье" которое может прийти внезапно тоже представляю.

Заказали сервер, выбили деньги а цели и задачи изначально не были внятно обозначены. Хранилка! Но тратить 1,5 млн просто под файловую сорри "помойку" радости не приносит.
Отдали - делай что хочешь.

Хочу перенести часть сервисов на него, часть оборудования освободить. Надеюсь коллегиально поможете собрать внятную инфраструктуру.
В ближайшее время будет переезд в новый офис, где хотелось бы установить и забыть. Пару месяцев на подготовку есть.

Спасибо за чтение каламбура

Jula0071 25-04-2018 15:19 2810671

Не далее как вчера наколхозил сервачок под NAS. Хостер отказался предоставить железку типа Synology, ну мы не лыком шиты - берём R530, 8 сата дисков в него, PERC730 в режим HBA и ZFS на всём этом. Ессно, два сетевых интерфейса в 802.3ad layer3+4 гигабит каждому с возможностью апгрейда на десятку за денежку малую. Никаких SSD для кеша, ненужно для бекапов.

root@r8:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 32G 0 32G 0% /dev
tmpfs 6.3G 19M 6.3G 1% /run
rpool/ROOT/pve-1 40T 1.3G 40T 1% /
tmpfs 32G 43M 32G 1% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 32G 0 32G 0% /sys/fs/cgroup
rpool 40T 256K 40T 1% /rpool
rpool/ROOT 40T 256K 40T 1% /rpool/ROOT
rpool/data 40T 256K 40T 1% /rpool/data
/dev/fuse 30M 16K 30M 1% /etc/pve
tmpfs 6.3G 0 6.3G 0% /run/user/0

root@r8:~# dd if=/dev/zero of=~/zerofile bs=2M count=100000
100000+0 records in
100000+0 records out
209715200000 bytes (210 GB, 195 GiB) copied, 92.3834 s, 2.3 GB/s

Да, я знаю, что последовательная запись не отражает полностью производительность, но мне для бекапов только оно и важно.

cameron 25-04-2018 22:44 2810773

Цитата:

Цитата Dreamer_UFA
Постараюсь более четко описать ТЗ с ТТХ частью. »

не забудьте учесть необходимость резервного копирования этого массива ;)


Время: 17:25.

Время: 17:25.
© OSzone.net 2001-