[DJ Mogarych]

Предполагается наличие 2 или 3 с организацией отказоустойчивости. »

2 или 3 чего? Сервера? И в чём будет выражаться отказоустойчивость, если это обычные десктопы с локальными хранилищами?

[cnyx]

2 или 3 HDD в RAID1 или RAID5. Ну и с отказоустойчивостью я тоже погорячился. Просто увеличение шансов сохранить данные + бэкапы в облако по расписанию.

[James Marsh]

RAID5 »

Ужас, если какой-то винт умрет, то при пересборе массива почти со 100% вероятностью вылетит еще один диск и данным труба.
Возьмите на "развалах" какой-то б/у рейд контроллер типа DELL PERC H310 или что-то рядом и на 4 дисках создайте RAID 10. Будет Вам прирост чтения/записи хоть.

Он одному заказчику на хетзнере взяли "сервер" на треадрипере 1950, попросили немцев поставить туда рейд-контроллер и батарейку за отдельную абонплату, поставили туда вмвару 6,7 и все нормально уже год бегает.

[Jula0071]

Предполагается наличие 2 или 3 с организацией отказоустойчивости. »

Лучше 4 в RAID 10 (быстрее как в плане работы, так и восстановления, также вылет диска практически не сказывается на скорости работы, но гарантирована работа только при вылете одного диска) иди в RAID 6 (чуть медленнее RAID 10 в работе, сильно медленнее восстанавливается из сбоя, но зато гарантирует работу при вылете двух дисков)

Попробовал поставить Proxmox в виртуалке, он не умеет в mdadm »

Умеет, только надо ставить голый дебиан на mdadm и сверху накатывать проксмокс. Также можно сначала установить pve на один диск и потом преобразовать в массив. Не самые правильные решения, но они работают и гайды есть. А так соглашусь с

DELL PERC H310 »

или любой другой железный контроллер.

но умеет в RAID1 on zfs, с чем я не сталкивался и опасаюсь. »

ZFS надо много памяти под кэш, очень много. Собственно, его на машинке с менее 32 GB даже не следует ставить, притом что он половину сожрёт.

Вообще рекомендую ставить небольшой RAID1 под систему (тому же проксмоксу за глаза хватит 120 гиг например на зеркале из двух ссд) и отдельный сторедж для виртуалок, а там уже можно играться. Можно даже слепить массив на тухлых SATA 7200, но ускорить его SSD кэшем.

[cnyx]

Спасибо за ответы, товарищи. Финансы ограничены, директор жмется на деньги, потому такие извращения приходится терпеть. О 4рех дисках можно не заикаться. Но как показала практика и небольшая нагрузка, пары дисков в RAID1 хватит. Железный RAID контроллер покупать это тоже немного краеугольный камень. Нужна обязательно батарейка + могут быть проблемы, если вдруг сам железный RAID накроется. SoftRAID от железа хотя бы не зависит.
Плюс если получится, то попробую настроить выключение сервера по сигналу от ИБП при отключении питания.

Умеет, только надо ставить голый дебиан на mdadm и сверху накатывать проксмокс. »

Да, спасибо. Буквально пару дней назад попалась статья, как это провернуть. Скорее всего так и буду делать.

[Jula0071]

Нужна обязательно батарейка »

Лет уже много как в контроллерах NVRAM и батарейка не нужна. Разве что откопать совсем старое старьё лет 10+

могут быть проблемы, если вдруг сам железный RAID накроется. »

Ну когда что-то накрывается это всегда проблемы, а так просто меняешь сдохший контроллер на новый, import foreign и едем дальше.

Мониторинг конечно нужен, а то 100500 раз видел случай, когда система месяцами пахала на деградировавшем массиве, потому что никто этого не заметил, а заметил только когда всё окончательно навернулось.

[El Scorpio]

Попробовал поставить Proxmox в виртуалке, он не умеет в mdadm (и вообще не разрешает делать разметку диска вручную) »

Поставить чистый debian на MDADM. При установке разделить диски на три раздела - под /boot в RAID, под LVM для debian в RAID и под LVM для виртуальных машин в RAID
Далее на debian установить proxmox

[cnyx]

Спасибо за ответ. Почти так так и сделал, только разделов два. Один по /boot, другой полностью под pvolume, а в ней LVM для корня самого proxmox и отдельный LVM, который монтируется в папку, а эта папка выступает storage для самого proxmox и там в виде файлов будут лежать виртуалки.

[El Scorpio]

Под хранилище виртуальных машин лучше делать именно отдельное LVM на отдельном разделе. Тогда сами образы дисков будут представлять не "файлы в папке", подверженные сбоям файловой системы хоста, а отдельные разделы LV, с которыми ничего не случится. При этом им можно будет легко увеличивать размер, делать снапшоты, переносить на другие PV и так далее.


Что могу посоветовать.
1. Вывести из RAID один раздел и разделить его на два, в каждом из которых создать новые "деградированные" RAID
2. В большем создать LVM хранилище виртуальных машин и средствами Proxmox сделать перенос дисков в новое хранилище
3. Меньшее подключить к LVM хоста и перенести в него разделы хостовой системы
4. Опустевший RAID уничтожить, и его раздел также разделить на два, которые будут введены в RAID'ы, созданные на п.1