Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Linux и FreeBSD » Общий по Linux » Прочее - Организация RAID (mdadm) + виртуализация. Выбор реализации.

Ответить
Настройки темы
Прочее - Организация RAID (mdadm) + виртуализация. Выбор реализации.

Новый участник


Сообщения: 17
Благодарности: 0

Профиль | Отправить PM | Цитировать


Здравствуйте.
Появилась задача собрать простой сервер на обычных комплектующих, т.е. без горячей замены, RAID контроллера и т.п. Предполагается наличие 2 или 3 с организацией отказоустойчивости. Первый простой и бесплатный вариант это mdadm, он же softraid. Для виртуализации нужен гипервизор, но раньше с ними не работал, только VMWare под виндой поиграться и KVM под Linux в продакшене. Попробовал поставить Proxmox в виртуалке, он не умеет в mdadm (и вообще не разрешает делать разметку диска вручную), но умеет в RAID1 on zfs, с чем я не сталкивался и опасаюсь. ESXi, vSphere, Hyper-V пока не пробовал, но подозреваю, что там с soft raid будет все плохо.
Другой вариант вижу, это минимальный ubuntu lts с mdadm + kvm и уже в нем поднимать виртуализацию. С этим вариантом я хотя бы работал.
Что можете подсказать? Может есть еще какие-то решения?

Отправлено: 12:37, 16-09-2020

 

Новый участник


Сообщения: 17
Благодарности: 0

Профиль | Отправить PM | Цитировать


Цитата El Scorpio:
Тогда сами образы дисков будут представлять не "файлы в папке", подверженные сбоям файловой системы хоста, а отдельные разделы LV, с которыми ничего не случится. »
Я не то чтобы каждый день занимаюсь такими видами работ и ваша инструкция мне понятна, но довольно рискованна. Сервер уже в полупродакшене, потому не хочется все сломать и потом все с нуля восстанавливать. Да и время уже поджимает.
Так же я читал про хранилища lvm, на которых располагается виртуальная машина. Минусом этих способов является невозможность легкого бэкапа виртуалки. Когда она в виде одного файла, ее легко можно скопировать на другой хост.
Даже если виртуальная машина представляет собой отдельный файл, то proxmox позволяет увеличить размер виртуального жесткого диска, а внутри виртуалки достаточно сделать resize2fs.
У меня сейчас 2 md раздела. В первом /boot хоста, второй введен в pvgroup. В этой pvgroup введен один vgroup. В ней один lvm на 30Гб для хоста (proxmox) и второй lvm на 400Гб для proxmox-storage. Этот второй lvm монтируется в папку /pvestorage, а папка является storage для proxmox. Теоретически на все свободное место я могу расширять lmv или создать третий lvm и подключить его как еще один storage.

Отправлено: 09:22, 20-10-2020 | #11



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


ИО Капитана Очевидности


Contributor


Сообщения: 5335
Благодарности: 1100

Профиль | Отправить PM | Цитировать


Цитата cnyx:
Минусом этих способов является невозможность легкого бэкапа виртуалки. »
O'rly?

Цитата cnyx:
Когда она в виде одного файла, ее легко можно скопировать на другой хост. »
Когда она внутри LVM, то её ещё легче скопировать куда надо
sudo ddrescue /dev/virtuals/image /внешний_hdd

Цитата cnyx:
У меня сейчас 2 md раздела. В первом /boot хоста, второй введен в pvgroup. В этой pvgroup введен один vgroup. В ней один lvm на 30Гб для хоста (proxmox) и второй lvm на 400Гб для proxmox-storage. »
То есть у вас LVM внутри LVM, в котором всего один логический раздел EXT4, в котором лежат файлы образов дисков?
Тут или один LVM лишний, или лишний логический раздел с файлами.

-------
Самое совершенное оружие, которым забиты арсеналы богатых и процветающих наций, может легко уничтожить необразованного, больного, бедного и голодного. Но оно не может уничтожить невежество, болезнь, нищету и голод. (Фидель Кастро)

Почему всех осужденных за измену Родине при Сталине реабилитировали при Горбачёве по отсутствию состава преступления? Потому что при Горбачёве измену Родине перестали считать преступлением.


Отправлено: 09:43, 20-10-2020 | #12


Забанен


Сообщения: 3886
Благодарности: 847

Профиль | Цитировать


cnyx, чем рассказывать словами, показали бы вывод lsblk. А то сложно вникнуть, кто на ком стоял.

Отправлено: 12:38, 20-10-2020 | #13


Новый участник


Сообщения: 17
Благодарности: 0

Профиль | Отправить PM | Цитировать


Что-то думал написал ответ, а по факту не написал. Вот вывод
Код: Выделить весь код
# lsblk
NAME                   MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sda                      8:0    0 931,5G  0 disk
├─sda1                   8:1    0   3,7G  0 part
│ └─md0                  9:0    0   3,7G  0 raid1 /boot
└─sda2                   8:2    0 927,8G  0 part
  └─md1                  9:1    0 927,7G  0 raid1
    ├─vg1-pve--root    253:0    0    28G  0 lvm   /
    └─vg1-pve--storage 253:1    0 406,5G  0 lvm   /pvestorage
sdb                      8:16   0 931,5G  0 disk
├─sdb1                   8:17   0   3,7G  0 part
│ └─md0                  9:0    0   3,7G  0 raid1 /boot
└─sdb2                   8:18   0 927,8G  0 part
  └─md1                  9:1    0 927,7G  0 raid1
    ├─vg1-pve--root    253:0    0    28G  0 lvm   /
    └─vg1-pve--storage 253:1    0 406,5G  0 lvm   /pvestorage

Отправлено: 12:18, 02-11-2020 | #14


ИО Капитана Очевидности


Contributor


Сообщения: 5335
Благодарности: 1100

Профиль | Отправить PM | Цитировать


Цитата cnyx:
├─vg1-pve--root 253:0 0 28G 0 lvm / »
О, ещё и один раздел под всю систему хост-машины.
Небось ещё, swap в виде файла подкачки, работа с которым будет использовать ресурсы файловой системы этого раздела.
Активные логи вместе с неизменяемыми файлами и полная проверка всей этой красоты при аварийном отключении электропитания.

А целых 4 Гб под /boot - это пять. Планируете использовать 40 разных версий образа начальной загрузки?
Там и 500 Мб за глаза хватило бы.

-------
Самое совершенное оружие, которым забиты арсеналы богатых и процветающих наций, может легко уничтожить необразованного, больного, бедного и голодного. Но оно не может уничтожить невежество, болезнь, нищету и голод. (Фидель Кастро)

Почему всех осужденных за измену Родине при Сталине реабилитировали при Горбачёве по отсутствию состава преступления? Потому что при Горбачёве измену Родине перестали считать преступлением.


Отправлено: 14:20, 02-11-2020 | #15


Забанен


Сообщения: 3886
Благодарности: 847

Профиль | Цитировать


Цитата El Scorpio:
О, ещё и один раздел под всю систему хост-машины. »
Это нормально.
Цитата El Scorpio:
А целых 4 Гб под /boot - это пять. Планируете использовать 40 разных версий образа начальной загрузки? »
Места дофига, а иногда нужно вернуться к старым ядрам, переборчик канеш, гига хватило б, но свободного места реально дофига походу.

Цитата El Scorpio:
Активные логи вместе с неизменяемыми файлами и полная проверка всей этой красоты при аварийном отключении электропитания. »
Ну я бы систему держал (и так делаю) на отдельном массиве, независимом от стореджа, но ТС вроде плакалася про нищету. Что делать, приходится жить с тем, что есть. UPS надеюсь там есть.

Цитата El Scorpio:
Небось ещё, swap в виде файла подкачки, работа с которым будет использовать ресурсы файловой системы этого раздела. »
Может его вообще нет. Но тут соглашусь, надо в lvm его. Благо это несложно.

cnyx, насколько вижу, полно места на PV свободного, не нужна чехарда с выводом диска из массива. Просто делаете новый lvm thin pool, подключаете в качестве стореджа и переносите туда виртуалки стандартным дамп-рестором. Пошаговые команды для этого вам нужны или сами справитесь? Покажите кстати вывод команд pvs; vgs; lvs -a

Отправлено: 14:34, 02-11-2020 | #16


Ветеран


Сообщения: 3785
Благодарности: 824

Профиль | Отправить PM | Цитировать


Jula0071, а зачем swap в lvm? - с файлом проще

Отправлено: 18:40, 02-11-2020 | #17


Забанен


Сообщения: 3886
Благодарности: 847

Профиль | Цитировать


Цитата Busla:
с файлом проще »
Не проще. Каждому своё канеш. Но зачем дополнительную нагрузку на фс, когда её можно избежать?
Использую файл для подкачки только в случае облачных решений, где нет доступа дальше своей виртуалки.

Отправлено: 18:44, 02-11-2020 | #18


Новый участник


Сообщения: 17
Благодарности: 0

Профиль | Отправить PM | Цитировать


Цитата El Scorpio:
О, ещё и один раздел под всю систему хост-машины.
Небось ещё, swap в виде файла подкачки, работа с которым будет использовать ресурсы файловой системы этого раздела.
Активные логи вместе с неизменяемыми файлами и полная проверка всей этой красоты при аварийном отключении электропитания. »
Ага.
Цитата El Scorpio:
А целых 4 Гб под /boot - это пять. Планируете использовать 40 разных версий образа начальной загрузки?
Там и 500 Мб за глаза хватило бы. »
Места много, решил не экономить. А то уже доэкономились предыдущие админы, что старые ядра не удаляют, а под новые места не хватает.
Цитата Jula0071:
UPS надеюсь там есть. »
Нашел старинный APC, достал через друга родной шнурок, провозился с NUT, который глючил. Поставил apcupsd. Хоть какое-то аварийное завершение будет.
Цитата Jula0071:
Может его вообще нет. Но тут соглашусь, надо в lvm его. Благо это несложно. »
swap в файле. Да. Ну я так решил. На данный момент 2 виртуалки на 6Гб ОЗУ. Всего 16Гб ОЗУ.
Цитата Jula0071:
насколько вижу, полно места на PV свободного, не нужна чехарда с выводом диска из массива. Просто делаете новый lvm thin pool, подключаете в качестве стореджа и переносите туда виртуалки стандартным дамп-рестором. Пошаговые команды для этого вам нужны или сами справитесь? Покажите кстати вывод команд pvs; vgs; lvs -a »
Вывод вот.
Код: Выделить весь код
# pvs
File descriptor 7 (pipe:[10648711]) leaked on pvs invocation. Parent PID 31464: bash
  PV         VG  Fmt  Attr PSize   PFree
  /dev/md1   vg1 lvm2 a--  927,66g <493,20g
# vgs
File descriptor 7 (pipe:[10648711]) leaked on vgs invocation. Parent PID 31464: bash
  VG  #PV #LV #SN Attr   VSize   VFree
  vg1   1   2   0 wz--n- 927,66g <493,20g
# lvs -a
File descriptor 7 (pipe:[10648711]) leaked on lvs invocation. Parent PID 31464: bash
  LV          VG  Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  pve-root    vg1 -wi-ao----  <27,94g
  pve-storage vg1 -wi-ao---- <406,53g
Насколько я понял, мне надо просто создать LVM раздел, указать его как storage в proxmox и перенести туда виртулки. Сервер в продакшене. На одном samba, резервные копирования, бэкап в облака и Dropbox. На втором Zabbix + pi-hole. Раньше думал поднимать bind для управления NS записями + www + почта. Но так как сейчас NS-ами дают управлять регистраторы доменов, а хостинг с почтой в 5Гб стоит 200р/мес, что выглядит слегка надежнее, чем мой сервак, то от третьей виртуалки я пока отказался.
И вот сижу и думаю, а в чем великий смысл той переделки, что мне предлагаете? Для меня текущий подход слегка прозрачнее. Я в любой момент могу .qcow2 любой виртуалки переписать по сети на другой комп и обеспечить резервирование всей машины на другой физический комп. Лезть в продакшн совершенно не хочется. В силу определенных обстоятельств, если что-то пойдет не так, то придется на работе ночевать, чтобы все это поднять заново.

Отправлено: 09:29, 03-11-2020 | #19


Ветеран


Сообщения: 3785
Благодарности: 824

Профиль | Отправить PM | Цитировать


Цитата Jula0071:
зачем дополнительную нагрузку на фс »
что за мифическая нагрузка на фс? откуда она, насколько большая?
один раз выделилось непрерывное пространство, потом примитивнейшая арифметика смещений

ровно те же сомнения можно и в адрес lvm выдвинуть: зачем на него дополнительная нагрузка


Цитата cnyx:
И вот сижу и думаю, а в чем великий смысл той переделки, что мне предлагаете? »
возможно у "Proxmox" своя атмосфера, но для vmware и hyper-v рекомендуют выдавать диски файлами, а не лунами

Отправлено: 11:17, 03-11-2020 | #20



Компьютерный форум OSzone.net » Linux и FreeBSD » Общий по Linux » Прочее - Организация RAID (mdadm) + виртуализация. Выбор реализации.

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Разное - Выбор аппаратного RAID 1 choodo Прочее железо 2 05-11-2018 21:12
RAID - Выбор RAID массива Dreamer_UFA Накопители (SSD, HDD, USB Flash) 26 25-04-2018 22:44
Debian/Ubuntu - MDADM vs Аппаратный RAID CJ F.A.N. Общий по Linux 14 15-09-2014 06:45
Debian/Ubuntu - Странное сообщение mdadm El Scorpio Общий по Linux 8 19-04-2012 09:54
Разное - Выбор RAID-контроллера InnoSanctum Прочее железо 0 18-06-2008 17:13




 
Переход