Периодические перезагрузки сервера, без BSOD'ов
 

Доброе время суток. Имеется машина работающая как сервер.

Материнка Gigabyte B360DH3PML-CF
Процессор Intel Core I9 9900K
Оператива DDR4, 128 GB
Диски 2* NVME Samsung MZVLB1T0HBLR 1 TB
1*SATA SSD Micron MTFDDAK1T9TBY, 1.92 TB
1*SATA SSD Toshiba THNSN8960PCSE, 960 GB
Сетевые карты встроенная в материнку сетевуха Intel
дополнительная 10Gbit/sec сетевуха с 2-мя портами для связи с другими серверами в сети Intel 520-2

Хостовая ОС - Windows Server 2019 Standard, в Hyper-V поднята такая же виртуальная ОС. Сервер используется как сервер СУБД (MS SQL Express 2019 ) для большого кол-ва маленьких баз ( 150+ объемом 1-2 GB в среднем).
Основные диски для виртуальной ОС подключены как сквозные.
Ни в хостовой, ни в виртуальной ОС антивирусов нет, доступ из интернета открыт для очень небольшого кол-ва портов, для нескольких IP-адресов.

Проблема: сервер периодически перезагружается, без BSOD'ов, в самое различное время. По журналам системы понятно что сбой идет в хостовой ОС и затем как следствие в виртуальной. Что было сделано, и не дало результата.

1. Заменены процессор, материнка, память на идентичные
2. Обновлена прошивка дисков до последней
3. Обновлена BIOS материнки до последней
4. Неоднократно установлены все обновления Windows
5. Неоднократно проверены SMART и состояние дисков - проблем нет.
6. После замены оперативы новая оператива проверена memtest86+ ( проверка шла 9 часов) - проблем нет.
7. Есть мнение что сервер может перезагружаться потому что оборудование не выдерживает нагрузку. Под проверкой, но скорее всего нет, т.к. перезагрузка бывает в самые разные периоды, в т.ч. в "тихие". Так же, если смотреть на журналы монитора производительности, то постоянной сильной нагрузки на железо нет.
8. Теория с перегревом железа. В разное время запускал Aid'у, в общем температур на мамке и проце выше 80 не наблюдал. При этом непосредственно перед перезагрузками не знаю какая была температура. Но, в моменты, скажем, личных проверок, перегревов не видел.

Что может быть причиной перезагрузок, что еще проверить ? Софтовую причину отметаю т.к. нет BSOD'ов. Может я ошибаюсь, не знаю. Какие идеи ?

Блок питания?

обычно хочет память с коррекцией ошибок. Смотрите в логах на предмет ошибок по памяти, если такие есть.

"журналам системы понятно что сбой идет в хостовой ОС"
а что за ошибки-то предшествуют сбою?

Вчера заменили.

В том-то и дело, что ошибок перед перезагрузкой нет. По журналам я имею ввиду, что идет непредвиденная перезагрузка именно хостовой ОС.

Получается на данный момент, единственное что не менялось в сервере, это диски и дополнительная сетевая карта. Но могут ли они быть причиной непредвиденных перезагрузок, без BSOD'ов ? Я такого просто еще не встречал.

а в сторону софтовых проблем не смотрели?
там, напр, утекание памяти?
мож тупо файл виртуальной оси разрастается, пока не займет весь рам, и хостовой негде свое хранить, она падает..
нет возможности запустить виртуалку в окне так, чтоб на экране имелась и хостовая, с каким-нить хоть примитивным индикатором занимаемых ресурсов?

Вполне возможно. Но раз мониторинга железа у вас нет, то угадайка. Да и софт тоже не мониторите небось? Кто сколько ресурсов сожрал, всё такое...
На какой? И какой был? Понятно, на десктопном железе мониторинг БП вещь редкая, я знаю только одну серию Corsair RMi, где есть хоть какой-то мониторинг.
А так, БП вполне мог уйти в защиту. Во всех остальных вариантах должен быть бсод и запись в журнал событий.

Софтовые проблемы обычно оставляют BSOD'ы.

Так я говорю, было бы в софте дело - были бы BSOD'ы и скорее всего ошибки в журналах событий Система и Приложение, а нет ошибок перед перезагрузками.

Блок питания какой поставили - сервер у хостера, поэтому этот момент не прояснить. Не будут они отвечать на такое. Сказали что заменили.

сервер у хостера?
а как вы уверены, что рассказы про замены железа не туфта?
а как можно быть уверенным даже в том, что уборщица, включая пылесос, не вынула из розетки мешающую железяку? (условно)

Мониторинг софта всё же дал бы какие-то наводки. Ну и ещё, если у вас вдруг отваливается системный диск, то даже при бсоде в журнал ничего не запишется. Если только у вас не настроен внешний сервер журналов.
Ну то есть вы не знаете, случился ли бсод. Если только не настроен так, чтобы не было автоматической перезагрузки.
Вообще-то у хостера главный интерес - чтобы клиент был доволен, потому на любые вопросы будет отвечать. Иначе клиент уйдёт. Если им пофиг - бегите оттуда. Это помойка.
Ага. Да и без уборщицы, мало ли сбой питания. Если БП не redundant с питанием по независимым каналам, то и не узнаешь. У меня как-то был случай, разом погасла пачка серверов. Причём, с power redundancy, всё по уму. Паника. Пишу хостеру - оказалось, инженеры в ДЦ перепутали стойки и случайно обесточили нашу. И такое бывает. Но они быстро признали ошибку и всё исправили.

Всё может быть, мне не нравится поведение хостера, по описанию. Выглядит как что им пофиг, а это ненадлежащее отношение поставщика услуг.
Даже не заикаясь, что держать сервер на десктопном железе без мониторинга и резервирования это хороший шанс влететь в непонятки.

время переключения мож слишком длинное?
обычно лимитируют в сколько-то мс..

ну, там стандартный алгоритм перехода с одного пиатния на другое, и я не знаю, как именно это на плате организовано..
Мож тупо через кондеры, которые должны подавать питание, пока отрабатывает релюшка, а кондеры ссохлись.. Мож еще как, но мыслю именно в длину провала при автомате.
Если есть осциллограф с подключением к компу, можно промерять время провала, наверно..

Никак. Здесь только верить на слово приходится.

- Слишком часто из розетки вилку вытягивают.

Здравствуйте. Опять была перезагрузка, без BSOD'ов.
Осталось методом тыка поменять дополнительную сетевую карту и диски. На моем опыте ни то ни то не было причиной перезагрузок, без BSOD'ов. Был ли у кого-то другой опыт ?

Не под виндой, и не с сетевухами от Интел. Да и диски так не дохнут обычно. Как вариант, я бы сменил хостовую ОС, на текущей конфигурации.

Вряд ли это поможет, если проблома аппаратная, а всё намекает, что это так и есть. Разве что тот же линукс может что-то в dmesg скинет перед отказом, но надо настраивать remote syslog, чтобы не потерялось. И если проблема с сетевой частью, то и тогда может потеряться.
Прошивки ещё можно попробовать обновить, все, какие возможно. Для серверных сетевух это точно можно (и нужно) сделать. Можно также поиграться с настройками hardware offload, вплоть до полного его отключения.

тогда уж и MSI/MSIX всякие за компанию.
вот я и проверил бы. Конечно, ТС никто не заставляет так делать, но тогда проблема так и станется нерешенной.

Так даже BSOD'ов нет. В хостовой ОС кроме Hyper-V ничего нет.

Попробую "поиграться".

Так я и говорю - не под виндой. Под FreeBSD одна карта так гадила - при нагрузке больше какого-то значения просто вешала всю систему с перезагрузкой, и так по кругу, пока не выключишь. Решилось блокировкой всех "наворотов" (TCP Offload, MSI/MSIX и т.п.) сетевухи в её драйвере (т.е. проблема как бы и не железная....)

У сетевух серверного класса драйверы примитивные, практически весь рабочий код в прошивке... Собсно и MSI/MSIX тоже про это - жылезка управляет прерываниями, а не драйвер/ядро/цпу. С одной стороны, так быстрее, но с другой могут вылезти race conditions.

Cereal Keeler, я в курсе. "прошивка" всё-таки больше "софт", чем "железо", но могут вылезти глюки от обоих, что бывает отловить достаточно трудно. Так что пусть для начала поотключает всё, а потом посмотрим.
А, PS. можно какой-нибудь zabbix вкарячить, может, повезет и удастся скореллировать перезагрузку с чем-то.

Мониторинг в любом случае необходим, как это сервер да без мониторинга?

ТС про мониторинг не писал, или я пропустил? ;)

Он предпочёл умолчать, из чего можно сделать вывод, что мониторинга нет. Видать, не очень нужный сервер, впрочем, это и по железу понятно. И заказчик готов терпеть периодические отказы, видимо, они обходятся дешевле, чем расходы на нормальное железо, мониторинг, резервирование, SLA и пр.