Смена типа RAID 1 на RAID 0 без на лету

[Tonny_Bennet]

Здравствуйте.

Есть некоторая организация с более чем 30 пользователями, которые одновременно работают в 1С. Баз несколько, общий вес баз порядка 70-100 ГБ. Все базы хранятся на отдельном сервере (MS SQL), подключенным по сети к серверу 1С Предприятия.

Речь соответственно идёт о сервере, на котором крутится MS SQL и лежат базы.

Сервер на базе материнской платы Supermicro S8DT3 (http://www.supermicro.com/products/motherboard/QPI/5500/X8DT3.cfm).
Стоит 2 SSD диска Kingston sv100s2/128g работают в RAID 1. В настройках контроллера включил кеш записи. Массив используется для работы системы и на нём хранятся базы MS SQL. До включения кеша записи скорость работы (чисто по ощущениям) была не высокой, после включения скорость заметно выросла (опять же по ощущениям). Монитор ресурсов Windows сейчас говорит, что скорость обращения к диску во время работы в среднем 10-20 МБ/с; при создании бекапа, и следовательно копирования с RAID массива на HDD скорость возрастает до 70-130 МБ. Пользователи иногда жалуются на скорость работы 1С. Заметить корреляцию с какими-то процессами на серверах мне не ужалось. Программист 1С говорит, что проблема скорее всего в скорости работы дисковой подсистемы сервера.

Единственный, по моему мнению, вариант ускорения системы это изменение типа RAID на 0. Все источники сообщают, что это действительно самое быстрое и самое небезопасное решение. Учитывая то, что бекапы всех баз делаются пару раз в день можно пожертвовать отказоустойчивостью в пользу производительности. Также мы скорее всего скоро упрёмся в проблему нехватки места на диске и RAID 0 также поможет и в этом.

Хотелось бы услышать мнение специалистов по поводу оптимизации системы. Стоит ли перестраивать архитектуру массива? может стоит просто заменить диски на более производительные? Может стоит провести какие-то более сложные тесты производительности?

[Ment69]

Единственный, по моему мнению, вариант ускорения системы это изменение типа RAID на 0 » У вас есть загранпаспорт? Когда массив рухнет, сразу бежать за границу придется! Ведь никто не сможет восстановить баз порядка 70-100 ГБ »

Вообще то странно, вы включали мониторинг системы? Отслеживали узкое место?
которые одновременно работают в 1С » В терминальном режиме? Клиенты "толстые" или "тонкие"?

Преобразование RAID 1 в RAID 0 возможно только с уничтожением данных на обоих дисках! На лету не возможно!

[Tonny_Bennet]

У вас есть загранпаспорт? Когда массив рухнет, сразу бежать за границу придется! Ведь никто не сможет восстановить »

Загранпаспорта нет, к сожалению. Я понимаю что 0 массив не предусматривает отказоустойчивости. Единственная страховка это бекапы два раза в день. При падении нужно будет восстановить систему, поднять базу из бекапа и по бумажным документам восстановить пол дня работы. Понятно, что гемор несусветный, но пока других вариантов не много.

Вообще то странно, вы включали мониторинг системы? Отслеживали узкое место? »
Как именно это можно сделать?

Я смотрел в мониторе ресурсов на скорость работы дисков и сети. По первым впечатлениям система в целом нагружена процентов на 10. Сеть порядка 10-15 Мбит/с; диски 10-15МБ/с; ядра процессоров 20-30%.


В терминальном режиме? »
Нет. На клиентских компьютерах стоит платформа 1С. Они подключаются к серверу 1С Предприятия. К серверу 1С предприятия, через вторую сетевую карту, подключен сервер баз данных о котором мы ведём речь.

Клиенты "толстые" или "тонкие"? »
Сейчас стоит платформа 8.2 в режиме совместимости с 8.1. В этом режиме может работать только толстый клиент. Когда полностью перейдём на 8.2 скорее всего будет тонкий клиент.

Преобразование RAID 1 в RAID 0 возможно только с уничтожением данных на обоих дисках! На лету не возможно! »
Жаль.

Может стоит задуматься о другом типе RAID с производительностью близкой к 0?

[cameron]

что скорость обращения к диску во время работы в среднем 10-20 МБ/с »
удивительно низкая скорость даже для SATA HDD.
при создании бекапа, и следовательно копирования с RAID массива на HDD скорость возрастает до 70-130 МБ. »
тоже самое.

[Ment69]

Может стоит задуматься о другом типе RAID с производительностью близкой к 0? » RAID 5, его скорость зависит от количества HDD в массиве и наличия кэша на рэйд-контроллере. Емкость RAID 5 примерно две трети от общей емкости рэйд массива.

Мое мнение вам нужен аппаратный рэйд-контроллер с большим кэшем.
Использование кэша RAID контроллера на запись (Write-Back Cache) очень сильно повышает производительность дисковой подсистемы (в разы), но создает риск потери данных при сбое питания или поломке аппаратуры. Поэтому при наличии аппаратного RAID контроллера всегда рекомендуется установка BBU (батарея аварийного питания кэша).

[Tonny_Bennet]

cameron, можно будет ночью остановить MS SQL и провести какие-нибудь нагрузочные тесты. Но вот только предложите пожалуйста каким ПО можно воспользоваться?
Система MS Windows Server 2008 Enterprise.


http://s017.radikal.ru/i400/1211/c6/b0dd6a856db8.png


RAID 5, его скорость зависит от количества HDD в массиве и наличия кэша на рэйд-контроллере. Емкость RAID 5 примерно две трети от общей емкости рэйд массива. »
Материнская плата поддерживает этот тип RAID

Мое мнение вам нужен аппаратный рэйд-контроллер с большим кэшем. »
Под аппаратным контроллером вы понимаете отдельную плату расширения? Или отдельное дисковое хранилище?

Использование кэша RAID контроллера на запись (Write-Back Cache) очень сильно повышает производительность дисковой подсистемы (в разы), но создает риск потери данных при сбое питания или поломке аппаратуры. Поэтому при наличии аппаратного RAID контроллера всегда рекомендуется установка BBU (батарея аварийного питания кэша). »

Сейчас кеш записи на контроллере включен и рост производительности после его включения был действительно заметен. BBU нет. Стоит бесперибойник.

[cameron]

Емкость RAID 5 примерно две трети от общей емкости рэйд массива. »
(N*X)-N, где N=объёму одного накопителя, а Х - их количеству.

соотно если 10hdd*146Gb общий объём массива Raid5 будет 1460-146, что никак не 2/3.
провести какие-нибудь нагрузочные тесты »
IO meter
SQLio

там LSI1068, он вообще понимает что такое SSD? =)
я вот думаю что нет.
если есть возможность проверить - поставьте пару SAS 15k, в тот же RAID1, думаю что результаты будут другими.
а SSD можно использовать под кеш, но увы и ах, на другом контроллере.
BBU нет. Стоит бесперибойник. »
он не поможет.

[Ment69]

Под аппаратным контроллером вы понимаете отдельную плату расширения? » Да

провести какие-нибудь нагрузочные тесты » Нет. Зайдите в Управление компьютером, далее "Производительность", далее "средства наблюдения", "системный монитор", добавьте счетчики "Дисковые операции файловой системы", "Активность физической сетевой карты" и запустите монитор, пусть пишет логи. Если есть возможность отследить провисания вашей системы (жалобы клиентов 1С) отметьте время этих жалоб, потом на логах смотрите, какой девайс будет на 100% загружен и какой операцией. Как то так.

BBU нет » Возможна потеря данных.

[cameron]

Да »
у него вполне себе аппаратный LSI 1068E. насчёт установки BBU и кеша - нужно смотреть в ман

но сейчас у меня родилось подозрение - а в какой контроллер то воткнуты SSD диски?
там их два, какой нибудь ICH (sata) и LSI1068E (SAS/SATA)?

[Ment69]

у него вполне себе аппаратный LSI 1068E » Если верить спецификациям он сасовский, и 5 рэйд поддерживает опционально. Так что Tonny_Bennet Intel ICH10R SATA 3.0Gbps Controller.

[Tonny_Bennet]

там LSI1068, он вообще понимает что такое SSD?
я вот думаю что нет. »

но сейчас у меня родилось подозрение - а в какой контроллер то воткнуты SSD диски?
там их два, какой нибудь ICH (sata) и LSI1068E (SAS/SATA)? »



SAS

LSI SAS1068E
RAID 0, 1, 10 support
(Optional: AOC-IButton68) RAID 5 support

SATA

Intel ICH10R SATA 3.0Gbps Controller
RAID 0, 1, 5, 10 support (Windows)
RAID 0, 1, 10 support (Linux)



Я не могу гарантировать, но по-моему диски подключены к Intel ICH10R SATA 3.0Gbps Controller.

если есть возможность проверить - поставьте пару SAS 15k, в тот же RAID1, думаю что результаты будут другими.
а SSD можно использовать под кеш, но увы и ах, на другом контроллере. »
Возможности пока нет и наверное не представится.

Цитата Tonny_Bennet:
BBU нет. Стоит бесперибойник. »
он не поможет. »

Не поможет в случае выходе из строя блока питания сервера, насколько я понимаю.


Нет. Зайдите в Управление компьютером, далее "Производительность", далее "средства наблюдения", "системный монитор", добавьте счетчики "Дисковые операции файловой системы", "Активность физической сетевой карты" и запустите монитор, пусть пишет логи. Если есть возможность отследить провисания вашей системы (жалобы клиентов 1С) отметьте время этих жалоб, потом на логах смотрите, какой девайс будет на 100% загружен и какой операцией. Как то так. »

Добавил счётчики. А вот где настроить логирование так и не разобрался. По счётчикам скорости обмена не сильно от монитора отличаются.

у него вполне себе аппаратный LSI 1068E. насчёт установки BBU и кеша - нужно смотреть в ман »
Поиск аббревиатуры BBU по мануалу (99 стр.) ни к чему не привёл. Но я точно помню, что кеш записи включается в настройках контроллера. Может ли это означать что BBU уже смонтирована на мат. плате?

Если верить спецификациям он сасовский, и 5 рэйд поддерживает опционально. Так что Tonny_Bennet Intel ICH10R SATA 3.0Gbps Controller. »
Немного не понял что имелось ввиду?

[AMDBulldozer]

Сколько часов наработки у Ваших SSD? Если не сложно, укажите марку и ёмкость. Большая ли на них нагрузка? Возможно ли, что сложившаяся ситуация является результатом деградации производительности дисков? Есть ли возможности произвести замену дисков? Если нет, возможно, имело бы смысл попытаться частично восстановить производительность.

[Tonny_Bennet]

Сколько часов наработки у Ваших SSD? »
Sysinfo.exe говорит что...

Дата установки: 29.09.2011, 17:01:59

Насколько я помню, сервер работал круглосуточно и лишь изредка перезагружался, т.о приблизительно 10 200 часов.

SSD диска Kingston sv100s2/128g »
Модель sv100s2
Ёмкость 128 ГБ

Большая ли на них нагрузка? »
Сложно ответить на вопрос, я не понимаю что вы понимаете под нагрузкой. В каком режиме и чем именно он эксплуатируется я уже описывал.

Возможно ли, что сложившаяся ситуация является результатом деградации производительности дисков? »
Мне это кажется маловероятным. У этих дисков 1Млн часов наработки на отказ.

Есть ли возможности произвести замену дисков? »
Если чисто для тестов то нет.

имело бы смысл попытаться частично восстановить производительность. »
Не понятно...

[Ment69]

Большая ли на них нагрузка? » Это SQL сервер, постоянные запросы к дисковой подсистеме, нагрузка очень большая.

Немного не понял что имелось ввиду? » Я имел ввиду, что на LSI SAS1068E » специфические разъемы, к ним вы никак не смогли бы SDD прикрутить, так что они подключены к софтовому Intel ICH10R!

[AMDBulldozer]

Мне это кажется маловероятным. У этих дисков 1Млн часов наработки на отказ. »

Речь не идет об отказах. Хотя все эти фантастические числа вроде "миллиона часов на отказ" - не более, чем продукт больной фантазии маркетологов. Они получаются чисто расчетным путем и, как уже давно замечено, не имеют ничего общего с действительностью (миллион часов - это 114 лет. Вы действительно верите, что Ваш диск столько поработает?)
У SSD, в отличие от HDD есть хорошо известная особенность - по мере эксплуатации их производительность постоянно падает. От 2 до 5-ти раз в среднем. То есть, б/у SSD может работать в 5 раз медленнее, чем новый.

Наиболее резко деградация производительности сказывается на системах с высоким уровнем нагрузки на дисковую подсистему.
Поэтому возникают три вопроса: С какой скоростью диски работали в самом начале? Каков объем свободного места на диске? Как давно Вы в последний раз производили дефрагментацию?

P.S. Система, естественно, настроена выполнять TRIM, я полагаю.

[Tonny_Bennet]

софтовому Intel ICH10R! »
Он именно программный? Мне почему то всегда казалось что это аппаратный контроллер...

Так, как и должно быть. Живите и радуйтесь. »
Т.е. вы считаете, что у меня на данный момент всё настроено верно и это максимальная скорость работы системы в данной аппаратной конфигурации?

Получается ускорения дисковой подсистемы можно добиться путём установки SAS дисков. А если захочу использовать RAID5 потребуется докупать AOC-IButton68.

[AMDBulldozer]

Он именно программный? Мне почему то всегда казалось что это аппаратный контроллер... »

Конечно программный.

Т.е. вы считаете, что у меня на данный момент всё настроено верно и это максимальная скорость работы системы в данной аппаратной конфигурации? »

Нет, простите. Это Вы считаете. Вы же сразу отвергли предположение, что за время эксплуатации (уже больше года) производительность SSD могла упасть.

[Tonny_Bennet]

У SSD, в отличие от HDD есть хорошо известная особенность - по мере эксплуатации их производительность постоянно падает. От 2 до 5-ти раз в среднем. То есть, б/у SSD может работать в 5 раз медленнее, чем новый. »

Если честно, то впервые слышу о такой особенности. Если вам не сложно можете дать ссылку на какие-нибудь сравнительные тесты.

Есть ли какие-нибудь особенности у SAS-дисков?

Наиболее резко деградация производительности сказывается на системах с высоким уровнем нагрузки на дисковую подсистему. »
Это SQL сервер, постоянные запросы к дисковой подсистеме, нагрузка очень большая. »

С какой скоростью диски работали в самом начале? »
Не знаю т.к. изначально всё работало нормально. Когда начало подтормаживать (чисто по ощущениям, скорости создания бекапа и т.д.) включил кеш записи. Всё нормализовалось и по отзывам программиста скорость работы стала ещё больше чем была изначально.

Каков объем свободного места на диске? »
На текущий момент 20,3 ГБ из видимых системой 119 ГБ.

Как давно Вы в последний раз производили дефрагментацию? »
Дефрагментация делается каждую неделю в ночь с субботы на воскресенье.

P.S. Система, естественно, настроена выполнять TRIM, я полагаю. »
Win2008 должен поддерживать TRIM. А вот как проверить настроено ли выполнение TRIM я не могу.

Нет, простите. Это Вы считаете. Вы же сразу отвергли предположение, что за время эксплуатации (уже больше года) производительность SSD могла упасть. »

Я не считаю, а просто предполагаю. Просто если так рассуждать то что, каждый год диски менять? Недешёвое удовольствие...

[AMDBulldozer]

Есть ли какие-нибудь особенности у SAS-дисков? »

SAS, простите, это интерфейс. Да, конечно, у него есть свои особенности. Например, в нем предусмотрены команды вывода списка дефектов и принудительно переназначения сектора на резервную область.
Но Вы, вероятно, спрашивали не об этом?
Точно так же, как есть HDD могут иметь любой из этих интерфейсов: SATA и SAS, SSD тоже существуют в двух вариантах: SAS SSD и SATA SSD.
Поэтому я не вполне понял Ваш вопрос.
Может быть Вы интересовались особенностями SAS SSD по сравнению с SATA SSD? Или SAS HDD по сравнению с SATA SSD?
В целом можно сказать, что SAS имеет свои особенности по сравнению с SATA, но ими легко можно пренебречь.
А вот SSD имеет массу особенностей, отличающих твердотельные диски от жестких и пренебречь этой разницей уже нельзя.

Дефрагментация делается каждую неделю в ночь с субботы на воскресенье. »

Это крайне интересно. Не могли бы уточнить, как именно она делается? Сам процесс. Какое ПО для этого используется?

[Tonny_Bennet]

Это крайне интересно. Не могли бы уточнить, как именно она делается? Сам процесс. Какое ПО для этого используется? »

По расписанию. Piriform Defraggler (http://www.piriform.com/defraggler). Сейчас эта программа пишет что фрагментирован 1% файлов. Системная программа дефрагментации Windows пишет "Производительность файловой системы хорошая, выполнять дефрагментацию не требуется."

SAS, простите, это интерфейс. Да, конечно, у него есть свои особенности. Например, в нем предусмотрены команды вывода списка дефектов и принудительно переназначения сектора на резервную область.
Но Вы, вероятно, спрашивали не об этом?
Точно так же, как есть HDD могут иметь любой из этих интерфейсов: SATA и SAS, SSD тоже существуют в двух вариантах: SAS SSD и SATA SSD.
Поэтому я не вполне понял Ваш вопрос.
Может быть Вы интересовались особенностями SAS SSD по сравнению с SATA SSD? Или SAS HDD по сравнению с SATA SSD?
В целом можно сказать, что SAS имеет свои особенности по сравнению с SATA, но ими легко можно пренебречь.
А вот SSD имеет массу особенностей, отличающих твердотельные диски от жестких и пренебречь этой разницей уже нельзя. »

О таком количестве особенностей у SSD я не знал, за что что вам отдельное спасибо. Ответьте пожалуйста на вопрос по поводу TRIM: можно ли проверить поддерживается эта команда системой или нет?

Мне интересно знать можно ли ускорить систему? Или она уже на пределе своих возможностей? Стоит ли сменить диски на SAS HDD? Уменьшится ли деградация дисков со временем? Что со скоростью и отказоустойчивостью?