[kim-aa]

SoE (Storage over Ethernet) »

1) SoE - это просто перечень поддерживаемых протоколов хранения данных SAN/NAS.
Для X520, например, там еще будет присутсвовать FCoE.

2) Т. к. NFS это сетевая файловая система, причем половина сетевого стека должна поддерживаться OC, то ничего подобного HBA для нее не существует.

3) Проводили мы недавно эксперимент по поводу TCP Offload Engine и прочих фишечек в 10G Ethernet.
Нагрузочным протоколом был iSCSI.
Сетевые адаптеры: Intel x520 и Emulex Virtual Fabric Adapter II.
В качестве клиентов и серверов выступали 2х процессорные сервера с 6-ядерными Xeon-ами.
В качестве OS = Windows 2008R2 и Windows 2012.
Итоги: полное отключение (по умолчанию включенных) опций акселерации вносило изменения в пределах погрешности измерений.
Более того, в некоторых случаях производительность без акселерации, была слегка выше производительности с включенной акселерацией (опять же в пределах погрешности измерений.

Единственный параметр который хоть как-то влиял на значения производительности для iSCSI - это размер MTU.

[FATruden]

1) SoE - это просто перечень поддерживаемых протоколов хранения данных SAN/NAS. Для X520, например, там еще будет присутсвовать FCoE. »

Я тоже так подумал, но меня смутило, то что в перечне нет других протоколов например SMB?

3) Проводили мы недавно эксперимент по поводу TCP Offload Engine и прочих фишечек в 10G Ethernet. Нагрузочным протоколом был iSCSI. Сетевые адаптеры: Intel x520 и Emulex Virtual Fabric Adapter II. В качестве клиентов и серверов выступали 2х процессорные сервера с 6-ядерными Xeon-ами. В качестве OS = Windows 2008R2 и Windows 2012. Итоги: полное отключение (по умолчанию включенных) опций акселерации вносило изменения в пределах погрешности измерений. Более того, в некоторых случаях производительность без акселерации, была слегка выше производительности с включенной акселерацией (опять же в пределах погрешности измерений. »

Тойсть прироста производительности с TOE вы не наблюдали. А как с нагрузкой на ЦП хостов? Она возростает без TOE?

Единственный параметр который хоть как-то влиял на значения производительности для iSCSI - это размер MTU. »

так понимаю, что речь идет о Джомбо кадрах? и на сколько положительно повлияли?

[kim-aa]

Тойсть прироста производительности с TOE вы не наблюдали. А как с нагрузкой на ЦП хостов? Она возростает без TOE? »

Понимате, у систем выходило по 12 ядер, а с учетом HT - 24. Заметить влияние при таких значениях просто не удавалось,
т. к. система все время перебрасывает расчеты между ядрами.
Да и потоковое чтение не шибко загружает систему клиента.
Таргет же грузился максимум процентов на 30% для одного HT-проца (для SLES 11).
Итого, максимальная загрузка таргета в целом слегка превышала 1% (30/24)

так понимаю, что речь идет о Джомбо кадрах? и на сколько положительно повлияли? »

Нууу, сложный вопрос.
Вот на гигабитные соединения влияет явно. Скачок с 70 МБ/c до 100 МБ/c вполне возможен.
А вот на 10G я наблюдал следующее:
- пики может и выросли (до 1200 МБ/c), а вот средняя скорость сдвинулась где-то с 450 до 500 максимум.

(Использовались следующие Software iSCSI target и были получены следующие скорости чтения:
- Windows 2012 + Starwind = 500
- SLES11 = 450
- Native Windows 2012 = 380-400)
- SMB соединение выдавало 400-450 МБ/c

То же самое железо по FC8 выдавало 800 МБ/c.
При использовании multipathing 1500 - 1550 МБ/c

Итого было выяснено, что 10G Ethernet эквивалентен старой FC 4 Gbit по полосе, но все равно хуже по IOPs и задержкам

[cameron]

Итого было выяснено, что 10G Ethernet эквивалентен старой FC 4 Gbit по полосе, но все равно хуже по IOPs и задержкам »

печально.
а какой свитч?
меряли чем? IOmeter?

[kim-aa]

1) Да, iometer для длительного теста и для теста непосредственно сетевого соединения.
Само сетевое соединение, кстати, выдавало честные 1000 - 1200 МБ/с

Использовал ATTO Disk Benchmark.
Он более удобен и нагляден чем iometer для быстрых промеров скорости потокового чтения/записи для задач вроде нелинейного монтажа. Собственно с этого страдания и начались: видеомонтажникам нужна была большая, но простая хранилка с установившейся скоростью потокового чтения не менее 1200 МБ/с.

2) Свич блейдовый BNT Virtual Fabric 10Gb Switch Module for IBM BladeCenter®.

Он влиял, но не сильно.
Прямое соединение добавило 30-50 МБ/c

[FATruden]

Итого было выяснено, что 10G Ethernet эквивалентен старой FC 4 Gbit по полосе, но все равно хуже по IOPs и задержкам »

Есть книжка
Основы проектирования СХД на базе FC там кстати, в точности сказаны эти слова)))то есть ваш вердикт потверждают и эксперты.

Получается, что в нынешних реалиях с многоядерными серверами TOE практически не актуально.

А возможности протестировать контроллеры с апаратной поддержкой iSCSI у вас нет случайно?или может данные какие есть на эту тему?

[kim-aa]

1)

А возможности протестировать контроллеры с апаратной поддержкой iSCSI у вас нет случайно?или может данные какие есть на эту тему? »

Там получается следующий нонсенс:
- карты дороже FC8
- свичи сильно дороже FC8, при этом по функционалу (хранения данных) они хуже
- потоковая скорость теоретически близка (но нужно проверять для каждого конкретного случая)
- задержки выше, IOPS ниже (т. к. стек протоколов длиннее)

По слухам неплохи 40GE Ethernet, а особенно iSCSI over Infiniband, но это тестировать надо (Все лгут! .

2)

Получается, что в нынешних реалиях с многоядерными серверами TOE практически не актуально. »

Я бы не был столь категоричен. Было определено, что TOE не актуально для Storage-трафика, т.е. крупных фреймов.
А вот для какого-либо сервера приложений с сотней тысяч одновременных мелких сессий, TOE явно будет не лишним.

[FATruden]

Спасибо. Все, что хотел для себя выяснить, выяснил.