Аппаратная разгрузка для NFS и iSCSI?
 

Добрый день!

На сколько я понимаю TCP Offload Engine - берет на себя обработку стека TCP\IP. Все вышележащие уровни и протоколы обрабатываются ОС и центральным процессором.

В случае с iSCSI, существуют контроллеры способные аппаратно обрабатывать уровень iSCSI, разгружая ЦП и ОС. Их еще называют iSCSI HBA.

Существуют ли сетевые контроллеры способные аппаратно выполнять уровни NFS? Сам я как бы догадываюсь что это немного другое и это не возможно.

Но, вот смотрю на сайте intel обзор контроллеров ссылка на обзор

и там значится такой пункт Интеллектуальная система аппаратной разгрузки

а в пункте SoE (Storage over Ethernet) отмечены iSCSI, NFS

Тойсть как будто бы этот контроллер умеет интелектуально разгружать NFS? или это совсем другое?

Знающие люди, будьте добры, помогите разобраться в терминологии.

1) SoE - это просто перечень поддерживаемых протоколов хранения данных SAN/NAS.
Для X520, например, там еще будет присутсвовать FCoE.

2) Т. к. NFS это сетевая файловая система, причем половина сетевого стека должна поддерживаться OC, то ничего подобного HBA для нее не существует.

3) Проводили мы недавно эксперимент по поводу TCP Offload Engine и прочих фишечек в 10G Ethernet.
Нагрузочным протоколом был iSCSI.
Сетевые адаптеры: Intel x520 и Emulex Virtual Fabric Adapter II.
В качестве клиентов и серверов выступали 2х процессорные сервера с 6-ядерными Xeon-ами.
В качестве OS = Windows 2008R2 и Windows 2012.
Итоги: полное отключение (по умолчанию включенных) опций акселерации вносило изменения в пределах погрешности измерений.
Более того, в некоторых случаях производительность без акселерации, была слегка выше производительности с включенной акселерацией (опять же в пределах погрешности измерений.

Единственный параметр который хоть как-то влиял на значения производительности для iSCSI - это размер MTU.

Я тоже так подумал, но меня смутило, то что в перечне нет других протоколов например SMB?

Тойсть прироста производительности с TOE вы не наблюдали. А как с нагрузкой на ЦП хостов? Она возростает без TOE?

так понимаю, что речь идет о Джомбо кадрах? и на сколько положительно повлияли?

Понимате, у систем выходило по 12 ядер, а с учетом HT - 24. Заметить влияние при таких значениях просто не удавалось,
т. к. система все время перебрасывает расчеты между ядрами.
Да и потоковое чтение не шибко загружает систему клиента.
Таргет же грузился максимум процентов на 30% для одного HT-проца (для SLES 11).
Итого, максимальная загрузка таргета в целом слегка превышала 1% (30/24)

Нууу, сложный вопрос.
Вот на гигабитные соединения влияет явно. Скачок с 70 МБ/c до 100 МБ/c вполне возможен.
А вот на 10G я наблюдал следующее:
- пики может и выросли (до 1200 МБ/c), а вот средняя скорость сдвинулась где-то с 450 до 500 максимум.

(Использовались следующие Software iSCSI target и были получены следующие скорости чтения:
- Windows 2012 + Starwind = 500
- SLES11 = 450
- Native Windows 2012 = 380-400)
- SMB соединение выдавало 400-450 МБ/c

То же самое железо по FC8 выдавало 800 МБ/c.
При использовании multipathing 1500 - 1550 МБ/c

Итого было выяснено, что 10G Ethernet эквивалентен старой FC 4 Gbit по полосе, но все равно хуже по IOPs и задержкам

печально.
а какой свитч?
меряли чем? IOmeter?

1) Да, iometer для длительного теста и для теста непосредственно сетевого соединения.
Само сетевое соединение, кстати, выдавало честные 1000 - 1200 МБ/с

Использовал ATTO Disk Benchmark.
Он более удобен и нагляден чем iometer для быстрых промеров скорости потокового чтения/записи для задач вроде нелинейного монтажа. Собственно с этого страдания и начались: видеомонтажникам нужна была большая, но простая хранилка с установившейся скоростью потокового чтения не менее 1200 МБ/с.

2) Свич блейдовый BNT Virtual Fabric 10Gb Switch Module for IBM BladeCenter®.

Он влиял, но не сильно.
Прямое соединение добавило 30-50 МБ/c

Есть книжка
Основы проектирования СХД на базе FC там кстати, в точности сказаны эти слова)))то есть ваш вердикт потверждают и эксперты.

Получается, что в нынешних реалиях с многоядерными серверами TOE практически не актуально.

А возможности протестировать контроллеры с апаратной поддержкой iSCSI у вас нет случайно?или может данные какие есть на эту тему?

1) Там получается следующий нонсенс:
- карты дороже FC8
- свичи сильно дороже FC8, при этом по функционалу (хранения данных) они хуже
- потоковая скорость теоретически близка (но нужно проверять для каждого конкретного случая)
- задержки выше, IOPS ниже (т. к. стек протоколов длиннее)

По слухам неплохи 40GE Ethernet, а особенно iSCSI over Infiniband, но это тестировать надо (Все лгут! :).

2) Я бы не был столь категоричен. Было определено, что TOE не актуально для Storage-трафика, т.е. крупных фреймов.
А вот для какого-либо сервера приложений с сотней тысяч одновременных мелких сессий, TOE явно будет не лишним.

Спасибо. Все, что хотел для себя выяснить, выяснил.