Компьютер для обучения ИИ
 

Всем привет. Вопросы в основном по видеокартам. Может у кого был опыт сборки для обучения ИИ? Компьютер будет собираться в США (SF) и там же будет подрублен к инету, так что там легче найти комплектующие.

1. Там тоже мало новых видеокарта, и есть много б/у, стоит ли вообще смотреть в сторону б/у, большая часть явно в майнинге использовалась?
2. Смотрю в сторону Nvidia, какие стоит брать, оригинальные Nvidia или типа MSI и т.д.?
3. Кулеры на видеокарте вообще имеют какое-то значение, 1 2 или 3, или все равно?
4. Частота нужна, как я понял, максимальная, или разогнанные лучше не брать?
5. Есть 1060 на 6 gb, и есть карты RTX 3070 на 8 гб и RTX 3090. Что будет из этого лучше, если 1060 будет две карты и 3070, а 3090 будет одна карта?
6. Имеет ли значение процессор в deep learning? И какой брать лучше?

Yez, для каких целей апгрейд видео? И причём тут ИИ?
Да, согласен, видео тоже берёт на себя часть функций процессора в режиме расчётов.

Про какой вы апгрейд видео? Или вы про разгон?

но если вы собираете комп для этой задачи, вы, наверно, знаете, какие требования к железу?
Ну или хотя бы, как будет организовано это обучение.
Почему вы нас спрашиваете то, что, по идее, мы должны спросить? :)

Yez, каков бюджет покупки ПК и что вы имеете в виду когда говорите об "обучении ИИ"?
P.S. Русский язык для вас родной или...?

Был у меня проект, связанный с ML и распознаванием избражений. Работал на GTX1070 в связке с i3 6100. С большими датасетами (точнее при динамической генерации вариантов типа рандомный сдвиг, поворот и т.п.) узким местом был проц, но здесь надо брать во внимание используемое ПО. У меня были python + numpy + keras и tensorflow в качестве бекенда, потому проц задействовал только одно ядро. Хотя TF вроде поддерживает многоядерность, но питон - нет.

По видеокарте. В идеале берите чем мощнее, тем лучше.
Насчёт 2 видеокарт - проверьте, поддерживает ли это дело ваше ПО.
По производителю - выбирайте точно так, как для игр или майнинга. MSI, Asus, Gigabyte. Заводской разгон - норм. Побольше вентиляторов - тоже хорошо.
Памяти видюхе в данном случае много не бывает. С приличным по размеру датасетом её всегда не хватает и чем её больше, тем большими кусками можно обучать. Это позитивно скажется на скорости.

Вот здесь не понял. Вы собрались вместе воткнуть 2 карты 1060 и одну 3070? Так не выйдет, насколько я знаю. Карты одинаковыми должны быть.

python3 как ЯП
anaconda - виртуальные окружение, менеджер модулей
jupiter notebook

модули:
pytorch - либа для обучение/запуска ML моделей
torchvision, PIL - трансформация изображений
python flask - для веб сервера

В двух словах, обучается все на дата сете с фото машин (экстерьера), чтобы ИИ мог сам определять, что это такая-то модель машины, примерно такого-то года.

Спасибо! Нет, две одинаковые карты.

А бэкенд какой? torchvision - это ж вроде как питоновская либа, но она наверняка использует какой-то высокопроизводительный движок типа TF. Надо выяснить, поддерживает ли он несколько видюх и что в таком случае с прооизводительностью.

Это для обучения не важно.

Экспериментально было установлено, что python 2.7 процентов на 20 быстрее. Хотя это не повлияет на скорость обучения, если процесс упрётся в видеокарту (так по идее и должно быть). Да и умер он уже, в смысле 2.x

keras + tensorflow или pytorch

Может кто-то еще чего интересного скажет?

А что тут говорить?
Весь мир бьётся над этим.
По крайней мере все сходятся в одном - огромная вычислительная мощьность и грамотно написанные ПО для этого.

Tesla K80 24GB продают на ebay за совсем смешные деньги. Как бы позапрошлое поколение, но тут говорили, что память полезна, а также деньги смешные. Можно на пробу взять и не влететь на деньги.

Если смотреть на терафлопсы, то RTX3070 на порядок мощнее будет.

Вроде 900 баксов новая карта стоит, не такая она и дешевая, я про ибей.

Тут еще такой вопрос возник. Вы уже пробовали запускать обучение? То есть какое-то представление о нагрузке? Обучать же можно и на слабой видеокарте или вообще на CPU. Я именно так и начинал. Потом поняв, что всё очень долго, купили видюху. Думали купить вторую, но в итоге обошлись одной.

Да, на одном датасете врубали на ноуте, 3-4 недели (с тестированием архитектуры и дополнением датасета) один датасет прогонялся с 2000 фото, это очень долго. Нам таких для начала надо 5 прогнать, и они чуть больше по фото. А если все норм будет, то и 1000 таких датасетов нужно будет скармливать.

На ибее совсем друге цены видел, но да ладно, раз говорят тухлая совсем.

Ох ты ж. Мда. А чё так долго то? 2000 фото - это мелочь, даже в относительно высоком разрешении должно быстро проходить. Или там структура сети нереально сложная? Это ж обычная свёрточная сеть, полагаю? Я как-то ресерчил для одного проекта с поиском объектов на фото, разрешение было 640x480, набор - где-то 500 фоток. Обучение занимало порядка часа. Но это с видюхой 1070. Хотя MNIST (60000 картинок 28x28) с несложной моделью и без видюхи вытягивает за приемлемое время (от 15 минут в простейших случаях до пары часов на уже более-менее серьёзных моделях, дающих 99% точность). Данные приводу для i3 6100.

Я это всё к тому, что откуда недели то взялись? Ну то есть по моему опыту чтоб даже без видеокарты неделями отрабатывало, датасет должен состоять из миллионов картинок. Ну или запускать это дело надо на первом пентиуме :)

Как я понял, мы архитектуру подбирали, и дообучали другие модели, тестили, это не одно обучение.

Я именно про одно обучение спрашиваю. Тогда можно будет оценить, насколько мощная видеокарта нужна.