habr.com
13 часов 44 минуты назад
Разбор сборки на NVIDIA Tesla V100 SXM2: цены, память, охлаждение, совместимость и ограничения для локальных нейросетей.
Автор рассматривает домашний сервер для локального запуска больших языковых моделей на базе бывших серверных ускорителей NVIDIA Tesla V100 SXM2. В материале разобраны варианты на две и четыре карты, объём памяти, переходники, охлаждение, ориентировочная стоимость и скорость. Такой вариант может быть дешевле мощной игровой видеокарты, но требует внимания к драйверам, совместимости, питанию, шуму и тепловыделению.Шаги
1. Определите нужный объём видеопамяти и число ускорителей.
2. Учтите переходники SXM2–PCIe, материнскую плату, питание и охлаждение.
3. Проверьте совместимость драйверов и сборок PyTorch с архитектурой Volta.
4. Сравните стоимость б/у карт с полной стоимостью платформы и обслуживания.
1. Определите нужный объём видеопамяти и число ускорителей.
2. Учтите переходники SXM2–PCIe, материнскую плату, питание и охлаждение.
3. Проверьте совместимость драйверов и сборок PyTorch с архитектурой Volta.
4. Сравните стоимость б/у карт с полной стоимостью платформы и обслуживания.
Разбор сборки на NVIDIA Tesla V100 SXM2: цены, память, охлаждение, совместимость и ограничения для локальных нейросетей.
