Ошибки при выборе GPU-сервера

1. Неверный GPU

Разные GPU подходят для разных задач. Купить «мощный» GPU и не получить нужный результат — типичная ошибка.

Что выбрать под задачу

• RTX 4090: для инференса 7-13B моделей и файнтюнинга с LoRA. Не подходит для обучения LLM с нуля;
• RTX 5090: новейшая архитектура Blackwell, 32 ГБ GDDR7. Для инференса и файнтюнинга;
• V100: для базового ML и инференса. Устарел, но дешёвый;
• A100: баланс для ML и инференса. 40 или 80 ГБ HBM2e;
• H100: для LLM 70B+ и HPC. Максимальная производительность, NVLink 4, Transformer Engine;
• H200: развитие H100 с 141 ГБ HBM3e. Для самых крупных моделей;
• L40S: для графики, 3D-рендеринга и ML среднего масштаба. 48 ГБ GDDR6.

К чему приводит ошибка

• Недооценка: купили RTX 4090 для обучения LLM — не хватит VRAM. Обучение невозможно;
• Переоценка: купили H100 для инференса 7B — переплата в 3 раза без реальной пользы;
• Не та архитектура: купили V100 для современных LLM — производительность в 10 раз ниже H100.

Как избежать

Определите задачу до выбора GPU: обучение или инференс, размер модели, требования к latency. Консультируйтесь с провайдером или нашим специалистом.

3. Нет NVLink

Для мульти-GPU конфигураций NVLink критичен. Без него обучение крупных моделей на нескольких GPU неэффективно.

Сравнение пропускной способности

• PCIe 4.0 x16: 32 ГБ/с на GPU;
• PCIe 5.0 x16: 64 ГБ/с на GPU;
• NVLink 3 (A100): 600 ГБ/с, в 18 раз быстрее PCIe 4.0;
• NVLink 4 (H100): 900 ГБ/с, в 28 раз быстрее PCIe 4.0;
• NVSwitch: соединение 8 GPU в единую сеть, полная пропускная способность между любой парой.

К чему приводит отсутствие NVLink

• Медленное обучение: данные не успевают передаваться между GPU. Обучение замедляется в 3-5 раз;
• Плохое масштабирование: добавление GPU не даёт линейного ускорения. 4 GPU могут работать как 2;
• Ограничения на модели: нельзя использовать tensor parallelism для крупных моделей;
• Простой GPU: GPU ждут данных вместо вычислений.

Когда NVLink критичен

• Обучение LLM 30B+ на нескольких GPU;
• Tensor parallelism (разделение модели между GPU);
• Большие batch size с синхронизацией градиентов;
• HPC-задачи с интенсивным обменом между GPU.

5. Охлаждение

GPU выделяют много тепла. Современные модели потребляют сотни ватт, и без надёжного охлаждения начнутся проблемы.

Тепловыделение GPU

• RTX 4090: 450 Вт;
• A100: 400 Вт;
• H100: 700 Вт;
• H200: 700 Вт;
• 8x H100 сервер: 5.6 кВт только на GPU. Плюс CPU, память, диски.

Последствия плохого охлаждения

• Троттлинг: GPU снижает частоту при перегреве. Производительность падает на 30-50%;
• Сбои: случайные перезагрузки, ошибки обучения, порча чекпоинтов;
• Сокращение срока службы: GPU выходит из строя раньше на 2-3 года;
• Потеря данных: при аварийном отключении может повредиться файловая система;
• Пожары: в крайних случаях.

Как избежать

• Дата-центр с хорошим охлаждением: уточняйте у провайдера параметры;
• Мониторинг температур: GPU не должен превышать 80-85°C;
• Правильная вентиляция: сервер должен быть в стойке с правильной циркуляцией воздуха;
• Для мощных конфигураций: жидкостное охлаждение или погружные решения.

7. Нет оптимизации

Даже на мощном GPU без оптимизации производительность низкая. Многие считают: «Купим H100 — и всё будет быстро». На практике нужен правильный софт и настройки.

Что даёт оптимизация

• Квантизация (INT8, INT4): уменьшает VRAM в 2-4 раза, ускоряет инференс;
• vLLM: PagedAttention и continuous batching. Throughput в 5-24 раза выше;
• TensorRT-LLM: оптимизация графа модели. На 20-40% быстрее vLLM;
• Flash Attention: экономия памяти и ускорение attention в 2-4 раза;
• Батчинг: GPU не простаивает между запросами;
• KV-кеш: экономия памяти на контексте;
• Тюнинг параметров: power limit, частоты, размер батчей.

К чему приводит отсутствие оптимизации

• Низкий throughput: GPU обрабатывает в разы меньше запросов, чем мог бы;
• Высокая latency: ответ модели занимает 5-10 секунд вместо 0.5-1;
• Перерасход VRAM: модели не помещаются, хотя могли бы с квантизацией;
• Простой GPU: между запросами GPU ждёт, не обрабатывая другие запросы;
• Переплата за железо: мощный GPU используется на 20-30%.

📌 Итоговый вывод

Ошибки при выборе GPU-сервера дорого обходятся.

Что нужно знать:

• Неверный GPU: не подходит для задачи, деньги на ветер;
• Мало VRAM: модель не запускается или тормозит в 10-100 раз;
• Нет NVLink: мульти-GPU обучение в 3-5 раз медленнее;
• Слабый канал: данные не успевают поступать, GPU простаивает;
• Плохое охлаждение: троттлинг и сбои, потеря производительности;
• Не то облако: нет изоляции, меньше производительности, переплата;
• Нет оптимизации: низкий throughput и высокая latency, перерасход VRAM.

Хотите подобрать GPU-сервер правильно? Закажите консультацию в Lead Hub.

Также рекомендуем: как выбрать GPU, H100 или A100, bare metal или облако, VRAM для LLM, оптимизация инференса, GPU-хостинг.