Как выбрать GPU-сервер: 7 критериев

1. Модель GPU

Главный критерий. Модели GPU различаются по производительности, объёму памяти, энергопотреблению.

Современные модели

• NVIDIA H100: флагман для LLM и HPC. 80 ГБ HBM3, NVLink 4, Transformer Engine. Обучение моделей 70B+;
• NVIDIA H200: развитие H100 с 141 ГБ HBM3e. Для самых крупных моделей без квантизации;
• NVIDIA A100: баланс цены и производительности. 40 или 80 ГБ HBM2e. ML, HPC, инференс;
• NVIDIA L40S: для графики и ML среднего масштаба. 48 ГБ GDDR6;
• NVIDIA V100: для базового ML и инференса. 16 или 32 ГБ HBM2. Устарел, но дешёвый;
• NVIDIA RTX 4090: для инференса и файнтюнинга. 24 ГБ GDDR6X. Экономичное решение;
• NVIDIA RTX 5090: новейшая архитектура Blackwell. 32 ГБ GDDR7.

Что выбрать под задачу

• Обучение LLM 70B+: H100 или H200, кластер 8+ GPU с NVLink;
• Обучение LLM до 30B: 1-4x A100 80 ГБ;
• Инференс LLM 7-13B: RTX 4090, RTX 5090;
• Инференс LLM 70B: H100 или 2x A100 80 ГБ;
• Computer Vision: RTX 4090, A100;
• 3D-рендеринг: L40S, RTX 4090;
• HPC: H100, A100.

3. Процессор

CPU в GPU-сервере не работает впустую. Он отвечает за подготовку данных, управление GPU, работу с сетью.

Задачи CPU

• Загрузка данных: подготовка датасетов, аугментация, токенизация;
• Управление GPU: постановка задач, синхронизация, обмен данными;
• Работу с сетью: получение данных из облака, отправка результатов;
• CPU-инференс: для небольших моделей или предобработки;
• Сервисы окружения: Jupyter, контейнеры, базы данных.

Рекомендации

• Для ML: 16-32 ядра. Чем больше данных — тем больше ядер;
• Для инференса: 8-16 ядер;
• Для мульти-GPU: 32-64 ядра;
• Архитектура: Intel Xeon или AMD EPYC. AMD EPYC часто выгоднее по цене/производительности;
• PCIe-линии: убедитесь, что их хватает для всех GPU.

5. NVLink

NVLink — технология прямого обмена данными между GPU. Критична для мульти-GPU конфигураций.

Скорость

• PCIe 4.0 x16: 32 ГБ/с на GPU;
• PCIe 5.0 x16: 64 ГБ/с на GPU;
• NVLink 3 (A100): 600 ГБ/с;
• NVLink 4 (H100): 900 ГБ/с;
• NVSwitch: соединение 8 GPU в единую сеть.

Зачем нужен NVLink

• Tensor parallelism: разделение модели между GPU для обучения крупных моделей;
• Pipeline parallelism: конвейерное обучение;
• Data parallelism: синхронизация градиентов;
• Инференс крупных моделей: распределение модели по нескольким GPU.

Что выбрать

• 1 GPU: NVLink не нужен;
• 2-4 GPU: NVLink 3 (A100) или NVLink 4 (H100);
• 8+ GPU: NVSwitch для полной связности;
• Без NVLink: только data parallelism, крупные модели обучить нельзя.

7. Сеть

Сеть важна для распределённого обучения, загрузки данных и инференса под нагрузкой.

Зачем нужна сеть

• Распределённое обучение: несколько серверов обмениваются градиентами. Нужен InfiniBand или высокоскоростной Ethernet;
• Загрузка данных из облака: S3, NFS, базы данных;
• Инференс под нагрузкой: обслуживание тысяч запросов в секунду;
• Мульти-тенантность: несколько пользователей на одном сервере;
• Резервное копирование: бэкап моделей и чекпоинтов.

Рекомендации

• Минимум: 10 Гбит/с для одного GPU-сервера;
• Оптимально: 25-100 Гбит/с для интенсивной работы;
• Распределённое обучение: InfiniBand 100-400 Гбит/с с RDMA;
• Для HPC: InfiniBand HDR/EDR, порт 200+ Гбит/с.

📌 Итоговый вывод

Выбор GPU-сервера — это баланс между задачей, моделью и бюджетом.

Что нужно знать:

• GPU: H100/H200 для LLM, A100 для ML, RTX 4090 для инференса;
• VRAM: 16-24 ГБ для 7B, 80+ ГБ для 70B, с запасом 20-30%;
• CPU: 16-32 ядра для ML;
• RAM: 128-256 ГБ для крупных проектов;
• NVLink: обязателен для мульти-GPU обучения;
• Диски: NVMe, минимум 1 ТБ;
• Сеть: 10 Гбит/с минимум, InfiniBand для кластеров.

Хотите подобрать GPU-сервер? Закажите консультацию в Lead Hub.

Также рекомендуем: H100 или A100, bare metal или облако, VRAM для LLM, оптимизация инференса, ошибки при выборе, GPU-хостинг.