H100 или A100: что выбрать для ML
NVIDIA H100 и A100 — два флагманских ускорителя для ML и AI. A100 вышел в 2020 году и до сих пор остаётся мощным. H100 — новое поколение (2022), в разы быстрее. Разница в цене существенная, и возникает вопрос: когда H100 оправдан, а когда хватит A100?
Ошибка в выборе приводит либо к переплате за ненужную производительность, либо к тому, что обучение затягивается на недели вместо дней. В этой статье — подробное сравнение по ключевым параметрам, примерами из практики и рекомендации по выбору. Если нужно арендовать GPU-сервер — поможем.
📋 Содержание статьи
Характеристики
Технические характеристики обоих ускорителей:
| Параметр | A100 | H100 |
|---|---|---|
| Архитектура | Ampere | Hopper |
| Год выпуска | 2020 | 2022 |
| Техпроцесс | 7 нм | 4 нм |
| Память | 40 или 80 ГБ HBM2e | 80 ГБ HBM3 |
| Пропускная способность памяти | 2 ТБ/с | 3.35 ТБ/с |
| CUDA-ядра | 6912 | 16896 |
| Tensor Cores | 432 (3-е поколение) | 528 (4-е поколение) |
| NVLink | 600 ГБ/с | 900 ГБ/с |
| PCIe | PCIe 4.0 | PCIe 5.0 |
| TDP | 400 Вт | 700 Вт |
| FP16 TFLOPS (Tensor) | 312 | 2000 |
| TF32 TFLOPS (Tensor) | 156 | 1000 |
| FP8 TFLOPS | — | 4000 |
Архитектура
Разница в архитектурах объясняет разрыв в производительности.
Ampere (A100)
- Tensor Cores 3-го поколения: поддержка TF32, BF16, FP16;
- Multi-Instance GPU (MIG): разделение GPU на 7 экземпляров;
- Структурная разреженность: до 2x ускорения на разреженных моделях;
- NVLink 3: 600 ГБ/с между GPU.
Hopper (H100)
- Tensor Cores 4-го поколения: поддержка FP8 с высокой точностью;
- Transformer Engine: автоматический выбор точности для трансформеров. Ускорение в 2-6 раз;
- Dynamic Programming (DPX): ускорение задач динамического программирования в 40 раз;
- NVLink 4: 900 ГБ/с, NVSwitch для 8 GPU;
- Confidential Computing: шифрование данных в памяти GPU;
- PCIe 5.0: выше пропускная способность шины.
Ключевые новшества H100
- FP8: новая точность, ускоряет обучение в 2 раза без потери качества;
- Transformer Engine: специально для трансформеров. Автоматически чередует FP8 и FP16;
- Thread Block Clusters: новые возможности параллелизма на уровне SM.
Производительность
H100 в разы быстрее A100. Разница зависит от типа задач и используемых точностей.
Чистая производительность
- FP16: H100 — 2000 TFLOPS, A100 — 312 TFLOPS (в 6.4 раза);
- TF32: H100 — 1000 TFLOPS, A100 — 156 TFLOPS (в 6.4 раза);
- FP8: H100 — 4000 TFLOPS, A100 — нет поддержки;
- FP64: H100 — 34 TFLOPS, A100 — 19.5 TFLOPS (в 1.7 раза).
На практике
- Обучение LLM: H100 быстрее в 3-6 раз благодаря Transformer Engine;
- Инференс: H100 быстрее в 2-4 раза. Особенно с FP8;
- HPC: H100 быстрее в 3 раза;
- Рекомендательные системы: H100 быстрее в 30 раз в некоторых задачах;
- Computer Vision: H100 быстрее в 2-3 раза.
Пропускная способность памяти
- A100: 2 ТБ/с. Хорошо для большинства задач;
- H100: 3.35 ТБ/с. Критично для LLM с большим контекстом;
- Эффект: при длинных контекстах (32k+) H100 существенно быстрее из-за пропускной способности.
💡 Важно
Разница в производительности больше всего проявляется при работе с трансформерами и крупными моделями. Для небольших CNN или задач без тензорных операций разрыв меньше.
Память
Память — критичный параметр для LLM. От неё зависит, какие модели вы сможете запустить.
Варианты
- A100 40 ГБ: для моделей до 13B (с квантизацией);
- A100 80 ГБ: для моделей до 30B;
- H100 80 ГБ: для моделей до 70B с квантизацией FP8/INT8;
- H200 141 ГБ: для моделей 70B+ без квантизации.
Что помещается
| Размер модели | A100 40 ГБ | A100 80 ГБ | H100 80 ГБ |
|---|---|---|---|
| 7B (FP16) | Да | Да | Да |
| 13B (FP16) | С квантизацией | Да | Да |
| 30B (FP16) | Нет | Да | Да |
| 70B (FP16) | Нет | С квантизацией | С квантизацией |
| 70B (FP8) | Нет | Да (2 карты) | Да |
| 175B (FP8) | Нет | Нет | Нет (нужно 2+ карты) |
FP8 и Transformer Engine
H100 поддерживает FP8 — точность, которой нет у A100. Это даёт:
- Экономию памяти в 2 раза: модели 70B помещаются в одну карту;
- Ускорение обучения в 2 раза: благодаря Transformer Engine;
- Минимальную потерю качества: FP8 специально разработан для трансформеров.
NVLink
Для мульти-GPU конфигураций важна скорость обмена между картами.
Сравнение
- A100: NVLink 3 — 600 ГБ/с между парами GPU. Топология «каждый с каждым» через NVSwitch;
- H100: NVLink 4 — 900 ГБ/с. NVSwitch для соединения 8 GPU в единую сеть;
- Разница: H100 в 1.5 раза быстрее в обмене между GPU.
Зачем нужен NVLink
- Tensor parallelism: разделение модели между GPU для обучения крупных моделей;
- Pipeline parallelism: конвейерное обучение;
- Data parallelism: синхронизация градиентов;
- Инференс крупных моделей: распределение модели по нескольким GPU.
Что выбрать
- Обучение 7B-30B: достаточно 4x A100 80 ГБ с NVLink;
- Обучение 70B+: нужен 8x H100 с NVSwitch;
- Инференс: зависит от модели. Для 70B — 2x A100 или 1x H100 с квантизацией.
Стоимость
Стоимость аренды GPU зависит от провайдера, региона и длительности использования.
Примерные цены
- A100 80 ГБ: от 115 000 руб./мес или от 480 руб./час;
- H100 80 ГБ: от 250 000 руб./мес или от 960 руб./час;
- Разница: H100 дороже в 2-2.5 раза.
Что вы получаете за разницу
- 3-6x производительности: обучение заканчивается за дни вместо недель;
- FP8: квантизация позволяет запускать крупные модели на одной карте;
- NVLink 4: лучше масштабирование на несколько GPU;
- Экономия на электричестве: меньше времени на задачу = меньше ватт;
- Меньше GPU нужно: одна H100 заменяет 3-6 A100 в некоторых задачах.
Пример расчёта
Обучение LLM 70B на датасете 500 ГБ:
- На 8x A100: ~3-4 недели, ~2 300 000 руб./мес;
- На 8x H100: ~5-7 дней, ~2 000 000 руб./неделя = ~8 000 000 руб./мес;
- Итого: H100 обойдётся дороже за месяц, но задача решится в 4 раза быстрее. Итоговые затраты — сопоставимы, но вы получаете результат на 3 недели раньше.
Когда A100
A100 остаётся оптимальным выбором в нескольких случаях:
- Небольшие и средние модели: до 30B. A100 80 ГБ справляется с запасом;
- Бюджет ограничен: A100 дешевле в 2 раза при той же памяти 80 ГБ;
- Инференс без жёстких требований к latency: если ответ за 2 секунды приемлем — A100 достаточно;
- Файнтюнинг с LoRA/QLoRA: методы оптимизации позволяют обучать 7B-70B модели на A100 40-80 ГБ;
- Computer Vision: для CNN и ViT A100 даёт хорошую производительность;
- Классический ML: sklearn, XGBoost, CatBoost — A100 избыточен, но подходит;
- Эксперименты и прототипы: когда важна цена, а не максимальная скорость;
- Доступность: A100 можно найти быстрее, H100 часто в дефиците.
💡 Важно
A100 — не «старый» GPU. Он вышел в 2020 году, но до сих пор используется в production-системах многих крупных компаний. Для большинства задач его производительности достаточно.
Когда H100
H100 оправдан, когда производительность и время критичны:
- Обучение LLM 70B+: Transformer Engine и FP8 ускоряют обучение в 3-6 раз;
- Обучение с нуля крупных моделей: Foundation models, GPT-класс;
- Production-инференс с нагрузкой: тысячи запросов в секунду, низкая latency;
- Крупные контексты: 32k+ токенов. Пропускная способность памяти в 1.7x важна;
- HPC: научные вычисления с FP64;
- Рекомендательные системы: ускорение в десятки раз;
- Мульти-GPU кластеры: NVLink 4 и NVSwitch дают лучшее масштабирование;
- Ограниченное время: когда результат нужен быстро, а не «когда-нибудь».
Что даёт H100
- FP8: модели 70B помещаются в одну карту;
- Transformer Engine: автоматическая оптимизация точности;
- Confidential Computing: шифрование данных в памяти GPU;
- PCIe 5.0: выше пропускная способность с другими компонентами.
Наши рекомендации
📌 Что вы получаете, заказывая GPU у нас
- Подбор GPU — A100 или H100 под задачу
- Правильная конфигурация — CPU, RAM, диски, сеть
- NVLink и NVSwitch — для мульти-GPU
- Драйверы и CUDA — свежие версии
- Помощь с настройкой — vLLM, TensorRT, PyTorch
- Мониторинг — метрики GPU, температуры
📌 Итоговый вывод
A100 и H100 — разные ускорители для разных задач.
Что нужно знать:
- A100: Ampere, 80 ГБ HBM2e, 312 TFLOPS FP16. Для ML среднего масштаба и инференса;
- H100: Hopper, 80 ГБ HBM3, 2000 TFLOPS FP16. Для LLM 70B+ и HPC;
- Разница в производительности: H100 быстрее в 3-6 раз на трансформерах;
- Разница в цене: H100 дороже в 2-2.5 раза;
- FP8: только у H100, экономит память и ускоряет обучение;
- Что выбрать: A100 для небольших проектов и бюджетных задач, H100 для крупных LLM и когда время критично.
Хотите подобрать GPU? Закажите консультацию в Lead Hub.
Также рекомендуем: как выбрать GPU, bare metal или облако, VRAM для LLM, оптимизация инференса, ошибки при выборе, GPU-хостинг.