H100
Una GPU de centro de datos con arquitectura Hopper para entrenar grandes modelos
El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ ES
H100 is a data-centre GPU NVIDIA announced in March 2022, based on the Hopper architecture. It carries 80GB of HBM3 memory, introduces fourth-generation tensor cores and a Transformer engine, and supports FP8 precision to raise throughput for large-model training and inference. Cards are linked by NVLink at 900 GB/s per GPU. H100 became one of the most widely used accelerators in large-model training clusters from 2022 to 2024.
Por qué merece la pena recordarlo
It baked large-model-specific features such as FP8 and the Transformer engine into hardware, becoming the default accelerator in large-model training clusters after 2022 and a symbol of compute as the industry’s bottleneck.
Especificaciones clave
- Architecture
- Hopper
- Memory
- 80GB HBM3
- Process
- 4N (TSMC)
- Interconnect
- NVLink 900 GB/s
- Released
- 2022-03
Conceptos relacionados
Infraestructura de entrenamiento e inferencia
La memoria decide qué tan grande es el modelo que puedes entrenar; la comunicación, cuánto tarda
Optimización y servicio de inferencia
El entrenamiento ocurre una vez; la inferencia, miles de millones de veces al día — y el primer token y el rendimiento suelen oponerse
Productos similares
B200 (Blackwell)
2024Una GPU con arquitectura Blackwell pensada para modelos de billón de parámetros
Ascend
2018Procesadores y arquitectura de cómputo Ascend de Huawei
CUDA
2007Plataforma de programación para cómputo general en GPU NVIDIA