H100
Uma GPU de data center com arquitetura Hopper para treinar grandes modelos
O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE É
H100 is a data-centre GPU NVIDIA announced in March 2022, based on the Hopper architecture. It carries 80GB of HBM3 memory, introduces fourth-generation tensor cores and a Transformer engine, and supports FP8 precision to raise throughput for large-model training and inference. Cards are linked by NVLink at 900 GB/s per GPU. H100 became one of the most widely used accelerators in large-model training clusters from 2022 to 2024.
Por que vale a pena lembrar
It baked large-model-specific features such as FP8 and the Transformer engine into hardware, becoming the default accelerator in large-model training clusters after 2022 and a symbol of compute as the industry’s bottleneck.
Especificações-chave
- Architecture
- Hopper
- Memory
- 80GB HBM3
- Process
- 4N (TSMC)
- Interconnect
- NVLink 900 GB/s
- Released
- 2022-03
Conceitos relacionados
Infraestrutura de treinamento e inferência
A memória decide o tamanho do modelo treinável; a comunicação, quanto tempo leva
Otimização e serviço de inferência
O treino ocorre uma vez; a inferência, bilhões de vezes por dia — e o primeiro token e a vazão costumam se opor
Produtos semelhantes
B200 (Blackwell)
2024Uma GPU com arquitetura Blackwell voltada a modelos de trilhões de parâmetros
Ascend
2018Processadores e arquitetura de computação Ascend da Huawei
CUDA
2007Plataforma de programação para computação geral em GPUs NVIDIA