H100
Eine Data-Center-GPU der Hopper-Architektur für das Training großer Modelle
Der vollständige Artikel liegt auf Englisch vor; Titel und Zusammenfassung sind lokalisiert.
WAS ES IST
H100 is a data-centre GPU NVIDIA announced in March 2022, based on the Hopper architecture. It carries 80GB of HBM3 memory, introduces fourth-generation tensor cores and a Transformer engine, and supports FP8 precision to raise throughput for large-model training and inference. Cards are linked by NVLink at 900 GB/s per GPU. H100 became one of the most widely used accelerators in large-model training clusters from 2022 to 2024.
Warum es wichtig ist
It baked large-model-specific features such as FP8 and the Transformer engine into hardware, becoming the default accelerator in large-model training clusters after 2022 and a symbol of compute as the industry’s bottleneck.
Wichtige Eckdaten
- Architecture
- Hopper
- Memory
- 80GB HBM3
- Process
- 4N (TSMC)
- Interconnect
- NVLink 900 GB/s
- Released
- 2022-03
Verwandte Konzepte
Infrastruktur für Training und Inferenz
Der Speicher bestimmt, wie groß ein Modell sein darf, die Kommunikation, wie lange das Training dauert
Inferenz-Optimierung und Serving
Training passiert einmal, Inferenz milliardenfach am Tag – und erstes Token und Durchsatz stehen oft im Konflikt
Vergleichbare Produkte
B200 (Blackwell)
2024Eine GPU der Blackwell-Architektur für Modelle mit Billionen Parametern
Ascend
2018Huaweis Ascend-KI-Prozessoren und Rechenarchitektur
CUDA
2007Programmierplattform für allgemeines Rechnen auf NVIDIA-GPUs