B200 (Blackwell)
Una GPU con arquitectura Blackwell pensada para modelos de billón de parámetros
El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ ES
B200 is a Blackwell-architecture data-centre GPU NVIDIA announced in March 2024. Two dies are packaged together over a high-speed interconnect for about 208 billion transistors in total, with 192GB of HBM3e memory and support for lower-precision formats such as FP4 and FP6. It uses fifth-generation NVLink at 1.8 TB/s per GPU and targets training and inference of trillion-parameter models.
Por qué merece la pena recordarlo
It brought memory to 192GB and supports low-precision formats such as FP4, succeeding H100 as the main hardware for a new generation of large-model training and inference and bringing the two-die package into data-centre GPUs.
Especificaciones clave
- Architecture
- Blackwell
- Memory
- 192GB HBM3e
- Transistors
- About 208 billion
- Interconnect
- NVLink 1.8 TB/s
- Released
- 2024-03
Conceptos relacionados
Infraestructura de entrenamiento e inferencia
La memoria decide qué tan grande es el modelo que puedes entrenar; la comunicación, cuánto tarda
Optimización y servicio de inferencia
El entrenamiento ocurre una vez; la inferencia, miles de millones de veces al día — y el primer token y el rendimiento suelen oponerse