Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NÓ LÀ GÌ
B200 is a Blackwell-architecture data-centre GPU NVIDIA announced in March 2024. Two dies are packaged together over a high-speed interconnect for about 208 billion transistors in total, with 192GB of HBM3e memory and support for lower-precision formats such as FP4 and FP6. It uses fifth-generation NVLink at 1.8 TB/s per GPU and targets training and inference of trillion-parameter models.
Vì sao đáng ghi nhớ
It brought memory to 192GB and supports low-precision formats such as FP4, succeeding H100 as the main hardware for a new generation of large-model training and inference and bringing the two-die package into data-centre GPUs.
Thông số chính
- Architecture
- Blackwell
- Memory
- 192GB HBM3e
- Transistors
- About 208 billion
- Interconnect
- NVLink 1.8 TB/s
- Released
- 2024-03
Khái niệm liên quan
Hạ tầng huấn luyện và suy luận
Bộ nhớ quyết định mô hình lớn đến đâu, còn truyền thông quyết định mất bao lâu
Tối ưu suy luận và phục vụ
Huấn luyện chỉ một lần, suy luận diễn ra hàng tỷ lần mỗi ngày — và token đầu tiên lẫn thông lượng thường kéo ngược nhau