यह पृष्ठ अंग्रेज़ी में प्रस्तुत है; शीर्षक और सारांश का स्थानीयकरण किया गया है।
यह क्या है
H100 is a data-centre GPU NVIDIA announced in March 2022, based on the Hopper architecture. It carries 80GB of HBM3 memory, introduces fourth-generation tensor cores and a Transformer engine, and supports FP8 precision to raise throughput for large-model training and inference. Cards are linked by NVLink at 900 GB/s per GPU. H100 became one of the most widely used accelerators in large-model training clusters from 2022 to 2024.
यह क्यों महत्वपूर्ण है
It baked large-model-specific features such as FP8 and the Transformer engine into hardware, becoming the default accelerator in large-model training clusters after 2022 and a symbol of compute as the industry’s bottleneck.
मुख्य विशिष्टताएँ
- Architecture
- Hopper
- Memory
- 80GB HBM3
- Process
- 4N (TSMC)
- Interconnect
- NVLink 900 GB/s
- Released
- 2022-03
संबंधित अवधारणाएँ
प्रशिक्षण एवं अनुमान अधोसंरचना
स्मृति तय करती है कि कितना बड़ा मॉडल प्रशिक्षित हो सकता है, और संचार तय करता है कि कितना समय लगेगा
अनुमान अनुकूलन एवं सर्विंग
प्रशिक्षण एक बार होता है, अनुमान दिन में अरबों बार — और पहला टोकन एवं थ्रूपुट प्रायः एक-दूसरे से टकराते हैं