Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
CUDA is the parallel computing platform and programming model introduced by NVIDIA in 2007 that lets developers use GPUs for general-purpose computing. It provides language extensions, a compiler, and acceleration libraries such as cuDNN and cuBLAS. It addresses efficiently mapping highly parallel computation such as neural-network training and inference onto GPUs.
Почему стоит запомнить
It has been the practical programming interface for AI compute for over a decade; the libraries and tools built around it form NVIDIA’s deepest ecosystem moat.
Ключевые характеристики
- First release
- 2007
- Positioning
- GPU general-purpose parallel computing platform and programming model
- Companion libraries
- cuDNN, cuBLAS and others
Связанные концепции
Инфраструктура обучения и вывода
Память определяет размер модели, а коммуникации — время обучения; чистая вычислительная мощность редко бывает узким местом
Оптимизация инференса и обслуживание
Обучение случается один раз, вывод — миллиарды раз в день; быстрый первый токен и высокая пропускная способность обычно тянут в разные стороны