Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
DBRX is an open-weights language model released by Databricks in 2024, using a mixture-of-experts (MoE) architecture. It has about 132 billion total parameters with roughly 36 billion active per forward pass. It targets enterprises that want to host and customise a large model in their own environment.
Почему стоит запомнить
With an MoE architecture released as open weights, it let enterprises self-host a customisable large model in their own environment.
Ключевые характеристики
- Architecture
- Mixture of experts (MoE)
- Total parameters
- About 132 billion
- Active parameters
- About 36 billion
- Context
- 32K tokens
Возможности
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Аналоги
Llama
2023Семейство моделей, сделавшее открытые веса массовым путём
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
Mistral Large
2024Флагманская коммерческая модель европейской лаборатории открытых весов