Jamba
Модель с открытыми весами, сочетающая модель пространства состояний и Transformer
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
Jamba is an open-weight model AI21 Labs released in March 2024, interleaving Mamba state-space layers with Transformer attention layers inside one mixture-of-experts architecture. AI21 Labs was founded in Tel Aviv in 2017 by Amnon Shashua and others. This hybrid design holds long context while cutting memory and compute relative to a pure-attention model. Jamba ships as a 52B-parameter MoE that activates about 12B per token, with a context window in the 256K range.
Почему стоит запомнить
It replaced most attention layers with state-space layers, testing whether a non-pure-Transformer architecture can save compute at long context — a concrete instance of hybrid architectures entering open-weight models.
Ключевые характеристики
- Parameters
- 52B (MoE, ~12B active)
- Context window
- 256K tokens
- Architecture
- Mamba state-space layers interleaved with Transformer layers
- Open weights
- Yes
Возможности
Генерация текста
Продолжает текст слово за словом
Диалог и следование инструкциям
Понимать намерение по ходу диалога и выполнять его
Вопросы и ответы с поиском
Сначала находит свидетельства, затем отвечает по ним
Рассуждение и цепочка мыслей
Разбить трудную задачу на промежуточные шаги
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Механизм внимания
Каждая позиция может напрямую «видеть» все остальные и динамически распределять внимание по релевантности
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Аналоги
Command R
2024Коммерческая модель, рассчитанная на дополнение поиском и вызов инструментов
Llama
2023Семейство моделей, сделавшее открытые веса массовым путём
Mistral Large
2024Флагманская коммерческая модель европейской лаборатории открытых весов