Jamba
Um modelo de pesos abertos que mistura um modelo de espaço de estados com um Transformer
O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE É
Jamba is an open-weight model AI21 Labs released in March 2024, interleaving Mamba state-space layers with Transformer attention layers inside one mixture-of-experts architecture. AI21 Labs was founded in Tel Aviv in 2017 by Amnon Shashua and others. This hybrid design holds long context while cutting memory and compute relative to a pure-attention model. Jamba ships as a 52B-parameter MoE that activates about 12B per token, with a context window in the 256K range.
Por que vale a pena lembrar
It replaced most attention layers with state-space layers, testing whether a non-pure-Transformer architecture can save compute at long context — a concrete instance of hybrid architectures entering open-weight models.
Especificações-chave
- Parameters
- 52B (MoE, ~12B active)
- Context window
- 256K tokens
- Architecture
- Mamba state-space layers interleaved with Transformer layers
- Open weights
- Yes
Capacidades
Geração de texto
Continua um texto palavra a palavra
Conversa e seguimento de instruções
Entender a intenção ao longo do diálogo e agir
Perguntas e respostas com recuperação
Recupera a evidência primeiro e responde a partir dela
Raciocínio e cadeia de pensamento
Decompor um problema difícil em passos intermediários
Conceitos relacionados
Arquitetura Transformer
Substituir o revezamento palavra a palavra por uma sala onde todos falam ao mesmo tempo, deixando dependências distantes a um salto
Mecanismo de atenção
Cada posição pode olhar diretamente para todas as outras e distribuir atenção conforme a relevância
Pré-treinamento e ajuste fino
Aprender a língua primeiro com texto não rotulado e depois especializar com poucos dados: o paradigma mais eficiente em dados da IA moderna
Produtos semelhantes
Command R
2024Um modelo comercial feito para recuperação aumentada e uso de ferramentas
Llama
2023A família que tornou a rota de pesos abertos mainstream
Mistral Large
2024O modelo comercial principal de um laboratório europeu de pesos abertos