Jamba
Un modèle à poids ouverts mêlant un modèle d’espace d’états à un Transformer
Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE C'EST
Jamba is an open-weight model AI21 Labs released in March 2024, interleaving Mamba state-space layers with Transformer attention layers inside one mixture-of-experts architecture. AI21 Labs was founded in Tel Aviv in 2017 by Amnon Shashua and others. This hybrid design holds long context while cutting memory and compute relative to a pure-attention model. Jamba ships as a 52B-parameter MoE that activates about 12B per token, with a context window in the 256K range.
Pourquoi il compte
It replaced most attention layers with state-space layers, testing whether a non-pure-Transformer architecture can save compute at long context — a concrete instance of hybrid architectures entering open-weight models.
Caractéristiques clés
- Parameters
- 52B (MoE, ~12B active)
- Context window
- 256K tokens
- Architecture
- Mamba state-space layers interleaved with Transformer layers
- Open weights
- Yes
Capacités
Génération de texte
Poursuit un texte mot après mot
Conversation et suivi d’instructions
Comprendre l’intention au fil des tours et agir
Questions-réponses et RAG
Récupère d’abord les preuves, puis répond à partir d’elles
Raisonnement et chaîne de pensée
Décomposer un problème difficile en étapes intermédiaires
Concepts liés
Architecture Transformer
Remplacer le relais mot à mot par une salle où tous parlent en même temps, pour que les dépendances lointaines soient à un saut
Mécanisme d’attention
Chaque position peut regarder directement toutes les autres et répartir dynamiquement son attention selon la pertinence
Pré-entraînement et affinage
Apprendre d’abord la langue sur d’immenses corpus non annotés, puis se spécialiser avec peu de données : le paradigme le plus économe en données
Produits comparables
Command R
2024Un modèle commercial conçu pour la recherche augmentée et l’usage d’outils
Llama
2023La famille qui a fait des poids ouverts une voie grand public
Mistral Large
2024Le modèle commercial phare d’un laboratoire européen de poids ouverts