Jamba
Un modelo de pesos abiertos que mezcla un modelo de espacio de estados con un Transformer
El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ ES
Jamba is an open-weight model AI21 Labs released in March 2024, interleaving Mamba state-space layers with Transformer attention layers inside one mixture-of-experts architecture. AI21 Labs was founded in Tel Aviv in 2017 by Amnon Shashua and others. This hybrid design holds long context while cutting memory and compute relative to a pure-attention model. Jamba ships as a 52B-parameter MoE that activates about 12B per token, with a context window in the 256K range.
Por qué merece la pena recordarlo
It replaced most attention layers with state-space layers, testing whether a non-pure-Transformer architecture can save compute at long context — a concrete instance of hybrid architectures entering open-weight models.
Especificaciones clave
- Parameters
- 52B (MoE, ~12B active)
- Context window
- 256K tokens
- Architecture
- Mamba state-space layers interleaved with Transformer layers
- Open weights
- Yes
Capacidades
Generación de texto
Continúa un texto palabra por palabra
Conversación y seguimiento de instrucciones
Entender la intención en el diálogo y actuar en consecuencia
Preguntas y respuestas con recuperación
Recupera la evidencia primero y responde a partir de ella
Razonamiento y cadena de pensamiento
Descomponer un problema difícil en pasos intermedios
Conceptos relacionados
Arquitectura Transformer
Sustituir el relé palabra a palabra por una sala donde todos hablan a la vez, para que las dependencias lejanas estén a un salto
Mecanismo de atención
Cada posición puede mirar directamente a todas las demás y repartir su atención según la relevancia
Preentrenamiento y ajuste fino
Aprender el lenguaje primero con texto sin etiquetas y luego especializarse con pocos datos: el paradigma más eficiente en datos de la IA moderna
Productos similares
Command R
2024Un modelo comercial diseñado para recuperación aumentada y uso de herramientas
Llama
2023La familia que llevó la ruta de pesos abiertos a la corriente principal
Mistral Large
2024El modelo comercial insignia de un laboratorio europeo de pesos abiertos