Jamba
Ein Open-Weights-Modell, das ein Zustandsraummodell mit einem Transformer mischt
Der vollständige Artikel liegt auf Englisch vor; Titel und Zusammenfassung sind lokalisiert.
WAS ES IST
Jamba is an open-weight model AI21 Labs released in March 2024, interleaving Mamba state-space layers with Transformer attention layers inside one mixture-of-experts architecture. AI21 Labs was founded in Tel Aviv in 2017 by Amnon Shashua and others. This hybrid design holds long context while cutting memory and compute relative to a pure-attention model. Jamba ships as a 52B-parameter MoE that activates about 12B per token, with a context window in the 256K range.
Warum es wichtig ist
It replaced most attention layers with state-space layers, testing whether a non-pure-Transformer architecture can save compute at long context — a concrete instance of hybrid architectures entering open-weight models.
Wichtige Eckdaten
- Parameters
- 52B (MoE, ~12B active)
- Context window
- 256K tokens
- Architecture
- Mamba state-space layers interleaved with Transformer layers
- Open weights
- Yes
Fähigkeiten
Textgenerierung
Setzt einen Text Wort für Wort fort
Dialog und Instruktionsbefolgung
Absicht über mehrere Züge verstehen und umsetzen
Fragen und Antworten mit Retrieval
Zuerst Belege abrufen, dann daraus antworten
Schlussfolgern und Gedankenkette
Ein schweres Problem in Zwischenschritte zerlegen
Verwandte Konzepte
Transformer-Architektur
Statt Wort-für-Wort-Stafette ein Raum, in dem alle zugleich sprechen — und weite Abhängigkeiten sind nur einen Schritt entfernt
Attention-Mechanismus
Jede Position kann direkt auf alle anderen blicken und ihre Aufmerksamkeit nach Relevanz verteilen
Vor- und Feintraining
Erst Sprache aus riesigem ungelabelten Text lernen, dann mit wenig Daten spezialisieren – das dateneffizienteste Paradigma der modernen KI
Vergleichbare Produkte
Command R
2024Ein kommerzielles Modell für Retrieval-Augmentierung und Werkzeugnutzung
Llama
2023Die Modellfamilie, die offene Gewichte zum Mainstream machte
Mistral Large
2024Das kommerzielle Flaggschiffmodell eines europäischen Open-Weights-Labors