Jamba

把状态空间模型与 Transformer 混合的开放权重模型

AI21 Labs 模型开放权重

输入文本文本

它是什么

Jamba 是 AI21 Labs 于 2024 年 3 月发布的开放权重模型，把 Mamba 状态空间层与 Transformer 注意力层交错堆叠在同一个混合专家架构里。AI21 Labs 由 Amnon Shashua 等人于 2017 年在特拉维夫创立。这种混合设计让它在保持长上下文的同时，比纯注意力模型降低显存与计算开销。Jamba 以 52B 总参数、每 token 激活约 12B 的 MoE 形式发布，并提供 256K 量级的上下文。

为什么值得记住

用状态空间层替换大部分注意力层，检验“非纯 Transformer”架构能否在长上下文下更省算力，是混合架构进入开放权重模型的一次具体实践。