输入文本文本
它是什么
DBRX 是 Databricks 于 2024 年发布的开放权重语言模型，采用专家混合（MoE）架构。它总参数量约 1320 亿，每次前向激活约 360 亿参数。它面向的是企业希望在自有环境中托管并定制大模型的需求。
为什么值得记住
它以专家混合架构开放权重，让企业能在自有环境中自托管一个可定制的大模型。
关键规格
- 架构
- 专家混合（MoE）
- 总参数
- 约 1320 亿
- 激活参数
- 约 360 亿
- 上下文
- 32K tokens
它是什么
DBRX 是 Databricks 于 2024 年发布的开放权重语言模型，采用专家混合（MoE）架构。它总参数量约 1320 亿，每次前向激活约 360 亿参数。它面向的是企业希望在自有环境中托管并定制大模型的需求。
为什么值得记住
它以专家混合架构开放权重，让企业能在自有环境中自托管一个可定制的大模型。