Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE C'EST
DBRX is an open-weights language model released by Databricks in 2024, using a mixture-of-experts (MoE) architecture. It has about 132 billion total parameters with roughly 36 billion active per forward pass. It targets enterprises that want to host and customise a large model in their own environment.
Pourquoi il compte
With an MoE architecture released as open weights, it let enterprises self-host a customisable large model in their own environment.
Caractéristiques clés
- Architecture
- Mixture of experts (MoE)
- Total parameters
- About 132 billion
- Active parameters
- About 36 billion
- Context
- 32K tokens
Capacités
Concepts liés
Architecture Transformer
Remplacer le relais mot à mot par une salle où tous parlent en même temps, pour que les dépendances lointaines soient à un saut
Pré-entraînement et affinage
Apprendre d’abord la langue sur d’immenses corpus non annotés, puis se spécialiser avec peu de données : le paradigme le plus économe en données
Produits comparables
Llama
2023La famille qui a fait des poids ouverts une voie grand public
Qwen
2023Une famille à poids ouverts couvrant de nombreuses tailles, avec des versions multimodales
Mistral Large
2024Le modèle commercial phare d’un laboratoire européen de poids ouverts