يُعرض النص الكامل باللغة الإنجليزية؛ وقد تمت ترجمة العنوان والملخص.
ما هو
DBRX is an open-weights language model released by Databricks in 2024, using a mixture-of-experts (MoE) architecture. It has about 132 billion total parameters with roughly 36 billion active per forward pass. It targets enterprises that want to host and customise a large model in their own environment.
لماذا يستحق التذكّر
With an MoE architecture released as open weights, it let enterprises self-host a customisable large model in their own environment.
المواصفات الأساسية
- Architecture
- Mixture of experts (MoE)
- Total parameters
- About 132 billion
- Active parameters
- About 36 billion
- Context
- 32K tokens
القدرات المرتبطة
المفاهيم ذات الصلة
معمارية Transformer
يستبدل النقل كلمةً بكلمة بغرفة يتحدث فيها الجميع معاً، فتصبح التبعيات البعيدة على مسافة خطوة واحدة
التدريب المسبق والضبط الدقيق
تعلّم اللغة أولاً من نصوص ضخمة بلا وسوم ثم التخصص ببيانات قليلة — أكثر النماذج كفاءةً في البيانات
منتجات منافسة
Llama
2023عائلة النماذج التي جعلت مسار الأوزان المفتوحة سائدًا
Qwen
2023عائلة بأوزان مفتوحة تغطي أحجامًا متعددة، مع نسخ متعددة الوسائط
Mistral Large
2024النموذج التجاري الرائد من مختبر أوروبي للأوزان المفتوحة