Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NÓ LÀ GÌ
DBRX is an open-weights language model released by Databricks in 2024, using a mixture-of-experts (MoE) architecture. It has about 132 billion total parameters with roughly 36 billion active per forward pass. It targets enterprises that want to host and customise a large model in their own environment.
Vì sao đáng ghi nhớ
With an MoE architecture released as open weights, it let enterprises self-host a customisable large model in their own environment.
Thông số chính
- Architecture
- Mixture of experts (MoE)
- Total parameters
- About 132 billion
- Active parameters
- About 36 billion
- Context
- 32K tokens
Năng lực liên quan
Khái niệm liên quan
Kiến trúc Transformer
Thay cách truyền từng từ bằng một phòng họp nơi mọi từ cùng lên tiếng, để phụ thuộc xa chỉ còn cách một bước
Tiền huấn luyện và tinh chỉnh
Học ngôn ngữ trước từ lượng lớn văn bản không nhãn, rồi chuyên biệt hóa với ít dữ liệu — mô hình tiết kiệm dữ liệu nhất của AI hiện đại
Sản phẩm cùng loại
Llama
2023Dòng mô hình đưa trọng số mở trở thành xu hướng chính
Qwen
2023Dòng trọng số mở với nhiều kích cỡ và bản đa phương thức
Mistral Large
2024Mô hình thương mại chủ lực của phòng lab trọng số mở châu Âu