El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ ES
DBRX is an open-weights language model released by Databricks in 2024, using a mixture-of-experts (MoE) architecture. It has about 132 billion total parameters with roughly 36 billion active per forward pass. It targets enterprises that want to host and customise a large model in their own environment.
Por qué merece la pena recordarlo
With an MoE architecture released as open weights, it let enterprises self-host a customisable large model in their own environment.
Especificaciones clave
- Architecture
- Mixture of experts (MoE)
- Total parameters
- About 132 billion
- Active parameters
- About 36 billion
- Context
- 32K tokens
Capacidades
Conversación y seguimiento de instrucciones
Entender la intención en el diálogo y actuar en consecuencia
Generación de texto
Continúa un texto palabra por palabra
Razonamiento y cadena de pensamiento
Descomponer un problema difícil en pasos intermedios
Conceptos relacionados
Arquitectura Transformer
Sustituir el relé palabra a palabra por una sala donde todos hablan a la vez, para que las dependencias lejanas estén a un salto
Preentrenamiento y ajuste fino
Aprender el lenguaje primero con texto sin etiquetas y luego especializarse con pocos datos: el paradigma más eficiente en datos de la IA moderna
Productos similares
Llama
2023La familia que llevó la ruta de pesos abiertos a la corriente principal
Qwen
2023Una familia de pesos abiertos con muchos tamaños y versiones multimodales
Mistral Large
2024El modelo comercial insignia de un laboratorio europeo de pesos abiertos