Atlas de IA AI ATLAS

DBRX

Modelo de linguagem MoE de pesos abertos da Databricks

Databricks Modelo Pesos abertos

entradaTextoTexto

O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.

O QUE É

DBRX is an open-weights language model released by Databricks in 2024, using a mixture-of-experts (MoE) architecture. It has about 132 billion total parameters with roughly 36 billion active per forward pass. It targets enterprises that want to host and customise a large model in their own environment.

Por que vale a pena lembrar

With an MoE architecture released as open weights, it let enterprises self-host a customisable large model in their own environment.

Especificações-chave

Architecture: Mixture of experts (MoE)
Total parameters: About 132 billion
Active parameters: About 36 billion
Context: 32K tokens

Capacidades

Conversa e seguimento de instruções

Entender a intenção ao longo do diálogo e agir

Geração de texto

Continua um texto palavra a palavra

Raciocínio e cadeia de pensamento

Decompor um problema difícil em passos intermediários

Conceitos relacionados

Arquitetura Transformer

Substituir o revezamento palavra a palavra por uma sala onde todos falam ao mesmo tempo, deixando dependências distantes a um salto

PLN e grandes modelos de linguagem

Pré-treinamento e ajuste fino

Aprender a língua primeiro com texto não rotulado e depois especializar com poucos dados: o paradigma mais eficiente em dados da IA moderna

PLN e grandes modelos de linguagem

Produtos semelhantes

Llama

A família que tornou a rota de pesos abertos mainstream

Modelo Pesos abertos

Qwen

Uma família de pesos abertos com muitos tamanhos e versões multimodais

Modelo Pesos abertos

TextoImagemTexto

Mistral Large

O modelo comercial principal de um laboratório europeu de pesos abertos