Atlas de IA AI ATLAS

ERNIE

Um modelo chinês que começou com pré-treinamento enriquecido por conhecimento, versão inicial representativa

Baidu Modelo FechadoLegado

entradaTextoTexto

O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.

O QUE É

ERNIE is Baidu’s large language model series; the earliest, ERNIE 1.0, was released in March 2019 and stands for Enhanced Representation through Knowledge Integration. Its key idea is knowledge-enhanced pretraining: entity- and phrase-level masking during pretraining forces the model to learn knowledge relations between words, not just surface co-occurrence of neighbouring characters. The ERNIE line later grew into a large family spanning retrieval, dialogue and multimodality, and underpins Baidu’s ERNIE Bot product. This entry records the ERNIE starting point as represented by the early 2019 versions.

Por que vale a pena lembrar

It introduced entity- and phrase-level masking into pretraining so the model learns knowledge relations rather than mere character co-occurrence — an idea widely borrowed in early Chinese pretraining. These early versions have since been superseded by later ERNIE generations.

Especificações-chave

Architecture: Knowledge-enhanced pretraining (knowledge masking)
Released: 2019-03 (ERNIE 1.0)
Modality: Text
Open weights: No

Capacidades

Geração de texto

Continua um texto palavra a palavra

Conversa e seguimento de instruções

Entender a intenção ao longo do diálogo e agir

Perguntas e respostas com recuperação

Recupera a evidência primeiro e responde a partir dela

Conceitos relacionados

Pré-treinamento e ajuste fino

Aprender a língua primeiro com texto não rotulado e depois especializar com poucos dados: o paradigma mais eficiente em dados da IA moderna

PLN e grandes modelos de linguagem

Arquitetura Transformer

Substituir o revezamento palavra a palavra por uma sala onde todos falam ao mesmo tempo, deixando dependências distantes a um salto

PLN e grandes modelos de linguagem

Tokenização

Os modelos não leem caracteres, leem tokens; e como você divide define silenciosamente a capacidade e o custo

PLN e grandes modelos de linguagem

Produtos semelhantes

GLM

Um modelo geral chinês que começou com pré-treinamento de preenchimento de lacunas autorregressivo

Qwen

Uma família de pesos abertos com muitos tamanhos e versões multimodais

Modelo Pesos abertos

TextoImagemTexto

Hunyuan

Tencent (Hunyuan)

A família de modelos gerais da Tencent, com versões de pesos abertos

Modelo Pesos abertos

TextoImagemTexto

Baichuan

Um modelo geral de pesos abertos voltado ao uso em chinês

Modelo Pesos abertos

Doubao

ByteDance (Seed)

O modelo de conversa geral e o aplicativo da ByteDance

TextoImagemTexto

Pangu

A família de modelos base Pangu da Huawei