Atlas de l'IA AI ATLAS

ERNIE

Un modèle chinois parti d’un préentraînement enrichi par la connaissance, version phare précoce

Baidu Modèle FerméAncienne version

entréeTexteTexte

Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.

CE QUE C'EST

ERNIE is Baidu’s large language model series; the earliest, ERNIE 1.0, was released in March 2019 and stands for Enhanced Representation through Knowledge Integration. Its key idea is knowledge-enhanced pretraining: entity- and phrase-level masking during pretraining forces the model to learn knowledge relations between words, not just surface co-occurrence of neighbouring characters. The ERNIE line later grew into a large family spanning retrieval, dialogue and multimodality, and underpins Baidu’s ERNIE Bot product. This entry records the ERNIE starting point as represented by the early 2019 versions.

Pourquoi il compte

It introduced entity- and phrase-level masking into pretraining so the model learns knowledge relations rather than mere character co-occurrence — an idea widely borrowed in early Chinese pretraining. These early versions have since been superseded by later ERNIE generations.

Caractéristiques clés

Architecture: Knowledge-enhanced pretraining (knowledge masking)
Released: 2019-03 (ERNIE 1.0)
Modality: Text
Open weights: No

Capacités

Génération de texte

Poursuit un texte mot après mot

Conversation et suivi d’instructions

Comprendre l’intention au fil des tours et agir

Questions-réponses et RAG

Récupère d’abord les preuves, puis répond à partir d’elles

Concepts liés

Pré-entraînement et affinage

Apprendre d’abord la langue sur d’immenses corpus non annotés, puis se spécialiser avec peu de données : le paradigme le plus économe en données

TAL et grands modèles de langage

Architecture Transformer

Remplacer le relais mot à mot par une salle où tous parlent en même temps, pour que les dépendances lointaines soient à un saut

TAL et grands modèles de langage

Tokenisation

Les modèles ne lisent pas des caractères mais des tokens ; le découpage fixe silencieusement la capacité et le coût

TAL et grands modèles de langage

Produits comparables

GLM

Un modèle général chinois parti d’un préentraînement par remplissage de blancs autorégressif

Qwen

Une famille à poids ouverts couvrant de nombreuses tailles, avec des versions multimodales

Modèle Poids ouverts

TexteImageTexte

Hunyuan

Tencent (Hunyuan)

La famille de modèles généraux de Tencent, avec des versions à poids ouverts

Modèle Poids ouverts

TexteImageTexte

Baichuan

Un modèle général à poids ouverts visant l’usage en chinois

Modèle Poids ouverts

Doubao

ByteDance (Seed)

Le modèle de conversation général et l’application de ByteDance

TexteImageTexte

Pangu

La famille de modèles de base Pangu de Huawei