ERNIE
Китайская модель, начавшая с обогащённого знаниями предобучения, ранняя заметная версия
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
ERNIE is Baidu’s large language model series; the earliest, ERNIE 1.0, was released in March 2019 and stands for Enhanced Representation through Knowledge Integration. Its key idea is knowledge-enhanced pretraining: entity- and phrase-level masking during pretraining forces the model to learn knowledge relations between words, not just surface co-occurrence of neighbouring characters. The ERNIE line later grew into a large family spanning retrieval, dialogue and multimodality, and underpins Baidu’s ERNIE Bot product. This entry records the ERNIE starting point as represented by the early 2019 versions.
Почему стоит запомнить
It introduced entity- and phrase-level masking into pretraining so the model learns knowledge relations rather than mere character co-occurrence — an idea widely borrowed in early Chinese pretraining. These early versions have since been superseded by later ERNIE generations.
Ключевые характеристики
- Architecture
- Knowledge-enhanced pretraining (knowledge masking)
- Released
- 2019-03 (ERNIE 1.0)
- Modality
- Text
- Open weights
- No
Возможности
Связанные концепции
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Токенизация
Модель читает не символы, а токены — способ разбиения тихо определяет и возможности, и стоимость
Аналоги
GLM
2023Китайская универсальная модель, начавшая с авторегрессивного заполнения пропусков
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
Hunyuan
2023Семейство универсальных моделей Tencent с открытыми весами
Baichuan
2023Универсальная модель с открытыми весами для китайского языка
Doubao
2023Универсальная диалоговая модель и приложение ByteDance
Pangu
2020Семейство базовых моделей Pangu от Huawei