ERNIE

以知识增强预训练起步的中文模型，早期的代表版本

Baidu 模型闭源旧版

输入文本文本

它是什么

ERNIE 是百度推出的大语言模型系列，最早的 ERNIE 1.0 于 2019 年 3 月发布，全称 Enhanced Representation through Knowledge Integration。它的关键点是知识增强预训练：在预训练阶段引入实体、短语级别的掩码，强制模型学习词与词之间的知识关联，而不只是相邻字词共现。ERNIE 系列后来发展为覆盖检索、对话与多模态的庞大版本谱系，也支撑了百度的文心一言产品。本条记录的是以 2019 年早期版本为代表的 ERNIE 起点。

为什么值得记住

把“实体与短语级掩码”引入预训练，让模型学到的不只是字词共现而是知识关联，这一知识增强思路在国内中文预训练模型早期被广泛借鉴。该早期版本已被后续 ERNIE 系列取代。