ERNIE
Mô hình tiếng Trung khởi đầu bằng tiền huấn luyện tăng cường tri thức, bản đầu tiên tiêu biểu
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NÓ LÀ GÌ
ERNIE is Baidu’s large language model series; the earliest, ERNIE 1.0, was released in March 2019 and stands for Enhanced Representation through Knowledge Integration. Its key idea is knowledge-enhanced pretraining: entity- and phrase-level masking during pretraining forces the model to learn knowledge relations between words, not just surface co-occurrence of neighbouring characters. The ERNIE line later grew into a large family spanning retrieval, dialogue and multimodality, and underpins Baidu’s ERNIE Bot product. This entry records the ERNIE starting point as represented by the early 2019 versions.
Vì sao đáng ghi nhớ
It introduced entity- and phrase-level masking into pretraining so the model learns knowledge relations rather than mere character co-occurrence — an idea widely borrowed in early Chinese pretraining. These early versions have since been superseded by later ERNIE generations.
Thông số chính
- Architecture
- Knowledge-enhanced pretraining (knowledge masking)
- Released
- 2019-03 (ERNIE 1.0)
- Modality
- Text
- Open weights
- No
Năng lực liên quan
Khái niệm liên quan
Tiền huấn luyện và tinh chỉnh
Học ngôn ngữ trước từ lượng lớn văn bản không nhãn, rồi chuyên biệt hóa với ít dữ liệu — mô hình tiết kiệm dữ liệu nhất của AI hiện đại
Kiến trúc Transformer
Thay cách truyền từng từ bằng một phòng họp nơi mọi từ cùng lên tiếng, để phụ thuộc xa chỉ còn cách một bước
Token hóa
Mô hình không đọc ký tự mà đọc token; cách tách từ âm thầm quyết định năng lực và chi phí
Sản phẩm cùng loại
GLM
2023Mô hình phổ thông tiếng Trung khởi đầu bằng tiền huấn luyện điền khuyết tự hồi quy
Qwen
2023Dòng trọng số mở với nhiều kích cỡ và bản đa phương thức
Hunyuan
2023Dòng mô hình phổ thông của Tencent, có bản trọng số mở
Baichuan
2023Mô hình phổ thông trọng số mở hướng tới tiếng Trung
Doubao
2023Mô hình hội thoại phổ thông và ứng dụng của ByteDance
Pangu
2020Họ mô hình nền tảng Pangu của Huawei