ERNIE
ज्ञान-संवर्धित प्रीट्रेनिंग से शुरू हुआ चीनी मॉडल, शुरुआती प्रतिनिधि संस्करण
यह पृष्ठ अंग्रेज़ी में प्रस्तुत है; शीर्षक और सारांश का स्थानीयकरण किया गया है।
यह क्या है
ERNIE is Baidu’s large language model series; the earliest, ERNIE 1.0, was released in March 2019 and stands for Enhanced Representation through Knowledge Integration. Its key idea is knowledge-enhanced pretraining: entity- and phrase-level masking during pretraining forces the model to learn knowledge relations between words, not just surface co-occurrence of neighbouring characters. The ERNIE line later grew into a large family spanning retrieval, dialogue and multimodality, and underpins Baidu’s ERNIE Bot product. This entry records the ERNIE starting point as represented by the early 2019 versions.
यह क्यों महत्वपूर्ण है
It introduced entity- and phrase-level masking into pretraining so the model learns knowledge relations rather than mere character co-occurrence — an idea widely borrowed in early Chinese pretraining. These early versions have since been superseded by later ERNIE generations.
मुख्य विशिष्टताएँ
- Architecture
- Knowledge-enhanced pretraining (knowledge masking)
- Released
- 2019-03 (ERNIE 1.0)
- Modality
- Text
- Open weights
- No
संबंधित क्षमताएँ
संबंधित अवधारणाएँ
प्री-ट्रेनिंग और फाइन-ट्यूनिंग
पहले विशाल अलेबल पाठ से भाषा सीखना, फिर थोड़े डेटा से विशेषज्ञ बनना — आधुनिक एआई का सबसे डेटा-कुशल प्रतिमान
Transformer आर्किटेक्चर
शब्द-दर-शब्द relay की जगह वह कक्ष जहाँ सब एक साथ बोलते हैं, जिससे दूर की निर्भरताएँ एक कदम पर आ जाती हैं
टोकनाइज़ेशन
मॉडल अक्षर नहीं, टोकन पढ़ते हैं — विभाजन का तरीका चुपचाप क्षमता और लागत तय करता है
समान उत्पाद
GLM
2023ऑटोरेग्रेसिव ब्लैंक-भरने वाले प्रीट्रेनिंग से शुरू हुआ चीनी सामान्य मॉडल
Qwen
2023अनेक आकारों और बहुविध संस्करणों वाला ओपन-वेट परिवार
Hunyuan
2023ओपन-वेट संस्करणों सहित टेनसेंट का सामान्य मॉडल परिवार
Baichuan
2023चीनी-भाषा उपयोग के लिए ओपन-वेट सामान्य मॉडल
Doubao
2023बाइटडांस का सामान्य संवाद मॉडल और ऐप
Pangu
2020हुवावे के Pangu फ़ाउंडेशन मॉडल परिवार