प्राकृतिक भाषा प्रसंस्करण और बड़े भाषा मॉडल
टोकनाइज़ेशन से ट्रांसफ़ॉर्मर तक, और बात करने वाले बड़े मॉडल तक
OVERVIEW
- सभी प्रविष्टियाँ
- 6
- प्रारंभिक
- 2
- मध्यवर्ती
- 3
- विशेषज्ञ
- 1
Language is cut into tokens, compressed into vectors, and then made to “look at” itself through attention — a loop so plain it seems excessive, yet it lifted next-token prediction all the way to a general assistant. This domain traces that path in order: bag of words, embeddings, RNNs, attention, Transformers, pre-training and alignment.
इस क्षेत्र में उत्तर देने वाले प्रश्न
- Q1
What exactly does a model see when it reads a word?
- Q2
Why does attention beat recurrence?
- Q3
Why does next-token prediction yield conversation?
इस क्षेत्र की प्रविष्टियाँ
- 01टोकनाइज़ेशनप्रारंभिकमॉडल अक्षर नहीं, टोकन पढ़ते हैं — विभाजन का तरीका चुपचाप क्षमता और लागत तय करता है
- 02शब्द एम्बेडिंगप्रारंभिकशब्दों को निर्देशांक बनाना — समानार्थी स्वयं पास आ जाते हैं और अर्थ को जोड़ना-घटाना संभव हो जाता है
- 03अटेंशन तंत्रमध्यवर्तीहर स्थान बाकी सभी स्थानों को सीधे देख सकता है और प्रासंगिकता के अनुसार ध्यान बाँट सकता है
- 04Transformer आर्किटेक्चरमध्यवर्तीशब्द-दर-शब्द relay की जगह वह कक्ष जहाँ सब एक साथ बोलते हैं, जिससे दूर की निर्भरताएँ एक कदम पर आ जाती हैं
- 05प्री-ट्रेनिंग और फाइन-ट्यूनिंगमध्यवर्तीपहले विशाल अलेबल पाठ से भाषा सीखना, फिर थोड़े डेटा से विशेषज्ञ बनना — आधुनिक एआई का सबसे डेटा-कुशल प्रतिमान
- 06प्रॉम्प्ट इंजीनियरिंग और अलाइनमेंटविशेषज्ञमॉडल को उपयोगी, ईमानदार और हानिरहित बनाना उसे केवल बड़ा करने से कठिन है