मुख्य सामग्री पर जाएँ

प्राकृतिक भाषा प्रसंस्करण और बड़े भाषा मॉडल

टोकनाइज़ेशन से ट्रांसफ़ॉर्मर तक, और बात करने वाले बड़े मॉडल तक

OVERVIEW

सभी प्रविष्टियाँ
6
प्रारंभिक
2
मध्यवर्ती
3
विशेषज्ञ
1

Language is cut into tokens, compressed into vectors, and then made to “look at” itself through attention — a loop so plain it seems excessive, yet it lifted next-token prediction all the way to a general assistant. This domain traces that path in order: bag of words, embeddings, RNNs, attention, Transformers, pre-training and alignment.

इस क्षेत्र में उत्तर देने वाले प्रश्न

  • Q1

    What exactly does a model see when it reads a word?

  • Q2

    Why does attention beat recurrence?

  • Q3

    Why does next-token prediction yield conversation?

इस क्षेत्र की प्रविष्टियाँ

  1. 01टोकनाइज़ेशनप्रारंभिकमॉडल अक्षर नहीं, टोकन पढ़ते हैं — विभाजन का तरीका चुपचाप क्षमता और लागत तय करता है
  2. 02शब्द एम्बेडिंगप्रारंभिकशब्दों को निर्देशांक बनाना — समानार्थी स्वयं पास आ जाते हैं और अर्थ को जोड़ना-घटाना संभव हो जाता है
  3. 03अटेंशन तंत्रमध्यवर्तीहर स्थान बाकी सभी स्थानों को सीधे देख सकता है और प्रासंगिकता के अनुसार ध्यान बाँट सकता है
  4. 04Transformer आर्किटेक्चरमध्यवर्तीशब्द-दर-शब्द relay की जगह वह कक्ष जहाँ सब एक साथ बोलते हैं, जिससे दूर की निर्भरताएँ एक कदम पर आ जाती हैं
  5. 05प्री-ट्रेनिंग और फाइन-ट्यूनिंगमध्यवर्तीपहले विशाल अलेबल पाठ से भाषा सीखना, फिर थोड़े डेटा से विशेषज्ञ बनना — आधुनिक एआई का सबसे डेटा-कुशल प्रतिमान
  6. 06प्रॉम्प्ट इंजीनियरिंग और अलाइनमेंटविशेषज्ञमॉडल को उपयोगी, ईमानदार और हानिरहित बनाना उसे केवल बड़ा करने से कठिन है