Chuyển đến nội dung
Bản đồ AI

Xử lý ngôn ngữ tự nhiên và mô hình ngôn ngữ lớn

Từ token hóa đến Transformer và những mô hình biết nói

OVERVIEW

Tất cả mục từ
6
Cơ bản
2
Trung cấp
3
Chuyên gia
1

Language is cut into tokens, compressed into vectors, and then made to “look at” itself through attention — a loop so plain it seems excessive, yet it lifted next-token prediction all the way to a general assistant. This domain traces that path in order: bag of words, embeddings, RNNs, attention, Transformers, pre-training and alignment.

Những câu hỏi lĩnh vực này trả lời

  • Q1

    What exactly does a model see when it reads a word?

  • Q2

    Why does attention beat recurrence?

  • Q3

    Why does next-token prediction yield conversation?

Mục từ trong lĩnh vực này

  1. 01Token hóaCơ bảnMô hình không đọc ký tự mà đọc token; cách tách từ âm thầm quyết định năng lực và chi phí
  2. 02Nhúng từ (Word Embeddings)Cơ bảnBiến từ thành tọa độ: từ đồng nghĩa tự tụ lại và ý nghĩa lần đầu có thể cộng trừ
  3. 03Cơ chế chú ý (Attention)Trung cấpMọi vị trí đều có thể nhìn thẳng vào mọi vị trí khác và phân bổ chú ý theo mức liên quan
  4. 04Kiến trúc TransformerTrung cấpThay cách truyền từng từ bằng một phòng họp nơi mọi từ cùng lên tiếng, để phụ thuộc xa chỉ còn cách một bước
  5. 05Tiền huấn luyện và tinh chỉnhTrung cấpHọc ngôn ngữ trước từ lượng lớn văn bản không nhãn, rồi chuyên biệt hóa với ít dữ liệu — mô hình tiết kiệm dữ liệu nhất của AI hiện đại
  6. 06Kỹ thuật prompt và căn chỉnhChuyên giaLàm cho mô hình hữu ích, trung thực và vô hại khó hơn việc chỉ phóng to nó