Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NÓ LÀ GÌ
Llama is Meta’s large language model family, first released in February 2023 and distributed as open weights that can be downloaded and run in one’s own environment. From Llama 2 onward, Meta permitted commercial use and offered several sizes such as 7B, 13B and 70B; Llama 3.1 extended the largest version to 405B parameters. It is a pretrained base on which the community performs extensive instruction tuning and domain adaptation. Its open weights made it a default starting point for many open-source projects.
Vì sao đáng ghi nhớ
By releasing large models as open weights under a commercially usable licence, it made “download a base model and fine-tune it yourself” common practice and opened the open-weight camp’s direct competition with the closed frontier.
Thông số chính
- Parameters
- 8B / 70B / 405B (Llama 3.1 family)
- Context window
- 128K tokens (Llama 3.1)
- Open weights
- Yes
- Released
- 2023-02
Năng lực liên quan
Sinh văn bản
Viết tiếp văn bản từng từ một
Hội thoại và tuân thủ chỉ dẫn
Hiểu ý định qua các lượt hội thoại và thực hiện
Suy luận và chuỗi tư duy
Chia bài toán khó thành các bước trung gian
Gọi công cụ và gọi hàm
Để mô hình chọn API và điền tham số
Khái niệm liên quan
Kiến trúc Transformer
Thay cách truyền từng từ bằng một phòng họp nơi mọi từ cùng lên tiếng, để phụ thuộc xa chỉ còn cách một bước
Tiền huấn luyện và tinh chỉnh
Học ngôn ngữ trước từ lượng lớn văn bản không nhãn, rồi chuyên biệt hóa với ít dữ liệu — mô hình tiết kiệm dữ liệu nhất của AI hiện đại
Token hóa
Mô hình không đọc ký tự mà đọc token; cách tách từ âm thầm quyết định năng lực và chi phí
Sản phẩm cùng loại
Mistral Large
2024Mô hình thương mại chủ lực của phòng lab trọng số mở châu Âu
Qwen
2023Dòng trọng số mở với nhiều kích cỡ và bản đa phương thức
DeepSeek-V3
2024MoE trọng số mở 671B tham số, chỉ kích hoạt 37B mỗi token
GPT-4o
2024Mô hình đa phương thức gốc, xử lý văn bản, hình ảnh và âm thanh qua một cửa vào
Claude
2023Mô hình hội thoại phổ thông nổi bật với ngữ cảnh dài và căn chỉnh an toàn
Gemini
2023Mô hình đa phương thức gốc, xử lý ngữ cảnh siêu dài
Phi
2023Mô hình nhỏ, hiệu quả, xây từ dữ liệu chọn lọc
Command R
2024Mô hình thương mại dành cho tăng cường truy hồi và gọi công cụ
Jamba
2024Mô hình trọng số mở kết hợp mô hình không gian trạng thái với Transformer
Yi
2023Mô hình trọng số mở song ngữ Trung–Anh, có bản ngữ cảnh siêu dài
DBRX
2024Mô hình ngôn ngữ MoE trọng số mở của Databricks