Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NÓ LÀ GÌ
Phi is a family of small language models introduced by Microsoft Research in June 2023. Its emphasis is data quality rather than model size: training on filtered “textbook-quality” text lets a few-billion-parameter model approach much larger ones on reasoning and coding. Phi-3 offers 3.8B, 7B and 14B sizes, and the smallest, Phi-3-mini, can run on-device. The models are released as open weights and are often used to probe the capability limits of small models.
Vì sao đáng ghi nhớ
It showed that curating and orchestrating data can substitute for parameter count to a surprising degree: a few-billion-parameter model trained on selected data can approach models an order of magnitude larger on some reasoning tasks.
Thông số chính
- Parameters
- 3.8B / 7B / 14B (Phi-3 family)
- Training data
- Mainly filtered “textbook-quality” text
- Open weights
- Yes
- Released
- 2023-06
Năng lực liên quan
Khái niệm liên quan
Tiền huấn luyện và tinh chỉnh
Học ngôn ngữ trước từ lượng lớn văn bản không nhãn, rồi chuyên biệt hóa với ít dữ liệu — mô hình tiết kiệm dữ liệu nhất của AI hiện đại
Kiến trúc Transformer
Thay cách truyền từng từ bằng một phòng họp nơi mọi từ cùng lên tiếng, để phụ thuộc xa chỉ còn cách một bước
Nén mô hình
Làm mô hình nhỏ hơn, nhanh hơn, rẻ hơn mà gần như không mất độ chính xác — nhưng thường chỉ được hai trong ba
Sản phẩm cùng loại
Llama
2023Dòng mô hình đưa trọng số mở trở thành xu hướng chính
Mistral Large
2024Mô hình thương mại chủ lực của phòng lab trọng số mở châu Âu
Qwen
2023Dòng trọng số mở với nhiều kích cỡ và bản đa phương thức