Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE C'EST
Phi is a family of small language models introduced by Microsoft Research in June 2023. Its emphasis is data quality rather than model size: training on filtered “textbook-quality” text lets a few-billion-parameter model approach much larger ones on reasoning and coding. Phi-3 offers 3.8B, 7B and 14B sizes, and the smallest, Phi-3-mini, can run on-device. The models are released as open weights and are often used to probe the capability limits of small models.
Pourquoi il compte
It showed that curating and orchestrating data can substitute for parameter count to a surprising degree: a few-billion-parameter model trained on selected data can approach models an order of magnitude larger on some reasoning tasks.
Caractéristiques clés
- Parameters
- 3.8B / 7B / 14B (Phi-3 family)
- Training data
- Mainly filtered “textbook-quality” text
- Open weights
- Yes
- Released
- 2023-06
Capacités
Concepts liés
Pré-entraînement et affinage
Apprendre d’abord la langue sur d’immenses corpus non annotés, puis se spécialiser avec peu de données : le paradigme le plus économe en données
Architecture Transformer
Remplacer le relais mot à mot par une salle où tous parlent en même temps, pour que les dépendances lointaines soient à un saut
Compression de modèles
Rendre un modèle plus petit, plus rapide et moins cher sans perdre en précision — rarement les trois à la fois
Produits comparables
Llama
2023La famille qui a fait des poids ouverts une voie grand public
Mistral Large
2024Le modèle commercial phare d’un laboratoire européen de poids ouverts
Qwen
2023Une famille à poids ouverts couvrant de nombreuses tailles, avec des versions multimodales