Der vollständige Artikel liegt auf Englisch vor; Titel und Zusammenfassung sind lokalisiert.
WAS ES IST
Phi is a family of small language models introduced by Microsoft Research in June 2023. Its emphasis is data quality rather than model size: training on filtered “textbook-quality” text lets a few-billion-parameter model approach much larger ones on reasoning and coding. Phi-3 offers 3.8B, 7B and 14B sizes, and the smallest, Phi-3-mini, can run on-device. The models are released as open weights and are often used to probe the capability limits of small models.
Warum es wichtig ist
It showed that curating and orchestrating data can substitute for parameter count to a surprising degree: a few-billion-parameter model trained on selected data can approach models an order of magnitude larger on some reasoning tasks.
Wichtige Eckdaten
- Parameters
- 3.8B / 7B / 14B (Phi-3 family)
- Training data
- Mainly filtered “textbook-quality” text
- Open weights
- Yes
- Released
- 2023-06
Fähigkeiten
Verwandte Konzepte
Vor- und Feintraining
Erst Sprache aus riesigem ungelabelten Text lernen, dann mit wenig Daten spezialisieren – das dateneffizienteste Paradigma der modernen KI
Transformer-Architektur
Statt Wort-für-Wort-Stafette ein Raum, in dem alle zugleich sprechen — und weite Abhängigkeiten sind nur einen Schritt entfernt
Modellkompression
Ein Modell kleiner, schneller und günstiger machen, ohne Genauigkeit zu verlieren – aber meist nur zwei von drei zugleich
Vergleichbare Produkte
Llama
2023Die Modellfamilie, die offene Gewichte zum Mainstream machte
Mistral Large
2024Das kommerzielle Flaggschiffmodell eines europäischen Open-Weights-Labors
Qwen
2023Eine Open-Weights-Familie über viele Größen hinweg, mit multimodalen Versionen