يُعرض النص الكامل باللغة الإنجليزية؛ وقد تمت ترجمة العنوان والملخص.
ما هو
Phi is a family of small language models introduced by Microsoft Research in June 2023. Its emphasis is data quality rather than model size: training on filtered “textbook-quality” text lets a few-billion-parameter model approach much larger ones on reasoning and coding. Phi-3 offers 3.8B, 7B and 14B sizes, and the smallest, Phi-3-mini, can run on-device. The models are released as open weights and are often used to probe the capability limits of small models.
لماذا يستحق التذكّر
It showed that curating and orchestrating data can substitute for parameter count to a surprising degree: a few-billion-parameter model trained on selected data can approach models an order of magnitude larger on some reasoning tasks.
المواصفات الأساسية
- Parameters
- 3.8B / 7B / 14B (Phi-3 family)
- Training data
- Mainly filtered “textbook-quality” text
- Open weights
- Yes
- Released
- 2023-06
القدرات المرتبطة
المفاهيم ذات الصلة
التدريب المسبق والضبط الدقيق
تعلّم اللغة أولاً من نصوص ضخمة بلا وسوم ثم التخصص ببيانات قليلة — أكثر النماذج كفاءةً في البيانات
معمارية Transformer
يستبدل النقل كلمةً بكلمة بغرفة يتحدث فيها الجميع معاً، فتصبح التبعيات البعيدة على مسافة خطوة واحدة
ضغط النماذج
تصغير النموذج وتسريعه وتخفيض تكلفته دون خسارة كبيرة في الدقة — لكن الجمع بين الثلاثة نادر
منتجات منافسة
Llama
2023عائلة النماذج التي جعلت مسار الأوزان المفتوحة سائدًا
Mistral Large
2024النموذج التجاري الرائد من مختبر أوروبي للأوزان المفتوحة
Qwen
2023عائلة بأوزان مفتوحة تغطي أحجامًا متعددة، مع نسخ متعددة الوسائط