Phi
Modelos pequeños y eficientes construidos con datos seleccionados
El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ ES
Phi is a family of small language models introduced by Microsoft Research in June 2023. Its emphasis is data quality rather than model size: training on filtered “textbook-quality” text lets a few-billion-parameter model approach much larger ones on reasoning and coding. Phi-3 offers 3.8B, 7B and 14B sizes, and the smallest, Phi-3-mini, can run on-device. The models are released as open weights and are often used to probe the capability limits of small models.
Por qué merece la pena recordarlo
It showed that curating and orchestrating data can substitute for parameter count to a surprising degree: a few-billion-parameter model trained on selected data can approach models an order of magnitude larger on some reasoning tasks.
Especificaciones clave
- Parameters
- 3.8B / 7B / 14B (Phi-3 family)
- Training data
- Mainly filtered “textbook-quality” text
- Open weights
- Yes
- Released
- 2023-06
Capacidades
Generación de texto
Continúa un texto palabra por palabra
Conversación y seguimiento de instrucciones
Entender la intención en el diálogo y actuar en consecuencia
Razonamiento y cadena de pensamiento
Descomponer un problema difícil en pasos intermedios
Conceptos relacionados
Preentrenamiento y ajuste fino
Aprender el lenguaje primero con texto sin etiquetas y luego especializarse con pocos datos: el paradigma más eficiente en datos de la IA moderna
Arquitectura Transformer
Sustituir el relé palabra a palabra por una sala donde todos hablan a la vez, para que las dependencias lejanas estén a un salto
Compresión de modelos
Hacer un modelo más pequeño, rápido y barato sin apenas perder precisión — aunque rara vez los tres a la vez
Productos similares
Llama
2023La familia que llevó la ruta de pesos abiertos a la corriente principal
Mistral Large
2024El modelo comercial insignia de un laboratorio europeo de pesos abiertos
Qwen
2023Una familia de pesos abiertos con muchos tamaños y versiones multimodales