O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE É
Phi is a family of small language models introduced by Microsoft Research in June 2023. Its emphasis is data quality rather than model size: training on filtered “textbook-quality” text lets a few-billion-parameter model approach much larger ones on reasoning and coding. Phi-3 offers 3.8B, 7B and 14B sizes, and the smallest, Phi-3-mini, can run on-device. The models are released as open weights and are often used to probe the capability limits of small models.
Por que vale a pena lembrar
It showed that curating and orchestrating data can substitute for parameter count to a surprising degree: a few-billion-parameter model trained on selected data can approach models an order of magnitude larger on some reasoning tasks.
Especificações-chave
- Parameters
- 3.8B / 7B / 14B (Phi-3 family)
- Training data
- Mainly filtered “textbook-quality” text
- Open weights
- Yes
- Released
- 2023-06
Capacidades
Conceitos relacionados
Pré-treinamento e ajuste fino
Aprender a língua primeiro com texto não rotulado e depois especializar com poucos dados: o paradigma mais eficiente em dados da IA moderna
Arquitetura Transformer
Substituir o revezamento palavra a palavra por uma sala onde todos falam ao mesmo tempo, deixando dependências distantes a um salto
Compressão de modelos
Tornar um modelo menor, mais rápido e mais barato quase sem perder precisão — mas raramente os três ao mesmo tempo
Produtos semelhantes
Llama
2023A família que tornou a rota de pesos abertos mainstream
Mistral Large
2024O modelo comercial principal de um laboratório europeu de pesos abertos
Qwen
2023Uma família de pesos abertos com muitos tamanhos e versões multimodais