GPT-4o
Um modelo geral nativamente multimodal: texto, imagem e áudio por uma única porta
O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE É
GPT-4o is a general-purpose model OpenAI released in May 2024; the “o” stands for omni, meaning text, image and audio are handled inside one model. Vision and speech understanding share a single forward pass, and spoken conversation runs at near-real-time latency. Where earlier systems stitched several models into a pipeline, GPT-4o trains multimodality end to end and simplifies the interaction entry point. It is offered through both the API and ChatGPT, and serves as OpenAI’s main multimodal general model.
Por que vale a pena lembrar
It moved multimodality from “several models stitched into a pipeline” to “one model end to end” and cut spoken-dialogue latency to near human-conversation levels; general models have since treated native multimodality as the default target.
Especificações-chave
- Context window
- 128K tokens
- Modality
- Text, image, audio in; text, audio out
- Released
- 2024-05
- Open weights
- No
Capacidades
Conversa e seguimento de instruções
Entender a intenção ao longo do diálogo e agir
Geração de texto
Continua um texto palavra a palavra
Raciocínio e cadeia de pensamento
Decompor um problema difícil em passos intermediários
Compreensão de imagens e VQA
Olhar uma imagem e responder perguntas livres
Conceitos relacionados
Arquitetura Transformer
Substituir o revezamento palavra a palavra por uma sala onde todos falam ao mesmo tempo, deixando dependências distantes a um salto
Geração multimodal
Um único modelo que aprende a falar, desenhar, mover-se e até modelar o mundo 3D
Engenharia de prompts e alinhamento
Tornar um modelo útil, honesto e inofensivo é mais difícil do que apenas torná-lo maior
Produtos semelhantes
Claude
2023Um modelo de conversa geral conhecido por contexto longo e alinhamento de segurança
Gemini
2023Um modelo geral nativamente multimodal, feito para contextos muito longos
Llama
2023A família que tornou a rota de pesos abertos mainstream
Grok
2023Um modelo de conversa ligado aos dados de uma rede social
Mistral Large
2024O modelo comercial principal de um laboratório europeu de pesos abertos
Command R
2024Um modelo comercial feito para recuperação aumentada e uso de ferramentas
Kimi
2023Um assistente de conversa chinês conhecido por lidar com contextos longos