O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE É
Together API is the inference interface offered by Together AI, introduced in 2022, for running open-weights models on managed clusters. Beyond inference it also offers services such as fine-tuning. It addresses the case where a team wants to call open models through an API without building its own GPU cluster.
Por que vale a pena lembrar
It let open-weights models be called much like closed APIs, narrowing the gap between open weights and a usable service.
Especificações-chave
- Capabilities
- Inference and fine-tuning for open models
- Interface
- OpenAI-style calling convention
Conceitos relacionados
Otimização e serviço de inferência
O treino ocorre uma vez; a inferência, bilhões de vezes por dia — e o primeiro token e a vazão costumam se opor
Infraestrutura de treinamento e inferência
A memória decide o tamanho do modelo treinável; a comunicação, quanto tempo leva
Produtos semelhantes
Replicate
2019Rode modelos da comunidade via API
Ollama
2023Rode modelos abertos localmente com um comando
Hugging Face Hub
2016O ponto de encontro de modelos e dados abertos
vLLM
2023Motor de inferência e serviço de alta vazão para LLMs