Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE C'EST
Together API is the inference interface offered by Together AI, introduced in 2022, for running open-weights models on managed clusters. Beyond inference it also offers services such as fine-tuning. It addresses the case where a team wants to call open models through an API without building its own GPU cluster.
Pourquoi il compte
It let open-weights models be called much like closed APIs, narrowing the gap between open weights and a usable service.
Caractéristiques clés
- Capabilities
- Inference and fine-tuning for open models
- Interface
- OpenAI-style calling convention
Concepts liés
Optimisation et service d’inférence
L’entraînement a lieu une fois, l’inférence des milliards de fois par jour — et le premier token s’oppose souvent au débit
Infrastructure d’entraînement et d’inférence
La mémoire décide de la taille du modèle entraînable, la communication de la durée — le calcul brut est rarement le goulot
Produits comparables
Replicate
2019Exécuter des modèles de la communauté via une API
Ollama
2023Lancer des modèles ouverts en local en une commande
Hugging Face Hub
2016Le carrefour des modèles et jeux de données ouverts
vLLM
2023Moteur d’inférence et de service à haut débit pour LLM