Der vollständige Artikel liegt auf Englisch vor; Titel und Zusammenfassung sind lokalisiert.
WAS ES IST
Together API is the inference interface offered by Together AI, introduced in 2022, for running open-weights models on managed clusters. Beyond inference it also offers services such as fine-tuning. It addresses the case where a team wants to call open models through an API without building its own GPU cluster.
Warum es wichtig ist
It let open-weights models be called much like closed APIs, narrowing the gap between open weights and a usable service.
Wichtige Eckdaten
- Capabilities
- Inference and fine-tuning for open models
- Interface
- OpenAI-style calling convention
Verwandte Konzepte
Inferenz-Optimierung und Serving
Training passiert einmal, Inferenz milliardenfach am Tag – und erstes Token und Durchsatz stehen oft im Konflikt
Infrastruktur für Training und Inferenz
Der Speicher bestimmt, wie groß ein Modell sein darf, die Kommunikation, wie lange das Training dauert
Vergleichbare Produkte
Replicate
2019Community-Modelle über eine API ausführen
Ollama
2023Offene Modelle lokal mit einem Befehl starten
Hugging Face Hub
2016Die Sammelstelle für offene Modelle und Datensätze
vLLM
2023Hochdurchsatz-Engine für Inferenz und Serving von LLMs