El texto completo se presenta en inglés; el título y el resumen están traducidos.
QUÉ ES
Together API is the inference interface offered by Together AI, introduced in 2022, for running open-weights models on managed clusters. Beyond inference it also offers services such as fine-tuning. It addresses the case where a team wants to call open models through an API without building its own GPU cluster.
Por qué merece la pena recordarlo
It let open-weights models be called much like closed APIs, narrowing the gap between open weights and a usable service.
Especificaciones clave
- Capabilities
- Inference and fine-tuning for open models
- Interface
- OpenAI-style calling convention
Conceptos relacionados
Optimización y servicio de inferencia
El entrenamiento ocurre una vez; la inferencia, miles de millones de veces al día — y el primer token y el rendimiento suelen oponerse
Infraestructura de entrenamiento e inferencia
La memoria decide qué tan grande es el modelo que puedes entrenar; la comunicación, cuánto tarda
Productos similares
Replicate
2019Ejecuta modelos de la comunidad mediante una API
Ollama
2023Ejecuta modelos abiertos en local con un comando
Hugging Face Hub
2016El punto de encuentro de modelos y datos abiertos
vLLM
2023Motor de inferencia y servicio de alto rendimiento para LLM