Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
Together API is the inference interface offered by Together AI, introduced in 2022, for running open-weights models on managed clusters. Beyond inference it also offers services such as fine-tuning. It addresses the case where a team wants to call open models through an API without building its own GPU cluster.
Почему стоит запомнить
It let open-weights models be called much like closed APIs, narrowing the gap between open weights and a usable service.
Ключевые характеристики
- Capabilities
- Inference and fine-tuning for open models
- Interface
- OpenAI-style calling convention
Связанные концепции
Оптимизация инференса и обслуживание
Обучение случается один раз, вывод — миллиарды раз в день; быстрый первый токен и высокая пропускная способность обычно тянут в разные стороны
Инфраструктура обучения и вывода
Память определяет размер модели, а коммуникации — время обучения; чистая вычислительная мощность редко бывает узким местом
Аналоги
Replicate
2019Запуск моделей сообщества через API
Ollama
2023Запуск открытых моделей локально одной командой
Hugging Face Hub
2016Открытый узел моделей и наборов данных
vLLM
2023Высокопроизводительный движок вывода и обслуживания LLM