Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NÓ LÀ GÌ
Together API is the inference interface offered by Together AI, introduced in 2022, for running open-weights models on managed clusters. Beyond inference it also offers services such as fine-tuning. It addresses the case where a team wants to call open models through an API without building its own GPU cluster.
Vì sao đáng ghi nhớ
It let open-weights models be called much like closed APIs, narrowing the gap between open weights and a usable service.
Thông số chính
- Capabilities
- Inference and fine-tuning for open models
- Interface
- OpenAI-style calling convention
Khái niệm liên quan
Tối ưu suy luận và phục vụ
Huấn luyện chỉ một lần, suy luận diễn ra hàng tỷ lần mỗi ngày — và token đầu tiên lẫn thông lượng thường kéo ngược nhau
Hạ tầng huấn luyện và suy luận
Bộ nhớ quyết định mô hình lớn đến đâu, còn truyền thông quyết định mất bao lâu
Sản phẩm cùng loại
Replicate
2019Chạy mô hình do cộng đồng đăng qua API
Ollama
2023Chạy mô hình mở tại máy chỉ với một lệnh
Hugging Face Hub
2016Nơi quy tụ mô hình và dữ liệu mở
vLLM
2023Engine suy luận và phục vụ LLM thông lượng cao