Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NÓ LÀ GÌ
Ollama is an open-source tool released in 2023 that lets a user download and run open language models locally with a single command. It bundles quantized weights, the inference runtime and model management, built on implementations such as llama.cpp. It addresses the fiddly environment and dependency setup of deploying open models on a local machine.
Vì sao đáng ghi nhớ
It folded weights, runtime and model management into one command, turning "run a model on my machine" from an engineering task into an everyday action.
Thông số chính
- Backend
- Built on implementations such as llama.cpp
- Platforms
- macOS, Linux, Windows
- Distribution
- Quantized weights managed with the model
Khái niệm liên quan
Tối ưu suy luận và phục vụ
Huấn luyện chỉ một lần, suy luận diễn ra hàng tỷ lần mỗi ngày — và token đầu tiên lẫn thông lượng thường kéo ngược nhau
Nén mô hình
Làm mô hình nhỏ hơn, nhanh hơn, rẻ hơn mà gần như không mất độ chính xác — nhưng thường chỉ được hai trong ba
Sản phẩm cùng loại
vLLM
2023Engine suy luận và phục vụ LLM thông lượng cao
Hugging Face Hub
2016Nơi quy tụ mô hình và dữ liệu mở
Together API
2022API suy luận cho các mô hình mở
LangChain
2022Ghép mô hình, công cụ và truy hồi lại với nhau