यह पृष्ठ अंग्रेज़ी में प्रस्तुत है; शीर्षक और सारांश का स्थानीयकरण किया गया है।
यह क्या है
Ollama is an open-source tool released in 2023 that lets a user download and run open language models locally with a single command. It bundles quantized weights, the inference runtime and model management, built on implementations such as llama.cpp. It addresses the fiddly environment and dependency setup of deploying open models on a local machine.
यह क्यों महत्वपूर्ण है
It folded weights, runtime and model management into one command, turning "run a model on my machine" from an engineering task into an everyday action.
मुख्य विशिष्टताएँ
- Backend
- Built on implementations such as llama.cpp
- Platforms
- macOS, Linux, Windows
- Distribution
- Quantized weights managed with the model
संबंधित अवधारणाएँ
अनुमान अनुकूलन एवं सर्विंग
प्रशिक्षण एक बार होता है, अनुमान दिन में अरबों बार — और पहला टोकन एवं थ्रूपुट प्रायः एक-दूसरे से टकराते हैं
मॉडल संपीड़न
सटीकता लगभग बनाए रखते हुए मॉडल को छोटा, तेज़ और सस्ता बनाना — पर तीनों एक साथ कम ही मिलते हैं