يُعرض النص الكامل باللغة الإنجليزية؛ وقد تمت ترجمة العنوان والملخص.
ما هو
Ollama is an open-source tool released in 2023 that lets a user download and run open language models locally with a single command. It bundles quantized weights, the inference runtime and model management, built on implementations such as llama.cpp. It addresses the fiddly environment and dependency setup of deploying open models on a local machine.
لماذا يستحق التذكّر
It folded weights, runtime and model management into one command, turning "run a model on my machine" from an engineering task into an everyday action.
المواصفات الأساسية
- Backend
- Built on implementations such as llama.cpp
- Platforms
- macOS, Linux, Windows
- Distribution
- Quantized weights managed with the model
المفاهيم ذات الصلة
تحسين الاستدلال وتقديم الخدمة
يحدث التدريب مرة واحدة، أما الاستدلال فمليارات المرات يوميًا — وسرعة التوكن الأول والإنتاجية تتعارضان غالبًا
ضغط النماذج
تصغير النموذج وتسريعه وتخفيض تكلفته دون خسارة كبيرة في الدقة — لكن الجمع بين الثلاثة نادر
منتجات منافسة
vLLM
2023محرّك استدلال وخدمة عالي الإنتاجية للنماذج اللغوية
Hugging Face Hub
2016سوق مفتوح للنماذج ومجموعات البيانات
Together API
2022واجهة استدلال للنماذج المفتوحة
LangChain
2022اربط النماذج والأدوات والاسترجاع