يُعرض النص الكامل باللغة الإنجليزية؛ وقد تمت ترجمة العنوان والملخص.
ما هو
Llama is Meta’s large language model family, first released in February 2023 and distributed as open weights that can be downloaded and run in one’s own environment. From Llama 2 onward, Meta permitted commercial use and offered several sizes such as 7B, 13B and 70B; Llama 3.1 extended the largest version to 405B parameters. It is a pretrained base on which the community performs extensive instruction tuning and domain adaptation. Its open weights made it a default starting point for many open-source projects.
لماذا يستحق التذكّر
By releasing large models as open weights under a commercially usable licence, it made “download a base model and fine-tune it yourself” common practice and opened the open-weight camp’s direct competition with the closed frontier.
المواصفات الأساسية
- Parameters
- 8B / 70B / 405B (Llama 3.1 family)
- Context window
- 128K tokens (Llama 3.1)
- Open weights
- Yes
- Released
- 2023-02
القدرات المرتبطة
المفاهيم ذات الصلة
معمارية Transformer
يستبدل النقل كلمةً بكلمة بغرفة يتحدث فيها الجميع معاً، فتصبح التبعيات البعيدة على مسافة خطوة واحدة
التدريب المسبق والضبط الدقيق
تعلّم اللغة أولاً من نصوص ضخمة بلا وسوم ثم التخصص ببيانات قليلة — أكثر النماذج كفاءةً في البيانات
الترميز إلى رموز (Tokenization)
لا تقرأ النماذج الحروف بل الرموز، وطريقة التقسيم تحدّد القدرة والكلفة بصمت
منتجات منافسة
Mistral Large
2024النموذج التجاري الرائد من مختبر أوروبي للأوزان المفتوحة
Qwen
2023عائلة بأوزان مفتوحة تغطي أحجامًا متعددة، مع نسخ متعددة الوسائط
DeepSeek-V3
2024نموذج MoE بأوزان مفتوحة بـ 671 مليار معامل، ينشّط 37 مليار لكل رمز
GPT-4o
2024نموذج عام متعدد الوسائط بطبيعته، يجمع النص والصورة والصوت في مدخل واحد
Claude
2023نموذج محادثة عام يشتهر بسياقه الطويل ومواءمته الأمنية
Gemini
2023نموذج عام متعدد الوسائط بطبيعته، مصمم لسياقات طويلة جدًا
Phi
2023نماذج صغيرة وفعّالة مبنية على بيانات منتقاة
Command R
2024نموذج تجاري مصمم للاسترجاع المعزّز واستخدام الأدوات
Jamba
2024نموذج بأوزان مفتوحة يمزج نموذج فضاء الحالة مع Transformer
Yi
2023نموذج بأوزان مفتوحة ثنائي اللغة صيني-إنجليزي، بنسخ سياق طويلة جدًا
DBRX
2024نموذج لغوي مفتوح الأوزان بنمط MoE من Databricks