Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
Llama is Meta’s large language model family, first released in February 2023 and distributed as open weights that can be downloaded and run in one’s own environment. From Llama 2 onward, Meta permitted commercial use and offered several sizes such as 7B, 13B and 70B; Llama 3.1 extended the largest version to 405B parameters. It is a pretrained base on which the community performs extensive instruction tuning and domain adaptation. Its open weights made it a default starting point for many open-source projects.
Почему стоит запомнить
By releasing large models as open weights under a commercially usable licence, it made “download a base model and fine-tune it yourself” common practice and opened the open-weight camp’s direct competition with the closed frontier.
Ключевые характеристики
- Parameters
- 8B / 70B / 405B (Llama 3.1 family)
- Context window
- 128K tokens (Llama 3.1)
- Open weights
- Yes
- Released
- 2023-02
Возможности
Генерация текста
Продолжает текст слово за словом
Диалог и следование инструкциям
Понимать намерение по ходу диалога и выполнять его
Рассуждение и цепочка мыслей
Разбить трудную задачу на промежуточные шаги
Вызов инструментов и функций
Пусть модель выберет API и заполнит аргументы
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Токенизация
Модель читает не символы, а токены — способ разбиения тихо определяет и возможности, и стоимость
Аналоги
Mistral Large
2024Флагманская коммерческая модель европейской лаборатории открытых весов
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
DeepSeek-V3
2024MoE с открытыми весами на 671B параметров, активирующий 37B на токен
GPT-4o
2024Универсальная модель с нативной мультимодальностью: текст, изображение и звук через один вход
Claude
2023Универсальная диалоговая модель, известная длинным контекстом и выравниванием по безопасности
Gemini
2023Универсальная модель с нативной мультимодальностью, рассчитанная на очень длинный контекст
Phi
2023Небольшие эффективные модели, построенные на отобранных данных
Command R
2024Коммерческая модель, рассчитанная на дополнение поиском и вызов инструментов
Jamba
2024Модель с открытыми весами, сочетающая модель пространства состояний и Transformer
Yi
2023Двуязычная (китайско-английская) модель с открытыми весами и очень длинным контекстом
DBRX
2024Языковая MoE-модель с открытыми весами от Databricks