Mistral Large
Флагманская коммерческая модель европейской лаборатории открытых весов
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
Mistral Large is the flagship model that France’s Mistral AI released in February 2024, offered under a commercial licence rather than open weights, complementing its open small models. Mistral AI was founded in 2023 in Paris by former DeepMind and Meta researchers. The model targets reasoning, multilingual work and function calling, with a context window in the 128K range. Mistral builds a community with a handful of open models, then serves enterprise needs with commercial ones such as Large.
Почему стоит запомнить
It represents the dual-track strategy of open-sourcing small models to win a community and selling flagship models commercially, letting a non-US lab hold ground on both the open-weight and commercial sides.
Ключевые характеристики
- Parameters
- 123B (Mistral Large 2)
- Context window
- 128K tokens
- Open weights
- No (commercial licence)
- Released
- 2024-02
Возможности
Генерация текста
Продолжает текст слово за словом
Диалог и следование инструкциям
Понимать намерение по ходу диалога и выполнять его
Рассуждение и цепочка мыслей
Разбить трудную задачу на промежуточные шаги
Вызов инструментов и функций
Пусть модель выберет API и заполнит аргументы
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Механизм внимания
Каждая позиция может напрямую «видеть» все остальные и динамически распределять внимание по релевантности
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Аналоги
Llama
2023Семейство моделей, сделавшее открытые веса массовым путём
GPT-4o
2024Универсальная модель с нативной мультимодальностью: текст, изображение и звук через один вход
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
Command R
2024Коммерческая модель, рассчитанная на дополнение поиском и вызов инструментов
Phi
2023Небольшие эффективные модели, построенные на отобранных данных
Jamba
2024Модель с открытыми весами, сочетающая модель пространства состояний и Transformer
DeepSeek-V3
2024MoE с открытыми весами на 671B параметров, активирующий 37B на токен
Yi
2023Двуязычная (китайско-английская) модель с открытыми весами и очень длинным контекстом
DBRX
2024Языковая MoE-модель с открытыми весами от Databricks