DeepSeek-V3
MoE с открытыми весами на 671B параметров, активирующий 37B на токен
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
DeepSeek-V3 is an open-weight model DeepSeek released in December 2024. It uses a mixture-of-experts architecture with 671B total parameters, activating about 37B per token. DeepSeek was founded in Hangzhou in 2023 by Liang Wenfeng and is known for publishing technical details and data openly. V3 approaches the closed frontier of its time on several benchmarks, while the training compute and cost disclosed in its technical report are far below the usual level for models of this size. It supports a context window in the 128K range, with weights downloadable under a permissive licence.
Почему стоит запомнить
A 671B-parameter MoE that activates only 37B per token, trained at the low cost reported in its technical report — evidence that open-weight models can approach the closed frontier of the same period.
Ключевые характеристики
- Parameters
- 671B (MoE, 37B active)
- Context window
- 128K tokens
- Training cost
- About US$5.58M (per the official technical report)
- Open weights
- Yes
Возможности
Генерация текста
Продолжает текст слово за словом
Диалог и следование инструкциям
Понимать намерение по ходу диалога и выполнять его
Рассуждение и цепочка мыслей
Разбить трудную задачу на промежуточные шаги
Генерация кода
Писать исполняемый код по текстовому описанию
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Механизм внимания
Каждая позиция может напрямую «видеть» все остальные и динамически распределять внимание по релевантности
Аналоги
DeepSeek-R1
2025Модель рассуждений, обученная RL на цепочках мыслей, с открытыми весами под лицензией MIT
Llama
2023Семейство моделей, сделавшее открытые веса массовым путём
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
Mistral Large
2024Флагманская коммерческая модель европейской лаборатории открытых весов
Baichuan
2023Универсальная модель с открытыми весами для китайского языка