Yi
Двуязычная (китайско-английская) модель с открытыми весами и очень длинным контекстом
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
Yi is an open-weight model series 01.AI released in November 2023. 01.AI was founded in Beijing in 2023 by Kai-Fu Lee. Positioned as a bilingual Chinese–English general model, Yi ships in sizes such as 6B and 34B, with versions that extend the context to the 200K-token range. It offers both base and instruction-tuned models, with weights downloadable under a permissive licence. Its bilingual ability and long-context options make it a common base for Chinese–English tasks in the open-source community.
Почему стоит запомнить
At a time when open models leaned English, it made “balanced Chinese–English plus very long context” an explicit selling point and covered different compute budgets with 6B and 34B sizes — a common base choice in the Chinese community.
Ключевые характеристики
- Parameters
- 6B / 34B (Yi family)
- Context window
- 200K tokens (Yi-34B-200K)
- Open weights
- Yes
- Released
- 2023-11
Возможности
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Токенизация
Модель читает не символы, а токены — способ разбиения тихо определяет и возможности, и стоимость
Аналоги
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
Baichuan
2023Универсальная модель с открытыми весами для китайского языка
Llama
2023Семейство моделей, сделавшее открытые веса массовым путём
Mistral Large
2024Флагманская коммерческая модель европейской лаборатории открытых весов