Baichuan
Универсальная модель с открытыми весами для китайского языка
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
Baichuan is an open-weight model series Baichuan AI has released since April 2023. The company was founded in Beijing in 2023 by Wang Xiaochuan. Baichuan 2 ships in sizes such as 7B and 13B, pretrained mainly bilingually for Chinese and English and aimed at Chinese question answering, writing and knowledge tasks. Base models and chat versions are both released, with weights offered under an open licence. The series targets Chinese long-tail scenarios and is widely used by domestic developers for secondary training and local deployment.
Почему стоит запомнить
It centred its open-weight models on Chinese long-tail scenarios and used small-to-mid sizes to lower the barrier to local deployment, making it a common Chinese base in domestic developers’ hands.
Ключевые характеристики
- Parameters
- 7B / 13B (Baichuan 2)
- Modality
- Text
- Open weights
- Yes
- Released
- 2023-04
Возможности
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Токенизация
Модель читает не символы, а токены — способ разбиения тихо определяет и возможности, и стоимость
Аналоги
Qwen
2023Семейство с открытыми весами, охватывающее разные размеры и мультимодальные версии
Yi
2023Двуязычная (китайско-английская) модель с открытыми весами и очень длинным контекстом
GLM
2023Китайская универсальная модель, начавшая с авторегрессивного заполнения пропусков
DeepSeek-V3
2024MoE с открытыми весами на 671B параметров, активирующий 37B на токен
ERNIE
2019Китайская модель, начавшая с обогащённого знаниями предобучения, ранняя заметная версия