Baichuan
Un modèle général à poids ouverts visant l’usage en chinois
Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE C'EST
Baichuan is an open-weight model series Baichuan AI has released since April 2023. The company was founded in Beijing in 2023 by Wang Xiaochuan. Baichuan 2 ships in sizes such as 7B and 13B, pretrained mainly bilingually for Chinese and English and aimed at Chinese question answering, writing and knowledge tasks. Base models and chat versions are both released, with weights offered under an open licence. The series targets Chinese long-tail scenarios and is widely used by domestic developers for secondary training and local deployment.
Pourquoi il compte
It centred its open-weight models on Chinese long-tail scenarios and used small-to-mid sizes to lower the barrier to local deployment, making it a common Chinese base in domestic developers’ hands.
Caractéristiques clés
- Parameters
- 7B / 13B (Baichuan 2)
- Modality
- Text
- Open weights
- Yes
- Released
- 2023-04
Capacités
Concepts liés
Architecture Transformer
Remplacer le relais mot à mot par une salle où tous parlent en même temps, pour que les dépendances lointaines soient à un saut
Pré-entraînement et affinage
Apprendre d’abord la langue sur d’immenses corpus non annotés, puis se spécialiser avec peu de données : le paradigme le plus économe en données
Tokenisation
Les modèles ne lisent pas des caractères mais des tokens ; le découpage fixe silencieusement la capacité et le coût
Produits comparables
Qwen
2023Une famille à poids ouverts couvrant de nombreuses tailles, avec des versions multimodales
Yi
2023Un modèle à poids ouverts bilingue chinois-anglais, avec des versions à très long contexte
GLM
2023Un modèle général chinois parti d’un préentraînement par remplissage de blancs autorégressif
DeepSeek-V3
2024Un MoE à poids ouverts de 671B paramètres, activant 37B par token
ERNIE
2019Un modèle chinois parti d’un préentraînement enrichi par la connaissance, version phare précoce