Transformers
Единый API для загрузки и обучения готовых моделей
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО
Transformers is an open-source library maintained by Hugging Face, released in 2018, that loads, runs and trains pretrained models through a single interface. It began with Transformer architectures such as BERT and GPT and now spans text, vision, speech and multimodal models. It solves the problem of converging models of differing origins and implementations onto one API, reducing the cost of rewriting code when switching models.
Почему стоит запомнить
It turned "swap the model" from rewriting training and serving code into changing a model identifier — a key layer behind the broad reuse of open models.
Ключевые характеристики
- Frameworks
- PyTorch, TensorFlow, JAX
- Coverage
- Text, vision, speech and multimodal
Связанные концепции
Архитектура Transformer
Замена эстафеты по одному слову залом, где все говорят сразу, — и дальние зависимости оказываются в одном шаге
Предобучение и дообучение
Сначала выучить язык на огромных неразмеченных корпусах, затем специализироваться на малых данных — самый экономный по данным подход в современном ИИ
Аналоги
Diffusers
2022Единая реализация и планировщик для диффузионных моделей
Datasets
2020Загрузка и потоковое чтение наборов данных одной строкой
LangChain
2022Связывание моделей, инструментов и поиска
NeMo
2019Набор инструментов для обучения и настройки больших моделей