Transformers
Eine API zum Laden und Trainieren vortrainierter Modelle
Der vollständige Artikel liegt auf Englisch vor; Titel und Zusammenfassung sind lokalisiert.
WAS ES IST
Transformers is an open-source library maintained by Hugging Face, released in 2018, that loads, runs and trains pretrained models through a single interface. It began with Transformer architectures such as BERT and GPT and now spans text, vision, speech and multimodal models. It solves the problem of converging models of differing origins and implementations onto one API, reducing the cost of rewriting code when switching models.
Warum es wichtig ist
It turned "swap the model" from rewriting training and serving code into changing a model identifier — a key layer behind the broad reuse of open models.
Wichtige Eckdaten
- Frameworks
- PyTorch, TensorFlow, JAX
- Coverage
- Text, vision, speech and multimodal
Verwandte Konzepte
Transformer-Architektur
Statt Wort-für-Wort-Stafette ein Raum, in dem alle zugleich sprechen — und weite Abhängigkeiten sind nur einen Schritt entfernt
Vor- und Feintraining
Erst Sprache aus riesigem ungelabelten Text lernen, dann mit wenig Daten spezialisieren – das dateneffizienteste Paradigma der modernen KI
Vergleichbare Produkte
Diffusers
2022Einheitliche Umsetzung und Scheduler für Diffusionsmodelle
Datasets
2020Datensätze mit einer Zeile laden und streamen
LangChain
2022Modelle, Werkzeuge und Retrieval verketten
NeMo
2019Toolkit zum Trainieren und Anpassen großer Modelle