NLP und große Sprachmodelle
Von der Tokenisierung über Transformer zu sprechenden Modellen
OVERVIEW
- Alle Einträge
- 6
- Anfänger
- 2
- Fortgeschritten
- 3
- Experte
- 1
Language is cut into tokens, compressed into vectors, and then made to “look at” itself through attention — a loop so plain it seems excessive, yet it lifted next-token prediction all the way to a general assistant. This domain traces that path in order: bag of words, embeddings, RNNs, attention, Transformers, pre-training and alignment.
Fragen, die dieser Bereich beantwortet
- Q1
What exactly does a model see when it reads a word?
- Q2
Why does attention beat recurrence?
- Q3
Why does next-token prediction yield conversation?
Einträge dieses Bereichs
- 01TokenisierungAnfängerModelle lesen keine Zeichen, sondern Tokens – und die Zerlegung bestimmt still Fähigkeit wie Kosten
- 02Wort-EmbeddingsAnfängerWörter werden zu Koordinaten: Synonyme rücken zusammen und Bedeutung lässt sich erstmals addieren
- 03Attention-MechanismusFortgeschrittenJede Position kann direkt auf alle anderen blicken und ihre Aufmerksamkeit nach Relevanz verteilen
- 04Transformer-ArchitekturFortgeschrittenStatt Wort-für-Wort-Stafette ein Raum, in dem alle zugleich sprechen — und weite Abhängigkeiten sind nur einen Schritt entfernt
- 05Vor- und FeintrainingFortgeschrittenErst Sprache aus riesigem ungelabelten Text lernen, dann mit wenig Daten spezialisieren – das dateneffizienteste Paradigma der modernen KI
- 06Prompt-Engineering und AlignmentExperteEin Modell hilfreich, ehrlich und harmlos zu machen ist schwieriger, als es einfach größer zu machen