Alle Einträge

Vektoren und Vektorräume

KI verwandelt alles – Wörter, Bilder, Klänge – in eine Liste von Zahlen

Gradient und Gradientenabstieg

Alles Deep Learning läuft auf eines hinaus: einen kleinen Schritt bergab

Matrixoperationen und lineare Abbildungen

Matrixmultiplikation ist keine Kette von Mal-und-Plus: Sie schreibt einen ganzen Raum in einem Zug um

Wahrscheinlichkeit und Verteilungen

Ein Modell liefert keine Antwort, sondern einen Überzeugungsgrad für jede mögliche Antwort

Satz von Bayes

Etwas glauben, die Evidenz sehen, ein wenig korrigieren – das ist Bayes

Entropie und Informationstheorie

Je überraschender ein Satz, desto mehr Information trägt er – und die Verlustfunktion eines Sprachmodells misst genau diese Überraschung

Überwachtes Lernen

Paare aus Frage und Antwort lehren das Modell, selbst zu antworten

Unüberwachtes Lernen

Ohne Antworten muss die Struktur aus den Daten selbst hervorgehen – und „gut“ muss neu definiert werden

Verlustfunktionen

Eine Verlustfunktion legt fest, was bestraft wird – tauscht man sie, tauscht man das ganze Verständnis von richtig und falsch

Überanpassung und Regularisierung

Das Modell lernt die Trainingsdaten auswendig und scheitert an allem Neuen

Modellbewertung und Kreuzvalidierung

Genauigkeit ist die täuschendste Metrik – falsch ausgewertet, bricht alles Weitere zusammen

Bias-Varianz-Zerlegung

Jeder Vorhersagefehler zerfällt in drei Teile: ein zu einfaches Modell, ein zu sprunghaftes Modell und die Zufälligkeit der Welt selbst

Neuron und Perzeptron

Das kleinste Teil eines neuronalen Netzes: eine gewichtete Summe, ein Bias und ein Hauch Nichtlinearität

Backpropagation

„Den Gradienten berechnen“ von mathematischer Schwerarbeit zu einem einzigen Funktionsaufruf machen – der Moment, in dem Deep Learning abhob

Aktivierungsfunktionen

Ohne sie ist selbst das tiefste Netz nur eine einzige lineare Abbildung

Faltungsnetze

Vollverbindungen durch „lokal schauen, überall denselben Filter wiederverwenden“ ersetzen – die Idee, die Bilderkennung erst brauchbar machte

Rekurrente Netze

Dem Netz ein Gedächtnis geben: dieselbe Einheit über die Zeit wiederverwenden, um Sequenzen beliebiger Länge zu verarbeiten

Normalisierung und Residualverbindungen

Ein Netz mit hundert Schichten wirklich trainierbar machen: ein Identitäts-Kurzweg plus eine Neuskalierung pro Schicht

Tokenisierung

Modelle lesen keine Zeichen, sondern Tokens – und die Zerlegung bestimmt still Fähigkeit wie Kosten

Wort-Embeddings

Wörter werden zu Koordinaten: Synonyme rücken zusammen und Bedeutung lässt sich erstmals addieren

Attention-Mechanismus

Jede Position kann direkt auf alle anderen blicken und ihre Aufmerksamkeit nach Relevanz verteilen

Transformer-Architektur

Statt Wort-für-Wort-Stafette ein Raum, in dem alle zugleich sprechen — und weite Abhängigkeiten sind nur einen Schritt entfernt

Vor- und Feintraining

Erst Sprache aus riesigem ungelabelten Text lernen, dann mit wenig Daten spezialisieren – das dateneffizienteste Paradigma der modernen KI

Prompt-Engineering und Alignment

Ein Modell hilfreich, ehrlich und harmlos zu machen ist schwieriger, als es einfach größer zu machen

Digitale Bilddarstellung

Für eine Maschine ist ein Foto nichts als gestapelte Zahlenraster

Faltungsoperationen

Eine kleine Schablone über das Bild geführt findet Kanten, Texturen und Formen

Bildklassifikation

Sag ihm nicht „Katzen haben Schnurrhaare“ – zeig ihm genug Katzen, er erkennt es selbst

Objekterkennung

Von „was ist im Bild“ zu „was, wo und wie viele“

Semantische Segmentierung

Jedes Pixel einfärben: kein Rahmen, sondern ein Malbuch

Selbstüberwachtes Sehen und kontrastives multimodales Lernen

Keine Labels nötig: Sehen lernen, indem es erkennt, welche Bilder gleich sind

Markov-Entscheidungsprozess

„Schritt für Schritt entscheiden" in fünf Symbolen – hier beginnt alles im bestärkenden Lernen

Wertfunktionen und Q-Learning

Statt zu raten, was zu tun ist, schätze zuerst, was jede Option wert ist

Policy-Gradienten

Passe die Politik direkt an, damit gute Aktionen häufiger auftreten

Exploration und Ausbeutung

Die beste Option im Moment ist nicht zwingend die beste auf lange Sicht

Deep Reinforcement Learning

Lass ein neuronales Netz direkt aus Pixeln entscheiden – und halte es mit alten Kniffen stabil

Bestärkendes Lernen aus menschlichem Feedback

Wenn die „gute Antwort" keine Formel hat, übernehmen Menschen die Rolle der Belohnungsfunktion

Generative Modelle im Überblick

Diskriminative Modelle beantworten "Was ist das?", generative "Wie sollte das aussehen?"

Autoencoder und VAE

Information durch einen Engpass pressen und daraus wieder entstehen lassen

Generative Adversarial Networks

Ein Fälscher gegen einen Prüfer: jeder treibt den anderen an seine Grenze

Diffusionsmodelle

Lerne tausend kleine Entrauschungsschritte, und du erzeugst ein Bild aus reinem Rauschen

Latente Diffusion und konditionale Steuerung

Diffusion nicht über Pixel, sondern in einem komprimierten semantischen Raum

Multimodale Generierung

Ein Modell, das sprechen, zeichnen, sich bewegen — und sogar die 3D-Welt modellieren lernt

Infrastruktur für Training und Inferenz

Der Speicher bestimmt, wie groß ein Modell sein darf, die Kommunikation, wie lange das Training dauert

Modellkompression

Ein Modell kleiner, schneller und günstiger machen, ohne Genauigkeit zu verlieren – aber meist nur zwei von drei zugleich

Inferenz-Optimierung und Serving

Training passiert einmal, Inferenz milliardenfach am Tag – und erstes Token und Durchsatz stehen oft im Konflikt

Retrieval-Augmented Generation

Wissen nicht in die Parameter stopfen, sondern draußen halten und bei Bedarf nachschlagen – wie eine Open-Book-Prüfung

Agenten und Werkzeugnutzung

Ein Modell soll nicht nur antworten, sondern suchen, APIs aufrufen, Code ausführen – und anhand des Ergebnisses den nächsten Schritt wählen

Sicherheit, Alignment und Prompt-Injection

Ein Modell optimiert den Proxy in der Verlustfunktion, nie das eigentlich Gewollte – die Lücke dazwischen ist das ganze Alignment-Problem