Text-Embeddings und semantische Suche
Sätze in Vektoren wandeln und die semantisch nächsten holen
Der vollständige Artikel liegt auf Englisch vor; Titel und Zusammenfassung sind lokalisiert.
WAS DIESE FÄHIGKEIT BEDEUTET
Encodes a piece of text into a fixed-length vector so that semantically similar texts sit close together, then retrieves related items by nearest-neighbour lookup. Output is a ranked result list (item ids and scores), not prose. Unlike question answering it only finds possibly relevant material; it does not compose the answer.
Wie sie technisch umgesetzt wird
The mainstream design is a two-tower model: queries and documents are compressed by encoders, and training pushes true pairs above random negatives, typically with contrastive learning and large batches. At query time all document vectors are pre-computed into an index and an approximate nearest-neighbour search returns the top-k in milliseconds. Sparse and dense representations are often mixed to combine keyword hits with semantic recall.
Repräsentative Produkte
6Pinecone
2019Verwaltete Vektordatenbank für Ähnlichkeitssuche
Hugging Face Hub
2016Die Sammelstelle für offene Modelle und Datensätze
Transformers
2018Eine API zum Laden und Trainieren vortrainierter Modelle
Together API
2022Eine Inferenz-API für offene Modelle
Replicate
2019Community-Modelle über eine API ausführen
Perplexity
2022Antwortet beim Suchen, jede Antwort mit Quellen belegt
Beteiligte Organisationen
Typische Verwendungen
- Search over enterprise documents and code
- The recall stage of RAG pipelines
- Deduplication, clustering and topic discovery
- Recommendation and similar-content entry points
Wie sie bewertet wird
- Recall@k
- Whether the top-k contain all relevant documents
- nDCG
- Discounted cumulative gain that accounts for rank position
- MRR
- Mean reciprocal rank of the first relevant result
Grenzen und schwierige Punkte
- Semantic similarity is not relevance: near neighbours may merely share wording
- Cross-domain or cross-lingual use degrades noticeably without adaptation
- Chunking long documents severs context, and answers at chunk boundaries are easily missed
Konzepte dahinter
Wort-Embeddings
Wörter werden zu Koordinaten: Synonyme rücken zusammen und Bedeutung lässt sich erstmals addieren
Vektoren und Vektorräume
KI verwandelt alles – Wörter, Bilder, Klänge – in eine Liste von Zahlen
Retrieval-Augmented Generation
Wissen nicht in die Parameter stopfen, sondern draußen halten und bei Bedarf nachschlagen – wie eine Open-Book-Prüfung