Plongements de texte et recherche sémantique
Transformer les phrases en vecteurs et récupérer les plus proches par sens
Le texte intégral est présenté en anglais ; le titre et le résumé sont localisés.
CE QUE DÉSIGNE CETTE CAPACITÉ
Encodes a piece of text into a fixed-length vector so that semantically similar texts sit close together, then retrieves related items by nearest-neighbour lookup. Output is a ranked result list (item ids and scores), not prose. Unlike question answering it only finds possibly relevant material; it does not compose the answer.
Comment c'est fait
The mainstream design is a two-tower model: queries and documents are compressed by encoders, and training pushes true pairs above random negatives, typically with contrastive learning and large batches. At query time all document vectors are pre-computed into an index and an approximate nearest-neighbour search returns the top-k in milliseconds. Sparse and dense representations are often mixed to combine keyword hits with semantic recall.
Produits représentatifs
6Pinecone
2019Base vectorielle managée pour la recherche de similarité
Hugging Face Hub
2016Le carrefour des modèles et jeux de données ouverts
Transformers
2018Une API pour charger et entraîner des modèles pré-entraînés
Together API
2022Une API d’inférence pour les modèles ouverts
Replicate
2019Exécuter des modèles de la communauté via une API
Perplexity
2022Répond en cherchant, chaque réponse appuyée par des sources
Organisations concernées
Usages typiques
- Search over enterprise documents and code
- The recall stage of RAG pipelines
- Deduplication, clustering and topic discovery
- Recommendation and similar-content entry points
Comment on l'évalue
- Recall@k
- Whether the top-k contain all relevant documents
- nDCG
- Discounted cumulative gain that accounts for rank position
- MRR
- Mean reciprocal rank of the first relevant result
Limites et points difficiles
- Semantic similarity is not relevance: near neighbours may merely share wording
- Cross-domain or cross-lingual use degrades noticeably without adaptation
- Chunking long documents severs context, and answers at chunk boundaries are easily missed
Concepts sous-jacents
Plongements de mots
Transformer les mots en coordonnées : les synonymes se rapprochent et le sens devient une grandeur que l’on peut additionner
Vecteurs et espaces vectoriels
L’IA transforme tout — mots, images, sons, utilisateurs — en une liste de nombres
Génération augmentée par récupération
Plutôt que de fourrer le savoir dans les paramètres, le laisser dehors et le consulter à la demande — comme un examen à livre ouvert