Текстовые эмбеддинги и семантический поиск
Превратить фразы в векторы и найти ближайшие по смыслу
Полный текст статьи представлен на английском; заголовок и аннотация локализованы.
ЧТО ЭТО ЗА ВОЗМОЖНОСТЬ
Encodes a piece of text into a fixed-length vector so that semantically similar texts sit close together, then retrieves related items by nearest-neighbour lookup. Output is a ranked result list (item ids and scores), not prose. Unlike question answering it only finds possibly relevant material; it does not compose the answer.
Как это устроено
The mainstream design is a two-tower model: queries and documents are compressed by encoders, and training pushes true pairs above random negatives, typically with contrastive learning and large batches. At query time all document vectors are pre-computed into an index and an approximate nearest-neighbour search returns the top-k in milliseconds. Sparse and dense representations are often mixed to combine keyword hits with semantic recall.
Примеры продуктов
6Pinecone
2019Управляемая векторная БД для поиска по сходству
Hugging Face Hub
2016Открытый узел моделей и наборов данных
Transformers
2018Единый API для загрузки и обучения готовых моделей
Together API
2022API вывода для открытых моделей
Replicate
2019Запуск моделей сообщества через API
Perplexity
2022Отвечает по ходу поиска, каждое утверждение со ссылкой
Связанные организации
Типичное применение
- Search over enterprise documents and code
- The recall stage of RAG pipelines
- Deduplication, clustering and topic discovery
- Recommendation and similar-content entry points
Как её оценивают
- Recall@k
- Whether the top-k contain all relevant documents
- nDCG
- Discounted cumulative gain that accounts for rank position
- MRR
- Mean reciprocal rank of the first relevant result
Границы и трудности
- Semantic similarity is not relevance: near neighbours may merely share wording
- Cross-domain or cross-lingual use degrades noticeably without adaptation
- Chunking long documents severs context, and answers at chunk boundaries are easily missed
Концепции в основе
Векторные представления слов
Превращение слов в координаты: синонимы сами собираются вместе, и смыслом впервые можно складывать и вычитать
Векторы и векторные пространства
ИИ превращает всё — слова, изображения, звуки — в список чисел
Генерация с дополнением из поиска
Вместо того чтобы втискивать знания в параметры, держать их снаружи и обращаться по мере надобности — как экзамен с открытой книгой