Embeddings de texto e busca semântica
Transformar frases em vetores e buscar os mais próximos por sentido
O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE ESTA CAPACIDADE SIGNIFICA
Encodes a piece of text into a fixed-length vector so that semantically similar texts sit close together, then retrieves related items by nearest-neighbour lookup. Output is a ranked result list (item ids and scores), not prose. Unlike question answering it only finds possibly relevant material; it does not compose the answer.
Como é feita tecnicamente
The mainstream design is a two-tower model: queries and documents are compressed by encoders, and training pushes true pairs above random negatives, typically with contrastive learning and large batches. At query time all document vectors are pre-computed into an index and an approximate nearest-neighbour search returns the top-k in milliseconds. Sparse and dense representations are often mixed to combine keyword hits with semantic recall.
Produtos representativos
6Pinecone
2019Banco vetorial gerenciado para busca por similaridade
Hugging Face Hub
2016O ponto de encontro de modelos e dados abertos
Transformers
2018Uma API para carregar e treinar modelos pré-treinados
Together API
2022Uma API de inferência para modelos abertos
Replicate
2019Rode modelos da comunidade via API
Perplexity
2022Responde enquanto pesquisa, com fontes em cada resposta
Organizações relacionadas
Usos típicos
- Search over enterprise documents and code
- The recall stage of RAG pipelines
- Deduplication, clustering and topic discovery
- Recommendation and similar-content entry points
Como avaliar se funciona bem
- Recall@k
- Whether the top-k contain all relevant documents
- nDCG
- Discounted cumulative gain that accounts for rank position
- MRR
- Mean reciprocal rank of the first relevant result
Limites e dificuldades
- Semantic similarity is not relevance: near neighbours may merely share wording
- Cross-domain or cross-lingual use degrades noticeably without adaptation
- Chunking long documents severs context, and answers at chunk boundaries are easily missed
Conceitos por trás
Embeddings de palavras
Transformar palavras em coordenadas: sinônimos se agrupam sozinhos e o significado passa a poder ser somado e subtraído
Vetores e espaços vetoriais
A IA transforma tudo — palavras, imagens, sons — em uma lista de números
Geração aumentada por recuperação
Em vez de espremer o conhecimento nos parâmetros, deixá-lo fora e consultá-lo sob demanda — como um exame com livro aberto