O que são embeddings e busca semântica?
Publicado em
Embeddings são representações numéricas de conteúdos. Sistemas de busca podem comparar essas representações para encontrar textos relacionados pelo significado, em vez de depender exclusivamente das mesmas palavras.
Exemplo ilustrativo:
A pergunta “Como recuperar minha senha?” pode localizar um documento chamado “Redefinição de acesso à conta”.
Onde entra o chunking?
Chunking é a divisão de documentos em trechos menores. Em sistemas de recuperação, esses trechos podem ser usados como unidades de busca e como contexto para a resposta.
Qual problema observar?
Uma divisão mal planejada pode separar uma regra da sua exceção. O sistema recupera a primeira parte e deixa de apresentar uma condição importante.
Como avaliar?
Teste perguntas cuja resposta depende de uma exceção, uma tabela ou mais de uma seção. Confira se o sistema encontra todas as informações necessárias.