Contextual Compression Retriever

El Contextual Compression Retriever es una herramienta que ayuda a encontrar la información más relevante dentro de grandes volúmenes de documentos. Al combinar un motor de búsqueda (el Base Retriever) con un algoritmo de compresión, el componente reduce la cantidad de datos que necesita procesar y devuelve solo los fragmentos más útiles para tu consulta.

¿Cómo funciona?

1. Búsqueda inicial – El Base Retriever busca documentos que contengan palabras clave de tu Search Query.
2. Compresión – Se aplica el Compressor seleccionado (LLMChainExtractor, LLMChainFilter, LLMListwiseRerank o EmbeddingsFilter).
   • Si eliges un LLM‑based compressor, el modelo de lenguaje analiza el contenido y extrae o filtra los fragmentos más relevantes.
   • Si eliges EmbeddingsFilter, el componente compara vectores de similitud y descarta los que están por debajo de un umbral de 0.4.
3. Resultado – Se devuelven los 10 documentos más relevantes (configurable con el parámetro k) listos para ser mostrados o procesados en tu flujo de trabajo.

No se requiere ninguna configuración de API externa; el componente utiliza el LLM y los embeddings que ya tengas disponibles en tu entorno Nappai.

Entradas

• Base Retriever
  El motor de búsqueda que se usará como base para la compresión y descompresión de documentos.
• Embedding
  El modelo de embeddings que se empleará cuando el Compressor sea EmbeddingsFilter.
• LLM
  El modelo de lenguaje que se usará cuando el Compressor sea uno de los basados en LLM.
• Compressor
  Tipo de compresión a aplicar. Puedes elegir entre:
  • LLMChainExtractor – Extrae los fragmentos más relevantes.
  • LLMChainFilter – Filtra los fragmentos menos relevantes.
  • LLMListwiseRerank – Reordena los resultados según relevancia.
  • EmbeddingsFilter – Filtra por similitud de embeddings.
• Search Query
  Texto de búsqueda que se enviará al Base Retriever.

Salidas

• Retriever – Un objeto Retriever listo para usar en otras partes de tu flujo de trabajo.
• Search Results – Lista de documentos (en formato Data) que coinciden con la consulta y han pasado por la compresión.

Ejemplo de Uso

1. Conecta un Base Retriever que apunte a tu base de datos de documentos internos.
2. Selecciona un Compressor: por ejemplo, LLMChainExtractor para extraer los fragmentos más relevantes.
3. Proporciona un LLM (por ejemplo, GPT‑4) y, si usas EmbeddingsFilter, un modelo de embeddings.
4. Introduce tu Search Query, por ejemplo:

   ¿Cuáles son los requisitos de seguridad para la migración a la nube?

5. Ejecuta el componente.
6. Revisa la salida Search Results: verás los 10 fragmentos más relevantes que puedes mostrar en tu dashboard o pasar a otro proceso.

Componentes Relacionados

• Retriever – Motor de búsqueda básico.
• LLM – Modelos de lenguaje que pueden extraer o filtrar información.
• Embeddings – Modelos que convierten texto en vectores numéricos para comparar similitud.
• LLMChainExtractor / LLMChainFilter / LLMListwiseRerank – Variantes de compresión basadas en LLM.
• EmbeddingsFilter – Compresión basada en similitud de embeddings.

Consejos y Mejores Prácticas

• Elige el compressor adecuado: Si tu LLM es potente, LLMChainExtractor suele dar resultados más precisos.
• Ajusta el umbral de similitud (para EmbeddingsFilter) si notas que se descartan demasiados documentos.
• Revisa los resultados antes de usar el Retriever en producción para asegurarte de que la compresión no elimina información crítica.
• Mantén actualizados tus modelos (LLM y embeddings) para aprovechar mejoras de rendimiento y precisión.

Consideraciones de Seguridad

• Protege tus datos sensibles: Asegúrate de que el Base Retriever y el LLM estén configurados con los permisos adecuados.
• Control de acceso: Limita quién puede ejecutar este componente en el dashboard para evitar exfiltración accidental de información.
• Auditoría: Registra las consultas y resultados para poder rastrear decisiones basadas en datos.