Saltearse al contenido
Nappai Documentation

NVIDIA Rerank

El componente NVIDIA Rerank permite mejorar la relevancia de los resultados de búsqueda. Conecta tu recuperador existente (por ejemplo, uno que extrae documentos de una base de datos) con la API de NVIDIA para reordenar esos documentos según su pertinencia con la consulta que introduzcas.

¿Cómo funciona?

  1. Conexión con NVIDIA
    El componente crea una instancia de NVIDIARerank (del paquete langchain_nvidia_ai_endpoints) usando la API Key y la Base URL que proporciones.

    • La Base URL por defecto es https://integrate.api.nvidia.com/v1, pero puedes cambiarla si tu entorno usa un endpoint diferente.
    • El Model seleccionado (por defecto nv-rerank-qa-mistral-4b:1) indica qué modelo de NVIDIA se usará para el reordenamiento.

  2. Envoltorio del recuperador
    Se envuelve tu recuperador original dentro de un ContextualCompressionRetriever.

    • El recuperador base (el que conectas en el campo Retriever) devuelve una lista de documentos.
    • ContextualCompressionRetriever pasa esos documentos a la API de NVIDIA, que devuelve una puntuación de relevancia para cada uno.
    • Finalmente, los documentos se reordenan según esas puntuaciones y se devuelven al flujo de trabajo.

  3. Búsqueda
    Cuando ejecutas la operación Search Documents, el componente envía la Search Query a la API de NVIDIA, obtiene los documentos reordenados y los devuelve como una lista de objetos Data.

Entradas

  • Retriever
    Conecta la salida de un componente que devuelve documentos (por ejemplo, un vector store). Este será el punto de partida para el reordenamiento.

  • API Key
    La clave secreta que te permite acceder a la API de NVIDIA. Mantén esta información segura y no la compartas públicamente.

  • Base URL
    La dirección base del endpoint de NVIDIA. Por defecto es https://integrate.api.nvidia.com/v1. Si tu organización usa un endpoint personalizado, cámbialo aquí.

  • Model
    Selecciona el modelo de NVIDIA que se usará para el reordenamiento. El valor por defecto es nv-rerank-qa-mistral-4b:1.

  • Search Query
    La consulta de búsqueda que quieres usar para filtrar y reordenar los documentos. Puedes escribir una frase larga o una pregunta específica.

Salidas

  • Retriever
    Devuelve un objeto Retriever que ya incluye la lógica de reordenamiento. Puedes usarlo en pasos posteriores del flujo para obtener resultados ya optimizados.

  • Search Results
    Devuelve una lista de objetos Data con los documentos reordenados según la relevancia calculada por NVIDIA. Cada elemento contiene el contenido del documento y metadatos adicionales.

Ejemplo de Uso

  1. Conecta tu vector store
    Arrastra el componente Vector Store (por ejemplo, Pinecone) y conéctalo al campo Retriever del NVIDIA Rerank.

  2. Configura la API

    • Ingresa tu API Key de NVIDIA.
    • Deja la Base URL en su valor por defecto o cámbiala si usas un endpoint privado.
    • Selecciona el modelo nv-rerank-qa-mistral-4b:1.

  3. Define la consulta
    En el campo Search Query escribe:

    ¿Cuáles son los últimos avances en IA generativa?

  4. Ejecuta
    Haz clic en “Run” y espera a que el componente devuelva los resultados reordenados.

    • La salida Search Results mostrará los documentos más relevantes en la parte superior.
    • La salida Retriever puede usarse en pasos posteriores para continuar la búsqueda o para generar resúmenes.

Componentes Relacionados

  • ContextualCompressionRetriever – El mecanismo interno que envuelve tu recuperador y llama a la API de NVIDIA.
  • Vector Store – Fuente de documentos que puedes conectar como Retriever.
  • Retriever – Tipo de dato que representa cualquier componente que devuelve documentos.

Consejos y Mejores Prácticas

  • Mantén tu API Key segura: Usa el campo API Key y evita exponerla en el código fuente.
  • Limita la longitud de la consulta: Las APIs de NVIDIA suelen tener límites de caracteres; revisa la documentación oficial.
  • Prueba con diferentes modelos: Si el modelo por defecto no satisface tus necesidades, explora otros disponibles en la lista desplegable.
  • Revisa los costos: Cada llamada a la API consume créditos; monitorea tu uso para evitar sorpresas en la factura.
  • Combina con filtros locales: Si tu vector store ya aplica filtros, el reordenamiento de NVIDIA añadirá un nivel extra de relevancia.

Consideraciones de Seguridad

  • Clave secreta: El campo API Key debe manejarse como una variable secreta. No lo incluyas en archivos de configuración públicos.
  • Conexión HTTPS: La Base URL utiliza HTTPS, lo que garantiza que la comunicación con NVIDIA esté cifrada.
  • Control de acceso: Asegúrate de que solo usuarios autorizados puedan ejecutar este componente, ya que involucra llamadas externas y consumo de recursos.