Saltearse al contenido
Nappai Documentation

NVIDIA

El componente NVIDIA permite a los usuarios generar texto con los modelos de lenguaje de NVIDIA directamente desde el dashboard de Nappai. Con una configuración mínima, puedes enviar una pregunta o un prompt y recibir una respuesta generada por un modelo potente como Mixtral o Llama3.

¿Cómo funciona?

Cuando activas el componente, Nappai envía tu solicitud a la API de NVIDIA a través de la librería langchain-nvidia-ai-endpoints. La petición incluye el prompt, la configuración del modelo (nombre, temperatura, número máximo de tokens, etc.) y la clave de API que has guardado en la sección de credenciales. La respuesta se devuelve como un mensaje de texto y el objeto del modelo se expone para que puedas usarlo en otras partes de tu flujo.

Entradas

Modo de Mapeo (Mapping Mode)

Este componente cuenta con un modo especial llamado “Mapping Mode” (Modo de Mapeo). Cuando activas este modo mediante el interruptor, se habilita una entrada adicional llamada “Mapping Data” y cada campo de entrada te ofrece tres formas diferentes de proporcionar datos:

  • Fixed (Fijo): Escribes el valor directamente en el campo.
  • Mapped (Mapeado): Conectas la salida de otro componente para usar su resultado como valor.
  • Javascript: Escribes código Javascript para calcular el valor dinámicamente.

Esta flexibilidad te permite crear flujos de trabajo más dinámicos y conectados.

Campos de Entrada

Los siguientes campos están disponibles para configurar este componente. Cada campo puede ser configurado de forma fija, mapeada o mediante Javascript cuando el modo de mapeo está activado.

  • NVIDIA Base URL: La URL base de la API de NVIDIA. Por defecto es https://integrate.api.nvidia.com/v1.
  • Input: El texto o prompt que quieres enviar al modelo.
  • Mapping Mode: Interruptor que habilita el modo de mapeo para procesar múltiples registros en lote.
  • Max Tokens: El número máximo de tokens que el modelo puede generar. Establece 0 para tokens ilimitados.
  • Model Name: El modelo de NVIDIA que quieres usar. Opciones disponibles:
    • mistralai/mixtral-8x7b-instruct-v0.1
    • meta/llama3-70b-instruct
    • mistralai/mistral-large
    • nvidia/nemotron-4-340b-instruct
  • Seed: El valor de semilla que controla la reproducibilidad del resultado.
  • Stream: Si quieres recibir la respuesta en tiempo real (solo funciona en modo chat).
  • System Message: Mensaje de sistema que se pasa al modelo para guiar su comportamiento.
  • Temperature: Controla la creatividad del modelo. Valores más bajos generan respuestas más determinísticas; valores más altos generan respuestas más variadas.

Nota sobre credenciales
Este componente requiere una credencial de tipo NVIDIA API.

  1. Configura primero la credencial en la sección de credenciales de Nappai.
  2. Luego selecciona esa credencial en el campo Credential del componente.
    Los campos relacionados con la credencial (como la clave API) no aparecen en la lista de entradas.

Salidas

  • Text: Mensaje de texto generado por el modelo (método text_response).
  • Model: Objeto del modelo de lenguaje (LanguageModel) que puede ser reutilizado en otros componentes.

Ejemplo de Uso

  1. Configura el componente

    • Model Name: mistralai/mixtral-8x7b-instruct-v0.1
    • Input: Hola, ¿qué planes tienes para el fin de semana?
    • Temperature: 0.2
    • Max Tokens: 50
    • Credential: Selecciona la credencial NVIDIA API que has creado.

  2. Ejecuta el flujo
    El componente enviará la pregunta al modelo y devolverá una respuesta como:

    Text: "¡Hola! Este fin de semana planeo relajarme con una buena película y quizás salir a caminar por el parque. ¿Y tú?"

  3. Usa la salida
    Puedes conectar la salida Text a un componente de visualización de texto o a otro LLM para continuar la conversación.

Componentes Relacionados

  • Chat – Permite crear conversaciones interactivas con LLMs.
  • LLM – Componente genérico para usar cualquier modelo de lenguaje.
  • Text Generation – Genera texto a partir de prompts sin necesidad de configuración avanzada.

Consejos y Mejores Prácticas

  • Elige el modelo adecuado: Los modelos más grandes ofrecen mayor calidad, pero consumen más recursos y pueden ser más caros.
  • Ajusta la temperatura: Para respuestas coherentes y precisas, usa valores bajos (0.1–0.3). Para creatividad, aumenta la temperatura.
  • Utiliza Mapping Mode: Si necesitas procesar listas de prompts, activa el modo de mapeo y conecta la entrada Input a una lista de datos.
  • Controla el número de tokens: Limita Max Tokens para evitar respuestas demasiado largas y costos innecesarios.
  • Reutiliza el objeto Model: Si vas a hacer varias llamadas, guarda el objeto Model y reutilízalo para evitar crear nuevas instancias.
  • Prueba con prompts cortos: Empieza con prompts breves para validar la configuración antes de usar textos largos.

Consideraciones de Seguridad

  • Protege tu clave API: Guarda la credencial NVIDIA API en el gestor de credenciales de Nappai y evita exponerla en el código o en archivos públicos.
  • Limita el acceso: Concede permisos de lectura a la credencial solo a los usuarios que realmente necesiten usar el componente.
  • Monitorea el uso: Revisa los logs y el consumo de tokens para detectar usos inesperados o abusivos.