NVIDIA
NVIDIA conecta tus flujos con los modelos de IA que ofrece NVIDIA en su servicio. Puedes usarlo de dos formas: como el modelo de un agente, conectando su salida Model a la entrada Model del agente, o por sí solo, para que responda al texto que le llega por Input.
Cuándo usarlo
- Dar a un agente el modelo con el que entiende las peticiones, decide qué herramientas usar y responde.
- Redactar, resumir o clasificar textos dentro de un flujo, sin necesidad de un agente.
- Procesar una lista de textos uno a uno, por ejemplo todas las reseñas de un mes, con Batch Mode.
- Usar modelos abiertos sin tener que instalarlos.
Configuración
En la pestaña Comun:
| Campo | Qué hace |
|---|---|
| Model Name | El modelo que responde. Elígelo en la lista. Por defecto: mistralai/mixtral-8x7b-instruct-v0.1. |
| NVIDIA Base URL | La dirección del servicio de NVIDIA. El botón de actualizar junto al campo carga en Model Name todos los modelos disponibles. |
| Temperature | Cuánta variedad tienen las respuestas: con valores bajos son más estables y previsibles; con valores altos, más creativas. Por defecto: 0.1. |
| Credential (obligatorio) | La credencial del servicio NVIDIA API. Elige una en la lista (Seleccionar una credencial) o crea otra con Crear nueva credencial. Consulta Credenciales. |
| Conexión | Qué conectar |
|---|---|
| Input | El texto al que debe responder el modelo cuando trabaja solo, por ejemplo el mensaje de un Chat Input o el resultado de un Prompt. |
Opciones avanzadas
En la pestaña Avanzado:
| Campo | Qué hace |
|---|---|
| System Message | Instrucciones generales para el modelo cuando trabaja solo: su papel, el tono, lo que debe evitar. Puedes escribirlas o conectarlas desde otro componente. |
| Stream | Muestra la respuesta en el chat a medida que se escribe, en lugar de esperar a que termine. Solo tiene efecto en el chat. Por defecto: desactivado. |
| Max Tokens | La longitud máxima de la respuesta, en tokens (fragmentos de palabra). Con 0 o vacío no se fija un límite propio. |
| Seed | Un número fijo que ayuda a obtener respuestas parecidas cuando repites la misma petición. Por defecto: 1. |
Procesamiento por lotes
Con el interruptor Batch Mode activado, el componente se ejecuta una vez por cada elemento de la lista que conectes en Batch Input y devuelve todos los resultados juntos en una lista. Parallel Executions indica cuántos elementos se procesan a la vez (de 1 a 5). Skip if Empty Batch Input salta el componente si la lista llega vacía, y Skip Branch if Empty Output detiene los componentes siguientes si el resultado está vacío. Más información en Conceptos clave.
Resultado
| Salida | Qué contiene |
|---|---|
| Model | El modelo ya configurado. Aparece en la parte superior del componente. Conéctalo a la entrada Model de un agente o de cualquier otro componente que pida un modelo. |
| Text | La respuesta del modelo al texto recibido en Input. Conéctala, por ejemplo, a un Chat Output o a otro componente que trabaje con texto. |
Las dos formas de uso se excluyen: cuando conectas la salida Model, el componente oculta Input y Text, porque el modelo pasa a trabajar dentro del otro componente; y si conectas Input, se oculta Model.
Ejemplo
La empresa de logística Transportes Ebro quiere redactar avisos de retraso a partir de los datos de cada envío. Conecta un Prompt a la entrada Input de NVIDIA, elige la credencial y un modelo, y envía la salida Text al paso que manda el aviso.
Buenas prácticas
- Usa una Temperature baja cuando necesites respuestas exactas, como clasificar o extraer datos, y súbela para textos más creativos.
- Si vas a usar el modelo con un agente, configura aquí solo el modelo: las instrucciones y las herramientas se definen en el agente.