Saltearse al contenido
Nappai Documentation

LiteLLM

LiteLLM es un componente que te permite integrar modelos de lenguaje de diferentes proveedores (OpenAI, Azure, Anthropic, Replicate, Cohere, OpenRouter) directamente en tu dashboard de Nappai. Con una configuración mínima, puedes enviar mensajes y recibir respuestas generadas por IA, lo que facilita la automatización de tareas que requieren comprensión y generación de texto.

¿Cómo funciona?

El componente utiliza la librería litellm para comunicarse con la API del proveedor seleccionado. Cuando lo configuras, debes indicar:

  1. El nombre del modelo (por ejemplo, gpt-3.5-turbo).
  2. La clave API y el proveedor correspondiente.
  3. Parámetros opcionales como temperatura, top‑p, top‑k, número de respuestas (n), máximo de tokens, etc.

Cuando envías un mensaje, LiteLLM construye la solicitud con esos parámetros y la envía al servicio del proveedor. La respuesta se devuelve como texto y también se expone el objeto del modelo para que puedas reutilizarlo en otras partes de tu flujo.

Entradas

Campos de Entrada

  • Input: El mensaje que quieres enviar al modelo.
  • Model name: El nombre del modelo que usarás. Por ejemplo, gpt-3.5-turbo.
  • API key: La clave de acceso al servicio del proveedor.
  • Provider: El proveedor que gestiona la clave API (OpenAI, Azure, Anthropic, Replicate, Cohere, OpenRouter).
  • Temperature: Controla la aleatoriedad de las respuestas. Un valor bajo hace que el modelo sea más determinista.
  • Model kwargs: Parámetros adicionales que el modelo puede aceptar, pasados como un diccionario.
  • Top p: Filtra la distribución de probabilidad para generar respuestas más coherentes.
  • Top k: Limita el número de tokens considerados en cada paso de generación.
  • N: Número de completaciones que quieres generar para cada mensaje.
  • Max tokens: Máximo de tokens que el modelo puede devolver en una respuesta.
  • Max retries: Número de intentos que se harán en caso de fallos de la API.
  • Verbose: Activa mensajes de depuración para ver el proceso interno.
  • Stream: Si se activa, la respuesta se enviará en tiempo real a medida que se genera.
  • System Message: Mensaje de contexto que se pasa al modelo para guiar su comportamiento.

Salidas

  • Text: El texto generado por el modelo en respuesta al mensaje enviado.
  • Model: El objeto del modelo configurado, que puede reutilizarse en otros componentes o flujos.

Ejemplo de Uso

Supongamos que quieres crear un asistente que genere resúmenes de documentos. En tu dashboard:

  1. Arrastra el componente LiteLLM al lienzo.
  2. Conecta la salida de un componente que extraiga el texto del documento a la entrada Input.
  3. Configura:
    • Model name: gpt-3.5-turbo
    • Provider: OpenAI
    • API key: tu clave de OpenAI
    • Temperature: 0.5 (para respuestas más coherentes)
    • Max tokens: 150 (para un resumen breve)
  4. Conecta la salida Text a un componente que muestre el resumen en la interfaz de usuario.

Al ejecutar el flujo, LiteLLM enviará el texto del documento al modelo, recibirá el resumen y lo mostrará en tu dashboard.

Componentes Relacionados

  • ChatGPT – Interfaz simplificada para el modelo GPT de OpenAI.
  • OpenAI API – Conexión directa a la API de OpenAI sin usar litellm.
  • Anthropic Claude – Modelo de lenguaje de Anthropic, útil para tareas de generación segura.
  • Cohere – Proveedor alternativo con modelos de lenguaje de alta calidad.

Consejos y Mejores Prácticas

  • Usa claves API seguras: Guarda tus claves en el gestor de secretos de Nappai para evitar exponerlas.
  • Controla la temperatura: Valores bajos (0.2‑0.4) generan respuestas más precisas; valores altos (0.7‑1.0) aportan creatividad.
  • Limita max_tokens: Evita respuestas demasiado largas que consuman recursos innecesariamente.
  • Activa stream cuando necesites respuestas en tiempo real, por ejemplo, en chats interactivos.
  • Prueba con n=1 en producción; usar varios completados solo cuando necesites comparar alternativas.

Consideraciones de Seguridad

  • Protege tus claves API: Nunca las incluyas en código fuente público.
  • Revisa los límites de uso de cada proveedor para evitar cargos inesperados.
  • Valida la salida: Si el modelo genera contenido sensible, considera filtros de contenido antes de mostrarlo al usuario.
  • Registra las llamadas: Mantén un log de las solicitudes y respuestas para auditoría y depuración.

Con LiteLLM, puedes integrar potentes modelos de lenguaje en tus flujos de trabajo de Nappai de forma sencilla y segura. ¡Empieza a automatizar tareas que antes requerían intervención humana!