Saltearse al contenido
Nappai Documentation

Ollama Cloud

El componente Ollama Cloud permite a los usuarios generar texto de forma rápida y fiable utilizando los modelos Ollama Turbo alojados en la nube. Con una configuración mínima, puedes enviar tus preguntas o instrucciones y recibir respuestas en tiempo real, todo sin preocuparte por la infraestructura subyacente.

¿Cómo funciona?

Cuando activas el componente, Nappai envía una solicitud HTTP al endpoint de Ollama Cloud (por defecto https://ollama.com). La petición incluye los parámetros que configures (modelo, temperatura, tokens de parada, etc.) y la credencial que hayas guardado previamente. Ollama procesa la solicitud en sus servidores, genera el texto y devuelve la respuesta, que Nappai muestra en el flujo de trabajo. Si habilitas el modo de mapeo, el componente puede procesar varios registros a la vez, enviando cada uno como una solicitud separada y devolviendo los resultados en paralelo.

Entradas

Modo de Mapeo (Mapping Mode)

Este componente cuenta con un modo especial llamado “Mapping Mode” (Modo de Mapeo). Cuando activas este modo mediante el interruptor, se habilita una entrada adicional llamada “Mapping Data” y cada campo de entrada te ofrece tres formas diferentes de proporcionar datos:

  • Fixed (Fijo): Escribes el valor directamente en el campo.
  • Mapped (Mapeado): Conectas la salida de otro componente para usar su resultado como valor.
  • Javascript: Escribes código Javascript para calcular el valor dinámicamente.

Esta flexibilidad te permite crear flujos de trabajo más dinámicos y conectados.

Campos de Entrada

  • Base URL: Dirección del API de Ollama Cloud. Si no lo cambias, se usará https://ollama.com para el modo Turbo.
  • Credential: Selecciona la credencial guardada de Ollama Cloud que contiene tu API Key.
  • Format: Define el formato de la respuesta (por ejemplo, json).
  • Input: Texto o prompt que quieres que el modelo procese.
  • Mapping Mode: Activa el modo de mapeo para procesar varios registros en lote.
  • Metadata: Información adicional que se añadirá al registro de ejecución.
  • Mirostat: Habilita o deshabilita el muestreo Mirostat para controlar la perplexidad.
  • Mirostat Eta: Tasa de aprendizaje del algoritmo Mirostat (valor por defecto 0.1).
  • Mirostat Tau: Controla el equilibrio entre coherencia y diversidad del texto (valor por defecto 5.0).
  • Model Name: Selecciona el modelo Ollama Cloud que deseas usar. Puedes actualizar la lista con el botón de refrescar.
  • Context Window Size: Tamaño de la ventana de contexto para generar tokens (valor por defecto 2048).
  • Number of GPUs: Número de GPUs que se usarán para el cálculo (valor por defecto 1 en macOS, 0 para desactivar).
  • Number of Threads: Número de hilos que se usarán durante el cálculo (valor por defecto detectado automáticamente).
  • Repeat Last N: Cuánto retrocede el modelo para evitar repeticiones (valor por defecto 64, 0 = desactivado, -1 = num_ctx).
  • Repeat Penalty: Penalización por repeticiones en el texto generado (valor por defecto 1.1).
  • Stop Tokens: Lista separada por comas de tokens que indican al modelo que deje de generar texto.
  • Stream: Habilita la transmisión de la respuesta. Solo funciona en modo Chat.
  • System: Selecciona el sistema que se usará para generar texto.
  • System Message: Mensaje del sistema que se pasa al modelo.
  • Tags: Lista separada por comas de etiquetas que se añadirán al registro de ejecución.
  • Temperature: Controla la creatividad de las respuestas del modelo.
  • Template: Plantilla que se usará para generar texto.
  • TFS Z: Valor de muestreo libre de cola (valor por defecto 1).
  • Timeout: Tiempo máximo de espera para la respuesta del stream.
  • Top K: Limita la selección de tokens a los top K (valor por defecto 40).
  • Top P: Funciona junto con Top K (valor por defecto 0.9).
  • Verbose: Indica si se debe imprimir el texto de respuesta.

Nota sobre credenciales
Este componente necesita una credencial de tipo Ollama Cloud API.

  1. Ve a la sección de credenciales de Nappai y crea una nueva credencial llamada Ollama Cloud API.
  2. Ingresa tu Ollama Cloud API Key (puedes obtenerla en Ollama Cloud Console).
  3. En el campo Credential del componente, selecciona la credencial que acabas de crear.
    Los campos de la credencial (como la API Key) no aparecen en la lista de entradas.

Salidas

  • Text: Mensaje generado por el modelo (tipo Message, método text_response).
  • Model: Objeto que representa el modelo utilizado (tipo LanguageModel, método build_model).
    Estas salidas pueden conectarse a otros componentes, por ejemplo, para almacenar el texto en una base de datos o para pasar el modelo a un componente de análisis.

Ejemplo de Uso

  1. Configuración básica

    • Activa el componente Ollama Cloud.
    • Selecciona la credencial Ollama Cloud API.
    • Elige el modelo llama3.1 en Model Name.
    • En Input escribe: “¿Cuál es la capital de Francia?”.
    • Deja los demás parámetros con sus valores por defecto.
    • Ejecuta el flujo.
    • La salida Text mostrará “La capital de Francia es París.”.

  2. Modo de mapeo

    • Activa Mapping Mode.
    • Conecta una tabla de datos que contenga una columna question.
    • En Input selecciona el modo Mapped y elige la columna question.
    • El componente enviará cada pregunta a Ollama y devolverá una lista de respuestas en la salida Text.

Componentes Relacionados

  • ChatOllamaTurboBase: Base que provee la lógica común para los modelos Ollama Turbo.
  • Ollama Cloud API: Servicio externo que aloja los modelos y gestiona las peticiones.
  • Credential Manager: Sección donde se crean y gestionan las credenciales de acceso.

Consejos y Mejores Prácticas

  • Usa el modo de mapeo cuando necesites procesar grandes volúmenes de datos; evita enviar cada registro por separado.
  • Ajusta la temperatura: valores bajos (≈0.2) generan respuestas más precisas, mientras que valores altos (≈0.8) aportan creatividad.
  • Limita el número de tokens con Top K y Top P para controlar el coste y la velocidad.
  • Guarda las respuestas en un registro o base de datos para análisis posterior.
  • Revisa la política de uso de Ollama Cloud para evitar exceder los límites de tu plan.

Consideraciones de Seguridad

  • La API Key se almacena de forma segura en el gestor de credenciales de Nappai; no aparece en la interfaz de usuario del componente.
  • Asegúrate de que solo usuarios autorizados tengan acceso a la credencial Ollama Cloud API.
  • Si compartes flujos que usan este componente, verifica que la credencial no se exponer accidentalmente en los logs.
  • Utiliza la opción Metadata para añadir información de auditoría, como el usuario que disparó la ejecución.