Ollama
Ollama conecta tus flujos con los modelos que tienes instalados en tu propio servidor de Ollama. Puedes usarlo de dos formas: como el modelo de un agente, conectando su salida Model a la entrada Model del agente, o por sí solo, para que responda al texto que le llega por Input.
Cuándo usarlo
- Dar a un agente el modelo con el que entiende las peticiones, decide qué herramientas usar y responde.
- Redactar, resumir o clasificar textos dentro de un flujo, sin necesidad de un agente.
- Trabajar con modelos que tu empresa ejecuta en sus propios equipos.
- Procesar una lista de textos uno a uno con Batch Mode.
Configuración
En la pestaña Comun:
| Campo | Qué hace |
|---|---|
| Base URL | La dirección de tu servidor de Ollama. NappAI tiene que poder llegar a ella. |
| Model Name | El modelo que responde. Después de escribir la dirección del servidor, pulsa el botón de actualizar junto al campo para cargar los modelos que tiene instalados. |
| Temperature | Cuánta variedad tienen las respuestas: con valores bajos son más estables y previsibles; con valores altos, más creativas. Por defecto: 0.2. |
| Verbose | No cambia la respuesta; puedes dejarlo desactivado. Por defecto: desactivado. |
| Conexión | Qué conectar |
|---|---|
| Input | El texto al que debe responder el modelo cuando trabaja solo, por ejemplo el mensaje de un Chat Input o el resultado de un Prompt. |
Opciones avanzadas
En la pestaña Avanzado:
| Campo | Qué hace |
|---|---|
| System Message | Instrucciones generales para el modelo cuando trabaja solo: su papel, el tono, lo que debe evitar. Puedes escribirlas o conectarlas desde otro componente. |
| Stream | Muestra la respuesta en el chat a medida que se escribe, en lugar de esperar a que termine. Solo tiene efecto en el chat. Por defecto: desactivado. |
| Reasoning | Cuánto piensa el modelo antes de responder, en los modelos que piensan. Default respeta el comportamiento del modelo; off y on lo desactivan o lo activan; low, medium y high fijan cuánto piensa. Por defecto: Default. |
| Format | Escribe json para que la respuesta llegue como datos estructurados. |
| Context Window Size | Cuánto texto puede tener en cuenta el modelo a la vez, en tokens. |
| Top K y Top P | Otras formas de controlar la variedad de la respuesta. Normalmente basta con Temperature. |
| Repeat Penalty | Cuánto se penalizan las repeticiones en la respuesta. |
| Stop Tokens | Palabras o signos, separados por comas, en los que el modelo deja de escribir. |
| Timeout | Cuánto tiempo se espera la respuesta del servidor. |
| Otras opciones | Mirostat, Mirostat Eta, Mirostat Tau, Number of GPUs, Number of Threads, Repeat Last N, TFS Z, Min p, Metadata, Tags, System, Template: ajustes finos para usuarios avanzados. Déjalos con su valor si no los necesitas. |
Procesamiento por lotes
Con el interruptor Batch Mode activado, el componente se ejecuta una vez por cada elemento de la lista que conectes en Batch Input y devuelve todos los resultados juntos en una lista. Parallel Executions indica cuántos elementos se procesan a la vez (de 1 a 5). Skip if Empty Batch Input salta el componente si la lista llega vacía, y Skip Branch if Empty Output detiene los componentes siguientes si el resultado está vacío. Más información en Conceptos clave.
Resultado
| Salida | Qué contiene |
|---|---|
| Model | El modelo ya configurado. Aparece en la parte superior del componente. Conéctalo a la entrada Model de un agente o de cualquier otro componente que pida un modelo. |
| Text | La respuesta del modelo al texto recibido en Input. Conéctala, por ejemplo, a un Chat Output o a otro componente que trabaje con texto. |
Las dos formas de uso se excluyen: cuando conectas la salida Model, el componente oculta Input y Text, porque el modelo pasa a trabajar dentro del otro componente; y si conectas Input, se oculta Model.
Ejemplo
La gestoría Fiscal Sur tiene un servidor de Ollama en su oficina para que los datos de sus clientes no salgan de ella. Escribe su dirección en Base URL, actualiza la lista de Model Name y elige un modelo. Después conecta la salida Model a un agente que clasifica la documentación que llega.
Buenas prácticas
- Usa una Temperature baja cuando necesites respuestas exactas, como clasificar o extraer datos, y súbela para textos más creativos.
- Si vas a usar el modelo con un agente, configura aquí solo el modelo: las instrucciones y las herramientas se definen en el agente.