Data batch Agent

El Data batch Agent es una herramienta que te permite procesar grandes volúmenes de datos de forma automática y eficiente. Con él, puedes dividir tus datos en lotes, enviarlos a un agente de trabajo para que los procese y luego recoger los resultados en un solo flujo de salida.

¿Cómo funciona?

El componente recibe un conjunto de datos y los divide en bloques (batches). Cada bloque se envía a un Worker Agent que realiza la tarea específica que tú hayas configurado (por ejemplo, transformar, enriquecer o validar la información). El proceso se ejecuta de forma concurrente, lo que significa que varios bloques pueden ser procesados al mismo tiempo, lo que acelera el trabajo.
Al finalizar, el Data batch Agent reúne los resultados de todos los bloques y los devuelve como un único conjunto de datos. Puedes elegir si quieres que la salida sea un JSON plano o con una estructura anidada, y también puedes decidir si quieres que el JSON se aplique a cada registro individualmente.

Entradas

Campos de Entrada

Worker Agent: El agente que realizará la tarea de procesamiento en cada lote.
Data: Los datos que quieres procesar. Pueden ser una tabla, un archivo CSV, JSON, etc.
JSON Flatten: Si se activa, el resultado se transformará en un JSON plano, eliminando estructuras anidadas.
JSON Mode: Si se activa, la salida será un JSON en lugar de un formato de tabla.
Max Concurrency: El número máximo de lotes que se procesarán al mismo tiempo.
Output key name: El nombre de la clave que se usará para almacenar la salida en el flujo de datos.
prompt: Texto de entrada que puede usarse para personalizar la tarea del Worker Agent (por ejemplo, una instrucción de IA).

Salidas

Data: El conjunto de datos resultante después de que cada lote haya sido procesado por el Worker Agent. Este resultado puede ser una tabla, un JSON plano o un JSON estructurado, según las opciones seleccionadas.

Ejemplo de Uso

Supongamos que tienes una lista de clientes en un archivo CSV y quieres añadirles la información de su historial de compras usando un Worker Agent que consulta una base de datos externa.

Carga el archivo CSV en el campo Data.
Selecciona el Worker Agent que realiza la consulta de historial.
Activa JSON Flatten si quieres que la respuesta sea un JSON plano.
Establece Max Concurrency a 5 para procesar cinco registros a la vez.
Deja el Output key name con el valor por defecto (output).
Haz clic en Run.

El Data batch Agent dividirá el CSV en bloques, enviará cada bloque al Worker Agent, recogerá los resultados y los devolverá como un único conjunto de datos que puedes usar en el siguiente paso de tu flujo de trabajo.

Componentes Relacionados

Worker Agent – El agente que realiza la tarea real en cada lote.
LanggraphDatabatchAgentBase – La clase base que provee la lógica de procesamiento por lotes.

Consejos y Mejores Prácticas

Controla la concurrencia: Si trabajas con datos sensibles o con recursos limitados, reduce el valor de Max Concurrency para evitar sobrecargar el sistema.
Usa JSON Flatten cuando necesites un formato sencillo para integrarlo con otras herramientas que no manejan estructuras anidadas.
Revisa el Output key name para asegurarte de que no haya conflictos con otras salidas en tu flujo.
Prueba con un subconjunto de datos antes de procesar todo el lote para verificar que el Worker Agent devuelve los resultados esperados.

Consideraciones de Seguridad

Protege los datos sensibles: Si tus datos contienen información confidencial, asegúrate de que el Worker Agent y el Data batch Agent estén configurados con los permisos adecuados y que la transmisión de datos esté cifrada.
Limita el acceso: Solo los usuarios autorizados deben poder configurar y ejecutar este componente, especialmente cuando se trabaja con datos críticos.
Auditoría: Registra las ejecuciones y los resultados para poder rastrear cualquier anomalía o error en el procesamiento.