Ai Filter

El componente Ai Filter permite a los usuarios refinar conjuntos de datos o textos aplicando una consulta escrita en lenguaje natural. En lugar de escribir filtros complejos, basta con describir lo que se necesita y el componente se encarga de procesar la información con la ayuda de un modelo de lenguaje.

¿Cómo funciona?

El componente recibe un bloque de datos (puede ser texto, un mensaje o un objeto de tipo Data) y una consulta en lenguaje natural. Internamente utiliza la clase DocAnalyzer, que a su vez emplea el modelo de lenguaje proporcionado (llm). El proceso se divide en:

1. División en fragmentos – Si el contenido es muy extenso, se corta en chunks (por defecto, el número máximo se define con Max Chunks).
2. Filtrado por IA – Cada fragmento se envía al modelo de lenguaje, que evalúa si cumple con la consulta.
3. Recolección de resultados – Los fragmentos que satisfacen la condición se devuelven como un nuevo conjunto de datos.

El componente no hace llamadas externas a APIs externas; todo el procesamiento se realiza localmente con el modelo de IA que el usuario haya conectado.

Entradas

• Data
  Conjunto de datos que se desea filtrar. Puede ser texto plano, un mensaje o un objeto Data generado por otro componente.

• Query
  Consulta en lenguaje natural que define el criterio de filtrado. Por ejemplo: “Mostrar solo los registros con valor mayor a 100”.

• Max Chunks
  Número máximo de fragmentos que se procesarán. Si se deja vacío, se procesarán todos los fragmentos disponibles.

• Model
  Modelo de lenguaje que realizará la evaluación de la consulta. Este input es obligatorio y debe ser un componente de tipo LanguageModel.

Salidas

• Filter
  Resultado del filtrado: un objeto Data que contiene únicamente los fragmentos que cumplen con la consulta.

• Tool
  Un objeto Tool que puede ser usado por otros componentes o flujos de trabajo para ejecutar la misma lógica de filtrado de forma programática.

Ejemplo de Uso

1. Carga de datos
   Conecta un componente Data Loader al input Data del Ai Filter.

2. Definir la consulta
   En el campo Query escribe: “Mostrar solo los registros con valor mayor a 100”.

3. Seleccionar modelo
   Arrastra un componente LLM Model (por ejemplo, GPT-4o) al input Model.

4. Ejecutar
   Haz clic en “Run” y el componente devolverá en Filter los registros que cumplen la condición.

5. Usar el resultado
   Conecta la salida Filter a un componente de visualización (por ejemplo, Table Viewer) para mostrar los datos filtrados al usuario.

Componentes Relacionados

• Data Loader – Carga datos desde archivos, bases de datos o APIs.
• LLM Model – Proporciona el modelo de lenguaje que se utiliza para el filtrado.
• Table Viewer – Muestra datos tabulares en el dashboard.
• Text Analyzer – Analiza textos sin filtrar, útil para comparar resultados.

Consejos y Mejores Prácticas

• Usa consultas claras: Cuanto más específica sea la consulta, más preciso será el filtrado.
• Limita los chunks: Si trabajas con textos muy largos, establece un valor razonable en Max Chunks para evitar tiempos de respuesta excesivos.
• Revisa los resultados: Después de ejecutar el filtro, verifica que los datos cumplen con la condición antes de usarlos en etapas posteriores.
• Combina filtros: Puedes encadenar varios Ai Filter para aplicar criterios complejos paso a paso.

Consideraciones de Seguridad

• Privacidad de datos: El modelo de lenguaje procesa los datos en memoria; asegúrate de que el modelo no envíe información a servicios externos si la confidencialidad es crítica.
• Control de acceso: Limita quién puede conectar modelos de lenguaje sensibles al componente para evitar exfiltración accidental.
• Gestión de errores: Configura un manejo de excepciones para capturar fallos del modelo y evitar que el flujo se detenga inesperadamente.