Chunking Component
Chunking Component prepara documentos para que un agente pueda buscar en ellos. Divide cada documento en fragmentos (por ejemplo, uno por cada apartado de un manual) y, si le conectas una base de datos vectorial, los guarda en ella para que después se puedan consultar por su significado. Además, puede separar las tablas y las imágenes en fragmentos propios y añadir un breve resumen a cada fragmento.
Úsalo en el flujo que carga tus documentos en una base de conocimiento, antes de que un agente responda preguntas sobre ellos.
Cuándo usarlo
- Cargar manuales de producto, políticas internas o contratos en una base de conocimiento.
- Preparar la documentación de un servicio para un asistente de soporte.
- Separar las tablas de precios de un catálogo para que se conserven enteras.
- Añadir a todos los fragmentos datos comunes, como el departamento o la versión del documento.
Configuración
| Conexión | Qué conectar |
|---|---|
| Data | Los documentos que se van a dividir: texto, mensajes, datos o archivos, por ejemplo desde un componente que lee archivos. |
| Vector Store | Opcional. La base de datos vectorial donde se guardan los fragmentos, por ejemplo PGVector, Qdrant o Chroma DB. |
| Model | Opcional. Un modelo de IA, necesario para Generate Chunk Summaries. |
| Campo | Qué hace |
|---|---|
| Use Hirarchichal Document Structure | Divide el documento siguiendo su estructura: un fragmento por cada sección. Si el documento llega ya con sus secciones identificadas, las respeta; si no, las detecta a partir de los títulos (encabezados, apartados numerados, líneas en mayúsculas). Si no encuentra títulos, lo divide en fragmentos de Chunk Size caracteres. Por defecto: activado. |
| Chunk Size | Tamaño máximo de cada fragmento, en caracteres. Por defecto: 1000. |
| Chunk Overlap | Cuántos caracteres comparte cada fragmento con el siguiente, para no cortar ideas por la mitad. Por defecto: 200. |
| Chunking Strategy | Cómo se corta el texto cuando no hay estructura que seguir: Recursive (por defecto) corta por párrafos, líneas y frases; Character corta por líneas en blanco; Token mide el tamaño en tokens en lugar de caracteres. |
| Enable Table Extraction | Detecta las tablas y las guarda enteras en fragmentos propios, sin partirlas. Por defecto: desactivado. |
| Enable Image Extraction | Detecta las imágenes del documento, las guarda como archivos de la conversación y las asocia a los fragmentos. Por defecto: desactivado. |
Dos formas de dividir. Con Use Hirarchichal Document Structure activado, el componente trabaja por secciones y no aplica Chunk Overlap, la extracción de tablas e imágenes, la división adaptativa ni los resúmenes. Para usar esas opciones, desactívalo: el documento se divide entonces por tamaño, con Chunk Size y Chunk Overlap.
Opciones avanzadas
| Campo | Qué hace |
|---|---|
| Enable Adaptive Chunking | Ajusta el tamaño de cada fragmento según lo denso que sea el texto: más pequeño en textos densos, más grande en textos ligeros. Al activarlo, Chunk Size y Chunk Overlap se ocultan y aparecen Minimum Chunk Size (por defecto 300), Maximum Chunk Size (por defecto 2000) y Content Density Threshold (de 0 a 1, por defecto 0.6; cuanto más alto, más pequeños los fragmentos de texto denso). |
| Generate Chunk Summaries | Añade a cada fragmento un resumen de una o dos frases hecho por el modelo de IA conectado en Model. Por defecto: desactivado. |
| System Prompt | Instrucciones adicionales para los resúmenes, por ejemplo el idioma en que deben escribirse. |
| Custom Metadata | Datos que se añaden a todos los fragmentos, como el departamento, el cliente o la versión del documento. |
| Table/Image Context Characters | Aparece al activar la extracción de tablas o imágenes. Cuántos caracteres del texto que las rodea se guardan con ellas. Por defecto: 500. |
Resultado
Structured Chunks: un resumen del proceso como mensaje, con el número de documentos y fragmentos, sus tamaños, los títulos de las secciones detectadas, cuántas tablas e imágenes se extrajeron y cuántos fragmentos se guardaron en la base de datos vectorial. Si algo falla, el mensaje indica el error.
Ejemplo
La aseguradora Grupo Ancla quiere que su asistente responda sobre las condiciones de sus pólizas. En un flujo de carga, conecta el componente que lee los PDF de las pólizas a Data y una base de datos PGVector a Vector Store. Deja activado Use Hirarchichal Document Structure para que cada cláusula numerada quede en su propio fragmento y escribe en Custom Metadata el tipo de póliza. Después, su agente consulta esa base de conocimiento para responder a los clientes.