Recursive Character Text Splitter
Recursive Character Text Splitter corta textos largos en trozos de un tamaño máximo. Primero intenta cortar entre párrafos, después entre líneas y después entre palabras, para que cada trozo tenga sentido por sí mismo. Es el divisor recomendado para la mayoría de documentos.
Los documentos largos se cortan en trozos antes de guardarlos en una base vectorial: así cada búsqueda devuelve solo el fragmento que responde, y no el documento entero.
Cuándo usarlo
- Preparar manuales, contratos o preguntas frecuentes para guardarlos en una base vectorial.
- Cortar textos largos antes de pasárselos a un modelo.
- Empezar con un divisor que funciona bien sin ajustes.
Configuración
| Campo | Qué hace |
|---|---|
| Chunk Size | Tamaño máximo de cada trozo, en caracteres. Por defecto, 1000. |
| Chunk Overlap | Cuántos caracteres comparten dos trozos seguidos, para que una idea no quede partida. Por defecto, 200. |
| Input | Los textos que se cortan, normalmente la salida de un componente que carga archivos. |
| Separators | Los caracteres por los que se corta, en orden de preferencia. Vacío, se usan los saltos de párrafo, los saltos de línea y los espacios. |
Resultado
La salida Data trae los trozos, cada uno con los datos del documento del que sale. Conéctala a Ingest Data de una base vectorial, como Chroma DB.
Ejemplo
Una academia prepara sus apuntes para el asistente de alumnos.
- Carga los apuntes con un componente de archivos y conéctalo a Input.
- Deja Chunk Size en 1000 y Chunk Overlap en 200.
- Conecta Data a Ingest Data de una base vectorial.
Buenas prácticas
- Empieza con los valores por defecto y ajusta Chunk Size si los resultados de búsqueda se quedan cortos o traen demasiado texto.
Componentes relacionados
- Chroma DB: donde guardar los trozos.
- Semantic Text Splitter: corta por cambios de tema.