CharacterTextSplitter
CharacterTextSplitter corta textos por el separador que elijas, por ejemplo los saltos de párrafo, y junta las partes en trozos de un tamaño máximo.
Los documentos largos se cortan en trozos antes de guardarlos en una base vectorial: así cada búsqueda devuelve solo el fragmento que responde, y no el documento entero.
Cuándo usarlo
- Tus textos tienen un separador claro, como una línea en blanco entre fichas.
- Quieres controlar exactamente por dónde se corta.
Configuración
| Campo | Qué hace |
|---|---|
| Chunk Size | Tamaño máximo de cada trozo, en caracteres. Por defecto, 1000. |
| Chunk Overlap | Cuántos caracteres comparten dos trozos seguidos, para que una idea no quede partida. Por defecto, 200. |
| Input | Los textos que se cortan, normalmente la salida de un componente que carga archivos. |
| Separator | Los caracteres por los que se corta. Vacío, los saltos de párrafo. |
Resultado
La salida Data trae los trozos, cada uno con los datos del documento del que sale. Conéctala a Ingest Data de una base vectorial, como Chroma DB.
Ejemplo
Una tienda exporta su catálogo con una línea en blanco entre producto y producto.
- Conecta el catálogo a Input.
- Deja Separator vacío para cortar por las líneas en blanco.
- Conecta Data a una base vectorial.
Buenas prácticas
- Empieza con los valores por defecto y ajusta Chunk Size si los resultados de búsqueda se quedan cortos o traen demasiado texto.
Componentes relacionados
- Recursive Character Text Splitter: el divisor recomendado para textos normales.
- Chroma DB: donde guardar los trozos.