Natural Language Text Splitter
Natural Language Text Splitter corta textos respetando dónde terminan las frases en el idioma del texto, para que ningún trozo deje una frase a medias.
Los documentos largos se cortan en trozos antes de guardarlos en una base vectorial: así cada búsqueda devuelve solo el fragmento que responde, y no el documento entero.
Cuándo usarlo
- Tus textos son prosa, como artículos, informes o correos.
- Quieres que cada trozo contenga frases completas.
Configuración
| Campo | Qué hace |
|---|---|
| Chunk Size | Tamaño máximo de cada trozo, en caracteres. Por defecto, 1000. |
| Chunk Overlap | Cuántos caracteres comparten dos trozos seguidos, para que una idea no quede partida. Por defecto, 200. |
| Input | Los textos que se cortan, normalmente la salida de un componente que carga archivos. |
| Separator | Los caracteres por los que se corta. Vacío, los saltos de párrafo. |
| Language | El idioma del texto, en inglés, por ejemplo spanish. Vacío, inglés. |
Resultado
La salida Data trae los trozos, cada uno con los datos del documento del que sale. Conéctala a Ingest Data de una base vectorial, como Chroma DB.
Ejemplo
Un periódico prepara su hemeroteca en español para un buscador.
- Conecta los artículos a Input y escribe
spanishen Language. - Conecta Data a una base vectorial.
Buenas prácticas
- Empieza con los valores por defecto y ajusta Chunk Size si los resultados de búsqueda se quedan cortos o traen demasiado texto.
Componentes relacionados
- Recursive Character Text Splitter: el divisor recomendado para textos normales.
- Chroma DB: donde guardar los trozos.