Language Recursive Text Splitter
Language Recursive Text Splitter corta textos escritos en un lenguaje de programación o de formato, como HTML, Markdown o LaTeX, respetando su estructura: funciones, apartados o etiquetas.
Los documentos largos se cortan en trozos antes de guardarlos en una base vectorial: así cada búsqueda devuelve solo el fragmento que responde, y no el documento entero.
Cuándo usarlo
- Preparar documentación técnica en Markdown o páginas HTML para un asistente.
- Guardar código fuente para que un agente pueda buscar en él.
Configuración
| Campo | Qué hace |
|---|---|
| Chunk Size | Tamaño máximo de cada trozo, en caracteres. Por defecto, 1000. |
| Chunk Overlap | Cuántos caracteres comparten dos trozos seguidos, para que una idea no quede partida. Por defecto, 200. |
| Input | Los textos que se cortan, normalmente la salida de un componente que carga archivos. |
| Code Language | El lenguaje del texto, por ejemplo markdown, html, latex, js o python (por defecto). |
Resultado
La salida Data trae los trozos, cada uno con los datos del documento del que sale. Conéctala a Ingest Data de una base vectorial, como Chroma DB.
Ejemplo
Un equipo de producto guarda su documentación en Markdown.
- Conecta los archivos a Input y elige
markdownen Code Language. - Conecta Data a una base vectorial para el asistente interno.
Buenas prácticas
- Empieza con los valores por defecto y ajusta Chunk Size si los resultados de búsqueda se quedan cortos o traen demasiado texto.
Componentes relacionados
- Recursive Character Text Splitter: el divisor recomendado para textos normales.
- Chroma DB: donde guardar los trozos.