Semantic Text Splitter
Semantic Text Splitter compara el significado de frases seguidas y corta donde cambia el tema. Así cada trozo trata de una sola cosa, aunque los trozos salgan de tamaños distintos. Necesita un componente de embeddings para comparar las frases.
Los documentos largos se cortan en trozos antes de guardarlos en una base vectorial: así cada búsqueda devuelve solo el fragmento que responde, y no el documento entero.
Cuándo usarlo
- Tus documentos mezclan temas sin una estructura clara de apartados.
- Quieres trozos que traten de un solo asunto.
Configuración
| Campo | Qué hace |
|---|---|
| Data Inputs (obligatorio) | Los textos que se cortan. |
| Embeddings (obligatorio) | El componente de embeddings que compara las frases. |
| Breakpoint Threshold Type | Cómo se decide dónde cortar: percentile (por defecto), standard_deviation o interquartile. |
| Breakpoint Threshold Amount | Cuánto debe cambiar el significado para cortar (con percentile, de 0 a 100, por ejemplo 95). Solo se usa cuando Number Of Chunks es 0. Por defecto, 0,5. |
| Number Of Chunks | En cuántos trozos se intenta dividir el texto. Ponlo a 0 para que Breakpoint Threshold Amount decida dónde cortar. Por defecto, 5. |
Opciones avanzadas
| Campo | Qué hace |
|---|---|
| Sentence Split Regex | Patrón para separar frases, si tus textos lo necesitan. Opcional. |
| Buffer Size | Cuántas frases vecinas se tienen en cuenta al comparar. Por defecto, 0. |
Resultado
La salida Data trae los trozos, cada uno con los datos del documento del que sale. Conéctala a Ingest Data de una base vectorial, como Chroma DB.
Ejemplo
Una consultora tiene actas de reuniones donde se tratan varios asuntos seguidos.
- Conecta las actas a Data Inputs y un componente de embeddings a Embeddings.
- Conecta Data a una base vectorial para buscar por asunto.
Buenas prácticas
- Cortar así hace una consulta al servicio de embeddings por frase: tiene coste en textos muy largos.
Componentes relacionados
- Recursive Character Text Splitter: el divisor recomendado para textos normales.
- Chroma DB: donde guardar los trozos.