RAG Evaluator

RAG Evaluator comprueba las respuestas de un asistente que contesta a partir de tus documentos (un RAG). Un modelo de lenguaje hace de juez y da a cada respuesta varias notas de 0 a 1, cada una con una frase que la explica:

Fidelidad (faithfulness): qué parte de lo que afirma la respuesta está respaldada por los fragmentos que encontró la búsqueda. Además, lista las afirmaciones que no lo están (unsupported_claims): ahí aparece lo que el asistente se ha inventado.
Relevancia de la respuesta (answer_relevance): si la respuesta contesta a lo que se preguntó.
Relevancia del contexto (context_relevance): si los fragmentos encontrados contienen lo que hace falta para responder. Una nota baja indica que el problema está en la búsqueda, no en el modelo.
Corrección (correctness): si das la respuesta correcta, si la respuesta coincide con ella.

Puedes evaluar una sola respuesta dentro de un flujo o una lista entera de preguntas de prueba, y obtener las medias. Así mides tu asistente sin escribir código y comparas, con las mismas preguntas, qué configuración responde mejor.

Cuándo usarlo

Antes de publicar un asistente de documentos, para comprobar con 20 o 30 preguntas reales que responde bien.
Para comparar dos configuraciones (otro tamaño de fragmento, más resultados, reordenación con Local Rerank, otro modelo) con las mismas preguntas.
Para encontrar respuestas inventadas: las afirmaciones que no salen de tus documentos quedan listadas.
Para saber si un fallo viene de la búsqueda (no encontró el fragmento) o del modelo (lo tenía y respondió mal).

Configuración

Campo	Qué hace
Question	La pregunta que se hizo. No hace falta si conectas Rows.
Answer	La respuesta que se evalúa, por ejemplo la de un agente. No hace falta si conectas Rows.
Context	Los resultados de la búsqueda con los que se escribió la respuesta. Sin ellos no se calculan la fidelidad ni la relevancia del contexto.
Reference Answer	Opcional. La respuesta correcta. Si la das, se añade la nota de corrección.
Rows	Opcional. Una lista de filas para evaluar de una vez, cada una con la pregunta, la respuesta y, si las tienes, los fragmentos y la respuesta correcta. Con filas conectadas se ignoran los cuatro campos anteriores.
Judge Model (obligatorio)	El modelo que evalúa. Puede ser distinto del que respondió. Usa un modelo capaz y con la temperatura a 0, para que las notas no cambien de una vez a otra.

Opciones avanzadas

Campo	Qué hace
Question Field	El campo de cada fila con la pregunta. Por defecto, `question`.
Answer Field	El campo de cada fila con la respuesta. Por defecto, `answer`.
Context Field	El campo de cada fila con los fragmentos: un texto o una lista de textos. Por defecto, `context`.
Reference Field	El campo de cada fila con la respuesta correcta. Por defecto, `reference`.
Instructions	Criterios extra para el juez, por ejemplo qué se considera una respuesta completa en tu negocio.
Parallel Requests	Cuántas respuestas se evalúan a la vez, de 1 a 20. Por defecto, 5.

Resultado

Scores: las notas de la respuesta, con sus explicaciones y las afirmaciones no respaldadas. Si conectaste Rows, las medias de cada nota y cuántas filas se evaluaron (evaluated).
Graded Rows: una fila por respuesta con la pregunta, la respuesta, sus notas y sus explicaciones. Conéctala a Data to CSV para revisarlas en una hoja de cálculo.

Las dos salidas comparten la misma evaluación: el juez se consulta una vez por respuesta aunque uses las dos.

Cómo leer la nota de corrección: 1 significa que la respuesta da lo mismo que la correcta. Por debajo de 0,9, algo falta, sobra o está mal; la explicación dice qué. Una nota de 0 suele ser una respuesta distinta o un «no lo sé».

Ejemplo

Un servicio técnico de cafeteras quiere saber si su asistente responde bien antes de dárselo a los técnicos.

Prepara una hoja con cuatro columnas: question (preguntas reales de los técnicos), answer (lo que respondió el asistente), context (los fragmentos que encontró) y reference (la respuesta correcta, escrita por un técnico veterano). Expórtala a CSV.
Cárgala con CSV to Data List y conecta su salida a Rows de RAG Evaluator.
Conecta un modelo en Judge Model.
Ejecuta el flujo. Scores da las medias: si la fidelidad media es alta y la corrección media más baja, el asistente no se inventa cosas, pero falla en algunas preguntas. En Graded Rows se ve en cuáles, y la relevancia del contexto de esas filas dice si fue porque la búsqueda no encontró el fragmento.

También puedes evaluar cada respuesta dentro del propio flujo: conecta el texto del usuario a Question, la respuesta del modelo a Answer y la salida Results de la misma búsqueda a Context.

Qué tan fiable es: cifras medidas

Medido el 17 de octubre de 2026 sobre una base de conocimiento de prueba (9 documentos de un servicio técnico ficticio), con un modelo económico como juez. Son cifras de un único conjunto de prueba: muestran cómo se comporta, no una promesa para tus datos.

Corrección: en 90 respuestas a preguntas difíciles, ya revisadas una a una con reglas estrictas, una nota de 0,9 o más coincidió con la revisión en 89 de las 90.
Respuestas inventadas: en 25 respuestas a las que se les cambió un dato (un número, un código, un nombre), la fidelidad bajó de 1 en 24, y en 23 la afirmación cambiada apareció en la lista de no respaldadas. La que pasó era una respuesta que solo decía que no podía contestar. De 34 respuestas correctas, solo 1 recibió una fidelidad inferior a 1.
Relevancia del contexto: fue de 0,96 de media cuando la búsqueda había encontrado el fragmento con la respuesta y de 0,22 cuando no lo había encontrado o la pregunta no tenía respuesta en los documentos.
Coste: una consulta al juez por respuesta; 90 respuestas, evaluadas de 8 en 8, tardaron unos 17 segundos.

Buenas prácticas

Escribe las respuestas correctas de tus preguntas de prueba: la nota de corrección es la que más se parece a la opinión de una persona.
Mira las tres notas juntas. Fidelidad alta con corrección baja suele significar que la búsqueda trajo el fragmento equivocado y el modelo lo repitió con fidelidad; la relevancia del contexto lo confirma.
Usa el mismo juez y las mismas preguntas cuando compares configuraciones, y repite la evaluación si las diferencias son pequeñas: el juez puede variar algo de una vez a otra.
No lo pongas en cada respuesta de producción: añade una consulta al modelo por respuesta. Úsalo con preguntas de prueba o con una muestra.

Vídeo

Este vídeo puntúa una respuesta dentro de un flujo y después un conjunto de preguntas de prueba, con una respuesta alterada a propósito.

Lo que ves en el vídeo:

Detrás de un agente, RAG Evaluator puntúa la respuesta a «¿Qué pieza es la JT-777 y cuánto tarda en llegar?»: fidelidad 1,0, relevancia de la respuesta 1,0 y relevancia del contexto 1,0, cada nota con su explicación.
Un conjunto de prueba de 4 filas (pregunta, respuesta, fragmentos y respuesta correcta), leído de un archivo JSON del almacenamiento y conectado a Rows.
Las medias: fidelidad 0,875 y corrección 0,875.
La respuesta alterada a propósito («la primera media hora de mano de obra es gratis») saca 0,5, y su afirmación no respaldada aparece en la lista.

Componentes relacionados

Local Rerank: reordena los resultados de la búsqueda; mide con RAG Evaluator si mejora tus respuestas.
Contextual Text Splitter: prepara fragmentos que se encuentran mejor.
RAG Agent: un agente que responde a partir de tus documentos.
CSV to Data List y Data to CSV: para cargar las preguntas de prueba y guardar las notas.

Para ver cómo encaja en un sistema completo, consulta Técnicas de búsqueda en la guía de RAG.