El auditor que no se fía
Un segundo modelo que desconfía por diseño, una memoria deliberadamente corta y la métrica que delata al asistente que responde de memoria.
En un asistente que responde preguntas de negocio, el fallo más peligroso no es no saber la respuesta. Es responder de memoria.
Un modelo de lenguaje con historial de conversación tiene siempre a mano una tentación, la cifra que él mismo dijo hace tres mensajes. Si el usuario repregunta o matiza o pide el desglose, el camino corto es reciclar ese número en lugar de volver a la base de datos. El resultado es una respuesta fluida, coherente con la conversación y potencialmente desactualizada o mal aplicada. Nadie la detecta, porque no desentona.
Un evaluador que desconfía por diseño
En el asistente que construimos para Savian, la solución fue incorporar un auditor en línea, un segundo modelo cuya regla de oro es no fiarse jamás de las cifras que aparecen en el contexto conversacional. Si la pregunta implica un dato de negocio, obliga a reconsultar la base de datos, aunque el asistente ya «sepa» la respuesta.
A eso se suma una decisión que parece una limitación y es una defensa. La ventana de memoria es deliberadamente corta. Un historial largo es cómodo para conversar y peligroso para los números, porque multiplica las cifras viejas disponibles para reciclar. Con la ventana corta, cada número que sale por WhatsApp viene de una consulta fresca.
La métrica que delata al que responde de memoria
De cada interacción registramos, entre otras cosas, dos campos que parecen redundantes, la herramienta que la corrección pidió usar y la herramienta que el asistente usó de verdad.
Comparar esos dos campos es probablemente la métrica más útil de todo el sistema. Detecta el caso exacto en que el modelo recibió la instrucción de reconsultar y respondió de memoria igualmente. Sin ese par, ese fallo es invisible: la respuesta llega, el formato es correcto y no hay error en ningún registro.
Esta es la clase de instrumento que casi nunca aparece en una demostración, porque en la demostración nadie repregunta con malicia. Aparece en el tercer mes de producción, cuando un responsable compara la cifra del asistente con la del informe mensual y no cuadran.
Desconfiar es un diseño, no una actitud
Nada de esto depende de que el modelo «se porte bien». El auditor fuerza la reconsulta, la ventana corta reduce la materia prima del error y la métrica de herramientas delata las excepciones. Tres piezas de arquitectura para un mismo principio. En un sistema que da cifras de negocio, la frescura del dato no se pide por favor, se impone por diseño. Y cuando lo que llega es un cero, la desconfianza cambia de forma. Esa historia la contamos en el cero silencioso.
En la demostración nadie repregunta con malicia. Hazlo tú. Pide una cifra, cambia un matiz y vuelve a preguntar. ¿La segunda respuesta salió de la base de datos o de la primera respuesta? Esa sola pregunta desnuda a cualquier asistente de datos.
Si tu equipo espera a analítica para cada número, mira lo que construimos en desarrollo de agentes de IA.