PIPELINEConocimiento sobre IA
Por qué la IA inventa cosas y cómo detenerlo en la empresa
Las respuestas inventadas no son un error del modelo, sino una consecuencia de su funcionamiento. Por eso solo ayuda una estructura que las haga imposibles.
Un modelo de lenguaje genera continuaciones probables de texto. No tiene concepto de «no lo sé», solo tiene probabilidades. Una respuesta falsa que suena plausible no se distingue de una correcta para el modelo.
01
Por qué sucede
Un modelo de lenguaje genera continuaciones probables de texto. No tiene concepto de «no lo sé», solo tiene probabilidades. Una respuesta falsa que suena plausible no se distingue de una correcta para el modelo.
02
Qué no ayuda
Pedirle al modelo que no invente nada. Esto reduce la frecuencia un poco y no elimina el problema.
03
Qué ayuda
Tres cosas juntas: permitir respuestas solo de una fuente verificada, indicar la fuente en la respuesta y prever una salida definida para el caso de que no se encuentre nada. El tercer punto es el más importante y se omite con más frecuencia.
04
La prueba antes del lanzamiento
Hacer preguntas cuya respuesta no esté en la documentación. Un bot bien construido dirá que no lo sabe y redirigirá. Uno mal construido inventará algo, y eso lo notarás con el cliente.
05
Un ejemplo de la práctica
Un chatbot sin vinculación a fuentes responde a la pregunta sobre un período de garantía específico con un número que suena plausible pero es falso: nadie lo nota hasta que una clienta lo invoca. Con vinculación a fuentes, el bot habría citado el período correcto de las condiciones de garantía o habría dicho honestamente que no lo sabe.
Preguntas
Preguntas frecuentes
¿Los modelos más nuevos no son simplemente mejores en no inventar?
Son mejores, pero el problema persiste fundamentalmente: no es una cuestión de generación del modelo, sino de funcionamiento. Un sistema sin vinculación a fuentes siempre inventará algo ocasionalmente, sin importar lo nuevo que sea.
¿Con qué frecuencia ocurre esto en la práctica?
Sin contramedidas, notablemente a menudo en preguntas complicadas o poco frecuentes. Con una vinculación limpia a fuentes y una salida definida, la tasa disminuye a un nivel donde el resto casi siempre se captura como «no lo sé» en lugar de como una afirmación falsa.
¿Se puede incorporar esto posteriormente en un sistema existente?
Sí, en la mayoría de los casos sin tener que reconstruir todo. La vinculación a fuentes y la salida definida se pueden añadir a una configuración existente: el esfuerzo está en las pruebas, no en la reconstrucción.
¿Cómo se prueba esto sistemáticamente, en lugar de solo probar algunas preguntas?
Con una lista fija de solicitudes reales, incluyendo deliberadamente aquellas cuya respuesta no está en la documentación. Esta lista se ejecuta de nuevo después de cada cambio: esa es la diferencia entre muestra aleatoria y prueba real.
Siguiente paso
Hablemos brevemente de si esto vale la pena para vosotros.
Una conversación de veinte minutos suele bastar para aclarar si un proyecto tiene sentido. Si no, lo decimos: es más barato para ambas partes que una oferta que nadie necesita.