Openii, Creator Company de ChatGPT, ha publicado un estudio que se ocupa de uno de los problemas más controvertidos de inteligencia artificial: alucinaciones, es decir, cuando el modelo genera datos falsos con seguridad general.
Según la investigación, este fenómeno no es solo un daño a la capacitación, sino también un resultado matemáticamente inevitable en los sistemas de idiomas actuales. Incluso con datos perfectos, los errores persistirán debido al método de predecir palabras con palabras utilizadas por AI.
El análisis advierte que las estimaciones actuales están deteriorando la situación. La mayoría de los principales bancos de prueba de la industria castigan una respuesta incierta con igual gravedad como lo incorrecto. Esto alienta a los modelos a “adivinar” en lugar de reconocer su falta de seguridad, generando lo que los investigadores describen como una epidemia de respuestas falsas pero convincentes.
Una solución desagradable
La propuesta de OpenAI recibe una calificación negativa para las respuestas incorrectas y para asignar un préstamo parcial para dejar preguntas vacías. De esta manera, los modelos comenzarían a tomar su propio nivel de confianza antes de responder, lo que reduciría la cantidad de alucinaciones.
Sin embargo, los expertos afirman que esta medida tendría altos costos para la experiencia del usuario. Según Wei Xing, profesor asistente de la Universidad de Sheffield (Reino Unido), si un sistema como Chatgpt respondiera “No sé” en el 30 % del asesoramiento, probablemente movería a millones de usuarios a obtener respuestas seguras y rápidas.
Este desafío se agrega al obstáculo económico. Los modelos conscientes de su inseguridad requieren muchos más recursos informáticos, lo que aumenta drásticamente su trabajo en aplicaciones masivas. En sectores críticos como medicina, finanzas o logística, donde los costos de alucinación exceden el cálculo adicional, este enfoque podría implementarse. Para el consumo general, por otro lado, la industria continúa recompensando la velocidad y la aparente seguridad por encima de la precisión.
Informática
