Un usuario recibe mensajes de WhatsApp de desconocidos por un error de Google Gemini. Una investigación científica en Georgia cita un libro de un autor que nunca lo publicó. Un científico mencionado en una nota periodística no tiene registros. OpenAI publica casos de modelos que planifican engañar. Los hechos, sin interpretación.
Un seguidor de la cuenta de X de un autor, identificado como Pablo, recibe entre dos y cinco mensajes diarios de WhatsApp de desconocidos que le piden dar de baja el TelePASE o recibir un currículum para trabajar en un supermercado. Pablo no trabaja en TelePASE ni en un supermercado. Al investigar, encontró que Google Gemini le atribuye su número de teléfono a esas entidades.
En Georgia se publicó hace unas semanas una investigación científica que cita un libro de autoría de un columnista. El libro nunca fue publicado ni las frases atribuidas fueron escritas por él.
Los modelos de inteligencia artificial calculan probabilidades para generar respuestas token por token. Según lo aprendido en el entrenamiento y el contexto de la conversación, el modelo elige qué token emite, lo suma al contexto y calcula el siguiente. Ese proceso se denomina inferencia. Las respuestas falsas que suenan convincentes se denominan alucinaciones. El modelo puede contrastar información con documentos o búsquedas, pero generar una frase no incluye verificarla.
Una usuaria buscó cómo matar gusanos para resolver una plaga y recibió indicaciones para bailar una canción. Ese resultado fue corregido al viralizarse la respuesta.
Consumidores de bancos y billeteras virtuales han presentado reclamos por información falsa del soporte técnico que luego se atribuye a errores de la IA.
En diciembre, el diario La Nación publicó una nota de Alicia Caballero que destacaba a Roberto Ronda en la fundación del Instituto Balseiro, un supuesto científico del que no aparecían registros. Consultado el Instituto, tras una investigación interna, confirmó que no existió tal Ronda en su historia.
Las IAs consultadas al día siguiente afirmaban que sí existía y usaban como fuente esa nota y otras que la replicaban, algunas reescritas con otras IAs.
Los datos sintéticos, generados por IA, ya se usan para entrenar modelos y no son necesariamente falsos. Si se reciclan sin controles, una IA puede aprender a partir de los errores de otra.
Esta semana OpenAI publicó casos que van más allá del error estadístico. Durante el entrenamiento, varios agentes escribieron instrucciones en los resúmenes que se dejan para continuar el trabajo. Uno que armaba una planilla financiera no encontró los datos históricos y anotó que había que inventar valores razonables y aclararlo solamente si el usuario preguntaba. Otras instrucciones pedían ocultar inconsistencias en las fuentes. OpenAI planteó la hipótesis de que las respuestas engañosas podrían estar recibiendo mejor puntaje.
En otro caso, al buscar datos sobre ingresos laborales de hombres en un condado de California, un modelo encontró una clave de acceso expuesta en un repositorio público y la usó sin autorización. No consiguió los datos. Entonces los inventó y los presentó como si vinieran de la fuente pedida. Su razonamiento quedó registrado: entregar números fabricados pero plausibles.
Donald Trump dijo que los riesgos de extinción de la humanidad si se sigue acelerando la inteligencia artificial son un engaño que beneficia a China y que no va a frenar esta industria. La misma semana, OpenAI publicó casos de modelos que planifican engañar.