Los chatbots son realmente impresionantes cuando los ves hacer cosas en las que son buenas, como escribir un correo electrónico básico o crear imágenes extrañas de aspecto futurista. Pero pídale a la IA generativa que resuelva uno de esos rompecabezas en la parte trasera de un periódico, y las cosas pueden salir rápidamente de los rieles.
Eso es lo que encontraron los investigadores de la Universidad de Colorado Boulder cuando desafiaron a los modelos de idiomas grandes a resolver Sudoku. Y ni siquiera los rompecabezas estándar 9×9. Un rompecabezas de 6×6 más fácil a menudo estaba más allá de las capacidades de un LLM sin ayuda externa (en este caso, herramientas específicas de resolución de rompecabezas).
Se produjo un hallazgo más importante cuando se pidió a los modelos que mostraran su trabajo. En su mayor parte, no pudieron. A veces mentían. A veces explicaban cosas de manera que no tenía sentido. A veces alucinaban y comenzaron a hablar sobre el clima.
Si las herramientas de Gen AI no pueden explicar sus decisiones de manera precisa o transparente, eso debería hacer que sean cautelosos ya que le damos a estas cosas más control sobre nuestras vidas y decisiones, dijo Ashutosh Trivedi, profesor de informática en la Universidad de Colorado en Boulder y uno de los autores del documento publicado en julio en los hallazgos de la Asociación de Linguística Computacional.
“Realmente nos gustaría que esas explicaciones sean transparentes y reflejen por qué la IA tomó esa decisión, y no AI tratando de manipular al humano proporcionando una explicación que a un humano le gustaría”, dijo Trivedi.
Cuando tome una decisión, puede intentar justificarlo, o al menos explicar cómo llegó a ella. Es posible que un modelo de IA no pueda hacer lo mismo de manera precisa o transparente. ¿Confiarías en él?
Mira esto: Telsa encontró responsable de accidentes en piloto automático, los aranceles comienzan a impactar precios y más | Tecnología hoy
¿Por qué LLMS lucha con Sudoku?
Hemos visto que los modelos de IA fallar en juegos y rompecabezas básicos antes. El chatgpt de OpenAI (entre otros) ha sido totalmente aplastado en el ajedrez por el oponente de la computadora en un juego Atari de 1979. Un artículo de investigación reciente de Apple encontró que los modelos pueden luchar con otros rompecabezas, como la Torre de Hanoi.
Tiene que ver con la forma en que funcionan los LLM y llenan los vacíos en la información. Estos modelos intentan completar esas brechas en función de lo que sucede en casos similares en sus datos de entrenamiento u otras cosas que han visto en el pasado. Con un sudoku, la pregunta es de lógica. La IA podría tratar de llenar cada vacío en orden, según lo que parece una respuesta razonable, pero para resolverlo correctamente, en cambio tiene que mirar la imagen completa y encontrar un orden lógico que cambie de rompecabezas a rompecabezas.
Leer más: AI Essentials: 29 formas en que puede hacer que la Gen AI funcione para usted, según nuestros expertos
Los chatbots son malos en el ajedrez por una razón similar. Encuentran los próximos movimientos lógicos, pero no necesariamente piensan en tres, cuatro o cinco avances por delante, la habilidad fundamental necesaria para jugar bien el ajedrez. Los chatbots también a veces tienden a mover piezas de ajedrez de manera que realmente no sigan las reglas o pongan piezas en peligro sin sentido.
Es posible que los LLM puedan resolver sudoku porque son computadoras y el rompecabezas consiste en números, pero los rompecabezas en sí no son realmente matemáticos; Son simbólicos. “Sudoku es famoso por ser un rompecabezas con números que podrían hacerse con cualquier cosa que no sea números”, dijo Fabio Somenzi, profesor de CU y uno de los autores del trabajo de investigación.
Utilicé un mensaje de muestra del documento de los investigadores y se lo di a ChatGPT. La herramienta mostró su trabajo, y repetidamente me dijo que tenía la respuesta antes de mostrar un rompecabezas que no funcionó, luego volviendo y corrigiéndolo. Era como si el bot estuviera cambiando en una presentación que seguía obteniendo ediciones de último segundo: esta es la respuesta final. No, en realidad, no importa, este es la respuesta final. Eventualmente obtuvo la respuesta, a través de prueba y error. Pero la prueba y el error no son una forma práctica para que una persona resuelva un sudoku en el periódico. Eso es demasiado borrando y arruina la diversión.
La IA y los robots pueden ser buenos en los juegos si están construidos para jugarlos, pero las herramientas de uso general como los modelos de idiomas grandes pueden tener dificultades con los rompecabezas lógicos.
AI lucha por mostrar su trabajo
Los investigadores de Colorado no solo querían ver si los bots podían resolver rompecabezas. Pidieron explicaciones de cómo los bots trabajaron a través de ellos. Las cosas no salieron bien.
Probando el modelo de razonamiento de previsión O1 de OpenAI, los investigadores vieron que las explicaciones, incluso para los rompecabezas resueltos correctamente, no explicaban ni justificaron con precisión sus movimientos y se equivocaban con los términos básicos.
“Una cosa en la que son buenos es proporcionar explicaciones que parecen razonables”, dijo Maria Pacheco, profesora asistente de informática en CU. “Se alinean con los humanos, por lo que aprenden a hablar como nos gusta, pero si son fieles a lo que deben ser los pasos reales para resolver lo que estamos luchando un poco”.
A veces, las explicaciones eran completamente irrelevantes. Desde que se terminó el trabajo del documento, los investigadores han seguido probando nuevos modelos publicados. Somenzi dijo que cuando él y Trivedi estaban ejecutando el modelo de razonamiento O4 de Openai a través de las mismas pruebas, en un momento, parecía darse por vencido por completo.
“La siguiente pregunta que hicimos, la respuesta fue el pronóstico del tiempo para Denver”, dijo.
(Divulgación: Ziff Davis, la empresa matriz de CNET, en abril presentó una demanda contra OpenAi, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).
Explicarse a sí mismo es una habilidad importante
Cuando resuelve un rompecabezas, es casi seguro que puede caminar a alguien más a través de su pensamiento. El hecho de que estos LLM fallaran tan espectacularmente en ese trabajo básico no es un problema trivial. Con las compañías de IA que hablan constantemente de “agentes de IA” que pueden tomar medidas en su nombre, es esencial poder explicarse.
Considere los tipos de trabajos que se dan a la IA ahora, o planean en el futuro cercano: conducir, hacer impuestos, decidir estrategias comerciales y traducir documentos importantes. Imagine lo que pasaría si usted, una persona, hiciera una de esas cosas y algo salió mal.
“Cuando los humanos tienen que poner su rostro frente a sus decisiones, es mejor que puedan explicar qué condujo a esa decisión”, dijo Somenzi.
No es solo una cuestión de obtener una respuesta razonable. Necesita ser preciso. Un día, la explicación de una IA de sí misma podría tener que sostenerse en la corte, pero ¿cómo se puede tomar en serio su testimonio si se sabe que mentirá? No confiaría en una persona que no se explicó, y tampoco confiaría en que alguien que encontrara decía lo que quería escuchar en lugar de la verdad.
“Tener una explicación está muy cerca de la manipulación si se hace por la razón equivocada”, dijo Trivedi. “Tenemos que tener mucho cuidado con respecto a la transparencia de estas explicaciones”.
