El CEO de Anthrope, Dario Amodei, cree que los modelos de IA de hoy alucinan, o inventan las cosas y las presentan como si fueran ciertas, a un ritmo más bajo que los humanos, dijo durante una conferencia de prensa en el primer evento de desarrollador de Anthrope, Code With Claude, en San Francisco el jueves.
Amodei dijo todo esto en medio de un punto más grande que estaba haciendo: que las alucinaciones de IA no son una limitación en el camino de Anthrope hacia los sistemas AGI-AI con inteligencia a nivel humano o mejor.
“Realmente depende de cómo lo midas, pero sospecho que los modelos de IA probablemente alucinan menos que los humanos, pero alucinan de manera más sorprendente”, dijo Amodei, respondiendo a la pregunta de TechCrunch.
El CEO de Anthrope es uno de los líderes más alcistas de la industria sobre la perspectiva de que los modelos de IA logre AGI. En un artículo ampliamente circulado que escribió el año pasado, Amodei dijo que creía que AGI podría llegar tan pronto como 2026. Durante la sesión informativa de la prensa del jueves, el CEO antrópico dijo que estaba viendo un progreso constante con ese fin, señalando que “el agua está aumentando en todas partes”.
“Todos siempre buscan estos bloques duros en lo que [AI] puede hacer “, dijo Amodei.” No se pueden ver en ningún lugar. No hay tal cosa “.
Otros líderes de IA creen que la alucinación presenta un gran obstáculo para lograr AGI. A principios de esta semana, el CEO de Google Deepmind, Demis Hassabis, dijo que los modelos de IA de hoy tienen demasiados “agujeros” y obtienen demasiadas preguntas obvias. Por ejemplo, a principios de este mes, un abogado que representa a Anthrope se vio obligado a disculparse en la corte después de que usaron a Claude para crear citas en una presentación judicial, y el chatbot AI alucinó y cometió nombres y títulos equivocados.
Es difícil verificar la afirmación de Amodei, en gran parte porque la mayoría de los puntos de referencia de alucinación se enfrentan a los modelos de IA; No comparan modelos con los humanos. Ciertas técnicas parecen estar ayudando a las tasas de alucinación más bajas, como dar acceso a los modelos de IA a la búsqueda web. Por separado, algunos modelos de IA, como el GPT-4.5 de Openai, tienen tasas de alucinación notablemente más bajas en puntos de referencia en comparación con las generaciones tempranas de sistemas.
Sin embargo, también hay evidencia que sugiere que las alucinaciones realmente empeoran en los modelos de IA de razonamiento avanzado. Los modelos O3 y O4-Mini de OpenAI tienen tasas de alucinación más altas que los modelos de razonamiento de generación anterior de Openai, y la compañía realmente no entiende por qué.
Más adelante en la sesión informativa de la prensa, AmoDei señaló que los emisores de televisión, los políticos y los humanos en todo tipo de profesiones cometen errores todo el tiempo. El hecho de que AI también comete errores no es un golpe en su inteligencia, según AmoDei. Sin embargo, el CEO de Anthrope reconoció la confianza con la que los modelos de IA presentan cosas falsas, ya que los hechos podrían ser un problema.
De hecho, Anthrope ha realizado una buena cantidad de investigación sobre la tendencia de los modelos de IA a engañar a los humanos, un problema que parecía especialmente frecuente en la recientemente lanzada Claude Opus 4 de la compañía. Apollo Research, un instituto de seguridad dado el acceso temprano para probar el modelo de IAi, encontró que una versión temprana de Claude Opus 4 exhibió una alta tendencia a los humanos y decisivos. Apollo llegó a sugerir que Anthrope no debería haber lanzado ese modelo temprano. Anthrope dijo que se les ocurrió algunas mitigaciones que parecían abordar los problemas que Apollo planteó.
Los comentarios de Amodei sugieren que el antrópico puede considerar que un modelo de IA es AGI, o igual a la inteligencia a nivel humano, incluso si aún se alucina. Sin embargo, una IA que alucina puede no ser de AGI por la definición de muchas personas.
