El último generativo Los modelos de IA no son solo chatbots generales de texto independientes, en lugar de lugar, se pueden conectar fácilmente a sus datos para dar respuestas personalizadas a sus preguntas. El chatgpt de OpenAI se puede vincular a su bandeja de entrada de Gmail, que se le permita inspeccionar su código GitHub o encontrar citas en su calendario de Microsoft. Pero estas conexiones tienen el potencial de ser abusados, y los investigadores han demostrado que solo puede necesitar un documento “envenenado” para hacerlo.
Nuevos hallazgos de los investigadores de seguridad Michael Bargury y Tamir Ishay Sharbat, revelados en la Conferencia Black Hat Hacker en Las Vegas hoy, muestran cómo una debilidad en los conectores de OpenAi permitió extraer información confidencial de una cuenta de Google Drive utilizando un ataque inyección indirecto. En una demostración del ataque, denominado Agenteflayer, Bargury muestra cómo fue posible extraer secretos de desarrolladores, en forma de claves API, que se almacenaron en una cuenta de campaña de demostración.
La vulnerabilidad destaca cómo la conexión de los modelos de IA a los sistemas externos y compartir más datos a través de ellos aumenta la superficie de ataque potencial para los piratas informáticos maliciosos y potencialmente multiplica las formas en que se pueden introducir vulnerabilidades.
“No hay nada que el usuario necesita hacer para comprometerse, y no hay nada que el usuario necesita hacer para que salgan los datos”, dice Bargury, el CTO de la firma de seguridad Zenity, a Wired. “Hemos demostrado que esto es completamente clic en cero; solo necesitamos su correo electrónico, compartimos el documento con usted, y eso es todo. Así que sí, esto es muy, muy malo”, dice Bargury.
Operai no respondió de inmediato a la solicitud de comentarios de Wired sobre la vulnerabilidad en los conectores. La compañía introdujo conectores para ChatGPT como una función beta a principios de este año, y su sitio web enumera al menos 17 servicios diferentes que pueden vincularse con sus cuentas. Dice que el sistema le permite “llevar sus herramientas y datos a ChatGPT” y “buscar archivos, extraer datos en vivo y contenido de referencia directamente en el chat”.
Bargury dice que informó los hallazgos a OpenAi a principios de este año y que la compañía introdujo rápidamente mitigaciones para evitar la técnica que utilizó para extraer datos a través de conectores. La forma en que funciona el ataque significa que solo se puede extraer una cantidad limitada de datos a la vez: los documentos llenos no se pueden eliminar como parte del ataque.
“Si bien este problema no es específico para Google, ilustra por qué es importante desarrollar protecciones sólidas contra ataques de inyección inmediatos”, dice Andy Wen, director senior de gestión de productos de seguridad en Google Workspace, señalando las medidas de seguridad de IA recientemente mejoradas de la compañía.
