- Géminis en el espacio de trabajo presenta oportunidades únicas para el fraude, advierten los investigadores
- La herramienta AI se puede engañar para mostrar advertencias de seguridad falsas
- Las empresas deben asegurarse de que la IA no procese el texto invisible.
Los cibercriminales han encontrado una nueva forma creativa de abusar de la inteligencia artificial generativa de Google (Genai) para robar cuentas de Gmail de las personas.
Google introdujo Gemini, su asistente de chatbot con IA en su conjunto de aplicaciones de productividad de espacio de trabajo hace algún tiempo, y una de las cosas que Gemini puede hacer es resumir los correos electrónicos entrantes, por lo que cuando una persona recibe un correo electrónico, puede mencionar un panel vertical en la parte derecha de la pantalla derecha de la pantalla, preguntando a Gemini para obtener asistencia con diferentes cosas, tales como la información vital del correo electrónico, agregando las entradas de la pantalla derecha, y más.
Sin embargo, los expertos han advertido que esto también abre las cuentas de Gmail para los llamados ataques de “inyección inmediata”, por lo que si el mensaje de correo electrónico entrante contiene una solicitud oculta para Gemini, se puede ejecutar en el panel.
¿Géminis Phishing para su contraseña?
Según el investigador de seguridad Marco Figueroa, esto es exactamente a lo que el proveedor de correo electrónico ahora es susceptible.
Al usar HTML y CSS, los actores de amenaza pueden agregar un aviso para Gemini, con su tamaño de fuente establecido en cero y su color a blanco. Por lo tanto, la víctima no podrá verlo, pero Géminis actuará en consecuencia. Si ese aviso hace que Gemini muestre un mensaje de phishing, hará exactamente eso, y dado que el mensaje provendrá de una fuente confiable, aumenta las posibilidades de éxito.
Figueroa mostró cómo un aviso malicioso podría notificar a la víctima que su cuenta de correo electrónico se ha visto comprometida y que deben “llamar” a Google en un número de teléfono que se muestra en el mensaje para resolver el problema.
Para proteger contra futuros ataques de inyección inmediata, las empresas deben asegurarse de que sus clientes de correo electrónico eliminen, neutralicen o ignoren el contenido que está diseñado para estar oculto en el texto del cuerpo. Además, podrían incluir un filtro de postprocesamiento que escanea la bandeja de entrada para “mensajes urgentes”, URL o números de teléfono.
Finalmente, las empresas deben educar a sus empleados que los resúmenes proporcionados por la herramienta Gemini no deben ser un reemplazo de alertas de seguridad.
A pesar de que no hay evidencia de que los ataques de inyección inmediata se estén utilizando en la naturaleza, Google reconoció su existencia y está trabajando en mitigaciones.
En una declaración enviada por correo electrónico compartida con Techradar Proun portavoz de la compañía confirmó que defender contra ataques de inyección inmediatos es una prioridad en Google:
“Estamos constantemente endureciendo nuestras defensas ya robustas a través de ejercicios de equipo rojo que entrenan a nuestros modelos para defenderse de este tipo de ataques adversos”, dijeron.
Google también ha publicado recientemente un blog que describe las defensas específicas que actualmente está implementando para ataques de estilo inyección inmediato. Estas defensas son actualmente de forma media, T se agregó T.
A través de BleepingComputer
