BBC revela la red de spammers que se beneficia de las imágenes de Holocausto de IA

Una red internacional de spammers está publicando imágenes generadas por IA de víctimas del Holocausto en Facebook, según ha encontrado una investigación de la BBC sobre “AI Slop”.

Las organizaciones dedicadas a preservar la memoria del Holocausto dicen que las imágenes están dejando a los sobrevivientes y familias angustiadas.

También han criticado a la empresa matriz de Facebook, Meta, diciendo que permite a los usuarios en su plataforma convertir la atrocidad en un “juego emocional”.

Solo hay un puñado de fotos genuinas del interior del campo de concentración de Auschwitz durante la Segunda Guerra Mundial.

Pero en los últimos meses, los spammers de IA han publicado imágenes falsas que pretenden ser del interior del campamento, como un prisionero que interpreta un violín o amantes de la reunión en los límites de las cercas, lo que atrae a decenas de miles de gustos y acciones.

“Aquí tenemos a alguien inventando las historias … para algún tipo de juego emocional extraño que está sucediendo en las redes sociales”, dijo Pawel Sawicki, portavoz del Auschwitz Memorial en Polonia.

“Este no es un juego. Este es un mundo real, un sufrimiento real y personas reales que queremos y necesitamos para conmemorar”.

La BBC ha rastreado muchas de estas imágenes a las cuentas de una red de creadores de contenido con sede en Pakistán que colaboran de cerca sobre cómo ganar dinero en Facebook. Son el programa de monetización de contenido (CM) de Gaming Meta, un sistema “solo por invitación” que paga a los usuarios por contenido y vistas de alto rendimiento.

Una cuenta llamada Abdul Mughees, listada como viviendo en Pakistán, publicó capturas de pantalla que afirmaban haber ganado $ 20,000 a través de los esquemas de monetización de las redes sociales, incluidos los meta. Otra publicación parece mostrar que la cuenta acumuló más de 1.200 millones de vistas sobre el contenido en el lapso de cuatro meses.

No hemos podido verificar independientemente las ganancias de ningún creador.

Entre las muchas publicaciones de Facebook de la cuenta de Abdul Mughees se encuentran varias fotos generadas por IA de víctimas ficticias del Holocausto e historias falsas que incluían a un niño escondido debajo de las tablas del piso o un bebé que se queda en vías del tren fuera de un campo de concentración.

El análisis de la BBC de las actividades en línea de la cuenta y docenas de otros como él sugiere que están publicando casi exclusivamente “SLOP AI”.

El término se refiere a imágenes y texto generados por IA de baja calidad, generalmente producidos en grandes volúmenes y spam a través de las redes sociales.

Auschwitz se ha convertido en un tema popular para las páginas y grupos con temática de la historia. Algunos con nombres como “Tales Timeless” y “History Haven” publicaban más de 50 veces al día.

En junio, el Museo Auschwitz advirtió que se robaron cuentas como estos robando sus puestos, procesándolos a través de modelos de IA y a menudo deformando detalles históricos o fabricando narraciones y víctimas por completo. En una publicación de Facebook, el museo dijo que estas imágenes eran una “distorsión peligrosa” que “fala al respeto a las víctimas y acosa su memoria”.

Sawicki dijo que el tsunami de imágenes falsas estaba socavando la misión del Auschwitz Memorial de crear conciencia sobre el Holocausto.

“Ya comenzamos a recibir comentarios en nuestras publicaciones de Facebook que ‘Oh, esta es una fotografía generada por IA'”, dijo.

Según una organización, sobrevivientes y familias también se ven perturbados por el aumento de la SLOP del Holocausto.

“No entienden muy bien lo que están viendo”, dijo el Dr. Robert Williams, de la Alianza Internacional de Recuerdo del Holocausto.

Dijo que los sobrevivientes del Holocausto sentían una “cierta sensación de tristeza que esto se ha permitido que suceda” a pesar de las inversiones del gobierno y la filantrópica en campañas de concientización.

“Sienten que sus esfuerzos no han sido suficientes”, dijo.

“Eso es algo muy triste a considerar porque el último de los sobrevivientes pronto nos dejará”.

Meta no alienta intencionalmente a los usuarios a publicar historias falsas, incluso sobre el Holocausto, pero su sistema recompensa las publicaciones con un alto compromiso. La BBC también ha encontrado cuentas de AI Slop con sede en India, Vietnam, Tailandia y Nigeria.

Para comprender por qué estas redes están produciendo en masa tipos específicos de contenido, la BBC habló con un hombre paquistaní Fazal Rahman, quien está inscrito en varios esquemas de monetización de contenido de las redes sociales y dice que este trabajo se ha convertido en su única fuente de ingresos.

Si bien dice que no crea ninguna imagen del Holocausto, y no sabía qué significaba la palabra cuando se le pidió inicialmente, opera en los mismos grupos de Facebook que los que lo hacen.

Rahman dijo que una página de Facebook con 300,000 seguidores podría ganar su propietario $ 1,000 USD al mes si tuviera “contenido premium” atendido a audiencias de mayor valor del Reino Unido, EE. UU. Y Europa. Estima que los puntos de vista occidentales valían ocho veces más por post que los de Asia.

Dijo que la historia como tema era un impulsor confiable del tráfico en línea.

Otros creadores parecen estar de acuerdo. La BBC ha visto videos instructivos paso a paso sobre cómo los modelos de IA populares podrían usarse para generar imágenes y texto de historia falsas continuas.

En un video, el Creador le pidió al AI Chatbot que enumerara eventos históricos clave que podrían usar como base para la creación de contenido y se le dio el Holocausto como una de sus respuestas.

Otros consejos dados por algunos creadores incluyen consejos sobre cómo engañar al público, al hacer que su página se haga pasar por otras entidades para construir audiencias y ser elegible para el programa CM de Meta.

Facebook tiene una función de transparencia de página, que permite a los usuarios rastrear los nombres anteriores de las páginas. Utilizando esto, la BBC encontró muchas páginas que habían publicado el Holocausto Ai Slop que una vez se hizo pasar por una variedad de entidades diferentes, incluidos los departamentos oficiales de lucha contra incendios en los Estados Unidos, negocios comerciales e influyentes estadounidenses, todo sin su consentimiento.

Estas páginas, según las publicaciones públicas de los creadores, también se pueden vender o alquilar a aquellos que buscan entrar en el mercado de Content Creator.

La BBC le preguntó a Meta sobre varios perfiles que habían publicado contenido de IA con temática de Holocausto y también parecían haberse involucrado en prácticas engañosas.

Varios de los perfiles y grupos fueron eliminados, incluidos los que originalmente marcaron el Auschwitz Memorial en junio.

Un portavoz del gigante tecnológico dijo que si bien esas imágenes falsas no violaron sus políticas de contenido, las investigó y descubrió que rompieron sus reglas en torno a la suplantación o el comercio de páginas.

“Eliminamos las páginas y los grupos compartidos con nosotros y deshabilitamos las cuentas detrás de ellas por violar nuestras políticas sobre el spam y el comportamiento no auténtico”, dijeron.

La IA se ha utilizado en el pasado para conmemorar el Holocausto y dar vida a las historias de las víctimas reales, pero el Dr. Williams de la Alianza de Recuerdo Internacional del Holocausto advierte que existe un riesgo que esto puede contribuir a la sensación de que la historia del Holocausto de alguna manera se fabrica de alguna manera.

“Cualquier forma de manipulación extrema es algo de lo que debemos rehuir”, dijo.

Informes adicionales de Umer Draz Nangiana, BBC Urdu