Un reportaje del Centro Pulitzer destapó una falla en los filtros de moderación de contenido de Meta que permitió que circularan imágenes de abuso infantil generadas con inteligencia artificial (IA) en Instagram.
Los investigadores descubrieron que, al menos una docena de perfiles, compartían abiertamente imágenes de niños, niñas y adolescentes sexualizados, generadas con IA. Además, estas cuentas tenían cientos de miles de seguidores.
En total encontraron 14 perfiles, y todos tenían un curioso patrón, “personajes rubios de cuerpos voluptuosos y pechos generosos, ojos azules y rostros infantiles. Estas figuras se representaban en diversos contextos sexualizados: en bikini, lencería o vestidos escotados”.
“No se trataba de modelos adultas, sino de representaciones de adolescentes e incluso niños“, concluye el reportaje.
La investigación no pudo confirmar si es que esta serie de perfiles pertenecía a una misma red o si es que las imágenes hechas con IA estaban basadas en personas reales.
Instagram no fue la única plataforma que dejó pasar este contenido, en algunos de estos perfiles los seguidores fueron redirigidos a Patreon y Fanvue, plataformas de suscripción donde se suele pagar para acceder a contenido de mayor calidad.
Además, en dos de las cuentas los usuarios también fueron redirigidos a grupos de WhatsApp o Telegram, donde se compartían consejos sobre cómo crear imágenes ilícitas con IA y material real de abuso infantil.
Meta permitió el contenido de abuso infantil en Instagram
Tras ser contactada por los investigadores, Meta no respondió a consultas sobre el funcionamiento de sus sistemas de moderación de contenido, pero sí entregó una declaración.
La compañía de Mark Zuckerberg eliminó las cuentas que fueron informadas por los investigadores y manifestó que “tenemos normas estrictas contra la sexualización infantil, tanto real como generada por IA“.
Estas normas incluso aplican para contenido inofensivo relacionado con la apariencia de menores de edad. “Al igual que en el caso de la sexualización explícita, también eliminamos las cuentas de Instagram dedicadas a compartir imágenes inofensivas de niños, tanto reales como generadas por IA, acompañadas de descripciones o comentarios sobre su apariencia“.
Respecto a los grupos de WhatsApp, señalaron que “también tiene tolerancia cero ante la explotación y el abuso sexual infantil, y expulsamos a los usuarios cuando detectamos que comparten contenido que explota o pone en peligro a menores”.
Si bien los mensajes de WhatsApp son cifrados de extremo a extremo, “dispone de información sin cifrar, incluyendo denuncias de usuarios, para detectar y prevenir este tipo de abuso“.
Pese a que Meta se hizo cargo de estas cuentas, un grupo de WhatsApp permaneció activo y los investigadores pudieron acceder a él. Allí había 150 miembros, y solo fue eliminado luego de que los periodistas contactaran al administrador para cuestionar lo que hacían.
En los chats, los miembros se quejaban de las medidas de Meta: “Todo esto ocurre mientras los verdaderos explotadores infantiles escapan… interesante”, dijo uno de los usuarios.
Asimismo, planteaban que lo que hacían era “inofensivo”, ya que el ser contenido de IA no dañaban a nadie. “Tal vez prefieran tener víctimas infantiles reales en lugar de nuestra ‘zona gris’… lo cual no tiene sentido para mí”, dijo otro miembro.
“No quiero que nadie de mi vida real sepa que estoy haciendo esto”, escribió otro.
Las lagunas de Meta
Los investigadores creen que esto se debe a “lagunas técnicas” en los sistemas de Meta. Recordemos que, recientemente, Mark Zuckerberg hizo un cambio en esta área y suavizó sus políticas de moderación de contenido, alegando que había mucha censura, especialmente en discursos políticos.
Las políticas de Meta en estricto rigor prohíben el contenido que “sexualice a los niños”, sea con IA o real, pero lo monitorean usando sistemas automatizados.
El problema es que se ha descubierto que estos sistemas tienen ciertas limitaciones cuando se trata de revisar contenido con IA y algunos ciberdelincuentes aprovechan estas vulnerabilidades para publicar este tipo de material.
Estos sistemas en general identifican patrones, pero es más difícil entrenarlos si se trata de abuso infantil porque implicaría acceder a bases de datos de contenido ilegal.
Algunos expertos proponen identificar los rasgos faciales de niños o si sus cuerpos están siendo manipulados en las imágenes, pero aun así puede resultar ambiguo lo que la automatización reconozca o no como abuso infantil. Por ahora, ese es el desafío que enfrentan los sistemas de moderación.
Enviando corrección, espere un momento...
