Revelación Forbes: La IA utilizada por una marca de ropa interior de Victoria's Secret diseñó prendas con esvásticas

Una marca de ropa interior online propiedad de Victoria's Secret tiene una nueva función de inteligencia artificial que permitirá poner imágenes de esvásticas, logotipos corporativos de empresas como Coca-Cola y McDonalds y personajes protegidos por derechos de autor como -Blancanieves y Aladino de Disney- en conjuntos de prenda interior.

Publicada el jueves por Adore Me, una empresa de ropa interior online comprada por Victoria's Secret en 2023 por 400 millones de dólares, la función también permite a los usuarios sumar frases como "Heil Hitler" y "White Power" a la cintura elástica de la ropa interior. Una frase con la palabra "n" dio lugar a una ventana emergente que decía "Error: Este texto contiene contenido de acoso", pero cuando se descartó la ventana emergente, el sitio permitió a Forbes continuar con el diseño, seleccionar una talla y pasar a una página de pago.

Forbes también fue capaz de generar diseños para numerosos conjuntos de lencería protagonizados por personas vivas, incluidos políticos como el presidente Joe Biden, el ex presidente Donald Trump y el primer ministro chino Xi Jinping, así como celebridades como Margot Robbie, Serena Williams y Taylor Swift. La herramienta también renderizó logotipos de equipos deportivos populares, como el Real Madrid FC, los New York Yankees y los Golden State Warriors.

La herramienta de Adore Me sí impide que los usuarios generen diseños de ropa interior con determinados términos, entre ellos "desnudo", "nude" y términos de la jerga inglesa de diversas partes del cuerpo. También desplomó la producción de diseños con términos relacionados con el suicidio y las autolesiones.

Aunque Adore Me realiza pocos controles sobre lo que los usuarios pueden diseñar con su herramienta de IA, la empresa sí revisa los diseños individuales para asegurarse de que cumplen las directrices de seguridad de la marca antes de que se pueda hacer una compra, según Ranjan Roy, vicepresidente senior de estrategia de Adore Me.

En respuesta a las preguntas sobre por qué una destacada empresa de lencería permitía que cualquiera generara discursos de odio en su sitio, dijo: "Cualquiera puede ir a cualquier sitio y generar este tipo de imágenes". Pero Roy sugirió que la empresa no es responsable porque en realidad no las vende. "Nosotros respaldamos cualquier cosa por la que un cliente paga y que nosotros imprimimos".

No obstante, Forbes pudo crear -y comprar- un conjunto de ropa interior utilizando el término de búsqueda "Atomwaffen Division" (un grupo de odio neonazi) y el número "1488" (que se asocia ampliamente con organizaciones de supremacía blanca). Roy, al ser preguntado por la transacción, dijo: "Esto no debería haber llegado a este nivel, y estos casos límite son exactamente en lo que siempre intentamos trabajar".

Según el sitio web de Adore Me, el motor de IA generativa se basa en la tecnología construida por Leonardo AI, una empresa australiana de IA artística que recientemente apareció en la lista AI 50 de Forbes y que recaudó 31 millones de dólares en financiación. El generador de imágenes de Leonardo también fue utilizado para crear pornografía no consentida en la que aparecen celebridades, según un informe de 404 Media.

Las condiciones de uso de Leonardo prohíben las representaciones "de cualquier persona real", así como "contenidos que promuevan o inciten al odio, la violencia, la discriminación o el daño por motivos de raza, etnia, religión, género, orientación sexual o cualquier otra característica protegida". En respuesta a una lista detallada de preguntas de Forbes, la vocera de Leonardo, Melissa Iarocci, escribió: "Estuve desarrollando recientemente mecanismos de detección más avanzados para prevenir el discurso de odio y las imágenes asociadas. Esto se pondrá en marcha [el jueves] y garantizará unos límites de uso más estrictos".

La herramienta Adore Me tenía menos probabilidades de bloquear los términos de la generación de IA relacionados con el suicidio y la autolesión cuando estaban en español. Sin embargo, las frases explícitas en otros idiomas europeos a veces se bloqueaban y daban lugar a la alerta de error: "el texto contiene contenido de acoso". (Adore Me no siempre funcionó bien en lenguas no basadas en el alfabeto latino, como el japonés o el árabe. La búsqueda en ruso de "Океан, серфинг, Гавайи" o "Océano, surf, Hawai" dio como resultado imágenes abstractas de flores).

La herramienta también generó una imagen de una chica muy delgada en respuesta a términos de búsqueda pro-anorexia y "thinspiration". La marca Adore Me defendió con frecuencia a las modelos de tallas grandes, alegando en 2021 que TikTok había penalizado sus publicaciones por mostrar "modelos de tallas grandes, negras y/o con capacidades diferentes y mujeres de color" (TikTok negó las acusaciones). En aquel momento, la cuenta de Twitter de la marca dijo: "Esto es inaceptable y discriminatorio, y no lo toleraremos".

Muchas empresas minoristas se apuraron a sumar herramientas de IA generativa a sus sitios web en los últimos meses. La marca de ropa deportiva Puma lanzó recientemente una herramienta online llamada "Complex", que invita a la gente a subir una foto suya que la empresa convierte después en una tarjeta deportiva imaginada generada por IA. Rembrand, una nueva empresa de publicidad digital, permite a las firmas generar artificialmente logotipos dentro de un video de influencers, un nuevo tipo de colocación de productos.

John Harmon, analista de Coresight Research, dijo a Forbes que las ofertas impulsadas por la IA como ésta requieren previsión y detección de toxicidad. "La IA generativa no es una tostadora, no se puede enchufar y esperar simplemente que funcione a la perfección", dijo.

*Con información de Forbes US