La aplicación Fotos de Google aún no puede encontrar gorilas... y tampoco la de Apple

Cuando Google lanzó su aplicación independiente Fotos en mayo de 2015, las personas estaban maravilladas por lo que podía hacer: analizar imágenes para etiquetar a las personas, los lugares y los objetos en ellas, una oferta impresionante para los consumidores en ese momento. Sin embargo, un par de meses después del lanzamiento, un desarrollador de software, Jacky Alciné, descubrió que Google había etiquetado fotografías de él y un amigo, quienes son de raza negra, como “gorilas”, un término que es en particular ofensivo porque hace eco de siglos de usos racistas de dicha palabra.

En la controversia que se desató como consecuencia, Google modificó su software para evitar que categorizara cualquier cosa en Fotos como gorilas y prometió arreglar el problema. Ocho años después, con avances importantes en inteligencia artificial (IA), probamos si Google había resuelto el problema y revisamos herramientas similares de sus competidores: Apple, Amazon y Microsoft.

Hubo un miembro de la familia de los primates que Google y Apple fueron capaces de reconocer: los lemures, los animales de cola larga que siempre parecen tener mirada de asombro y que comparten los pulgares oponibles con los humanos, pero son parientes más lejanos que los simios.

Las herramientas de Google y Apple fueron claramente las más sofisticadas en cuanto a análisis de imagen.

Aun así, Google, cuyo software Android es el sistema operativo de la mayoría de los teléfonos inteligentes del mundo, ha tomado la decisión de desactivar la función de identificar primates de manera visual por temor a cometer un error que resulte ofensivo o etiquetar a una persona como un animal. Apple, con tecnología que tuvo un desempeño similar a la de Google en nuestra prueba, al parecer también desactivó la función de buscar monos y simios.

Es posible que los consumidores no necesiten realizar con frecuencia tal búsqueda (aunque, en 2019, un usuario de iPhone se quejó en el foro de soporte al cliente de Apple de que el software “no puede encontrar monos en fotos en mi dispositivo”). Sin embargo, el problema plantea cuestionamientos mayores sobre otras fallas que no se han arreglado o no se pueden arreglar y que yacen en servicios que dependen de la visión artificial (una tecnología que interpreta imágenes visuales), así como otros productos impulsados por inteligencia artificial.

Alciné se mostró consternado al saber que Google aún no ha reparado el problema por completo y opinó que la sociedad confía demasiado en la tecnología.

El desarrollador de software agregó: “Nunca tendré fe en esta IA”.

Los productos de visión artificial ahora se utilizan para tareas tan mundanas como enviar una alerta cuando hay un paquete en la puerta y tan importantes como la navegación de los autos y encontrar perpretadores en investigaciones iniciadas por las fuerzas del orden.

Los errores pueden reflejar actitudes racistas entre quienes codifican los datos. En el incidente de los gorilas, dos exempleados de Google que trabajaron en esta tecnología afirmaron que el problema era que la compañía no había puesto suficientes fotografías de personas negras en la colección de imágenes que empleó para entrenar a su sistema de inteligencia artificial. Por lo tanto, la tecnología no estaba suficientemente familiarizada con las personas de tez más oscura y las confundió con gorilas.

A medida que la inteligencia artificial se integra más a nuestras vidas, provoca temores de consecuencias no deseadas. Aunque los productos de visión artificial y los chatbots de inteligencia artificial como ChatGPT son diferentes, ambos dependen de una gran cantidad de datos subyacentes que entrenan al software y ambos pueden cometer equivocaciones debido a fallas en los datos o sesgos incorporados en su código.

Hace poco, Microsoft limitó la capacidad de los usuarios de interactuar con un chatbot integrado a su motor de búsqueda, Bing, después de que instigó conversaciones inapropiadas.

La decisión de Microsoft, como la de Google de evitar por completo que su algoritmo identifique gorilas, ilustra una estrategia común en la industria: aislar las características tecnológicas que funcionan mal en lugar de arreglarlas.

Vicente Ordóñez-Román, un profesor en la Universidad Rice que estudia la visión artificial, comentó: “Resolver estas fallas es importante. ¿Cómo podemos confiar en este software en otros casos?”.

Michael Marconi, un portavoz de Google, declaró que la compañía había inhabilitado la función de etiquetar cualquier cosa como un mono o un simio en su aplicación fotográfica porque decidió que el beneficio “no compensa el riesgo de hacer daño”.

Apple declinó hacer comentarios sobre la incapacidad de los usuarios para buscar la mayoría de los primates en su aplicación.

Representantes de Amazon y Microsoft indicaron que las empresas siempre están buscando mejorar sus productos.

Visión mala

Cuando Google estaba desarrollando su aplicación de fotos, recolectó una gran cantidad de imágenes para enseñar al sistema de inteligencia artificial a identificar personas, animales y objetos.

Su descuido significativo (de no incluir suficientes fotografías de personas negras en sus datos de entrenamiento) causó que la aplicación fallara más tarde, según indicaron dos exempleados de Google. La compañía no logró detectar “el problema de los gorilas” en ese entonces porque no había pedido a suficientes empleados que probaran la función antes de su debut público, manifestaron los exempleados.

Años después del error de Fotos de Google, la compañía halló un problema similar con su cámara de seguridad residencial Nest durante las pruebas internas, según una persona familiarizada con el incidente que trabajaba en Google en ese momento. La cámara Nest, que usaba inteligencia artificial para determinar si alguien en una propiedad era conocido o desconocido, confundió a algunas personas negras con animales. La persona señaló que Google se apresuró a resolver el problema antes de que los usuarios tuvieran acceso al producto.

No obstante, algunos clientes de Nest continúan quejándose en los foros de la empresa sobre otras fallas. En 2021, un cliente recibió alertas de que su madre estaba tocando el timbre, pero encontró a su suegra al otro lado de la puerta. Cuando los usuarios se quejaron de que el sistema estaba confundiendo los rostros que habían marcado como “conocidos”, un representante de atención al cliente en el foro les aconsejó que eliminaran todas sus etiquetas y comenzaran de nuevo.

¿La solución?

Aunque Google trabajó tras bastidores para mejorar la tecnología, nunca permitió a los usuarios juzgar esos esfuerzos.

Margaret Mitchell, una investigadora y cofundadora del grupo de Inteligencia Artificial Ética de Google, se unió a la compañía después del incidente de los gorilas y colaboró con el equipo de la aplicación de Fotos. Mencionó en una entrevista reciente que ella fue una de las personas que propusieron la decisión de Google de retirar “la etiqueta de gorilas, al menos durante un tiempo”.

Mitchell afirmó: “Tienes que reflexionar con qué frecuencia alguien necesita etiquetar a un gorila frente a la posibilidad de perpetuar estereotipos dañinos. Los beneficios no superan los daños potenciales de hacerlo mal”.

Mitchell, que ya no trabaja en Google, aseguró que estos sistemas nunca son a prueba de fallas. Debido a que miles de millones de personas usan los servicios de Google, surgirán incluso fallas poco comunes que solo le suceden a una persona entre mil millones de usuarios.

Mitchell concluyó: “Solo se necesita un error para tener ramificaciones sociales masivas” y se refirió a dicho error como “la aguja envenenada en un pajar”.

c.2023 The New York Times Company