700 voluntarios le enseñan a computadoras cómo reconocer obras de arte para mejorar su relación con la inteligencia artificial

“Nuestro gran reto es dotar a la inteligencia artificial (IA) de sentido común”, explica el investigador del Barcelona Supercomputing Center (BSC), Joaquim Moré. Este experto en lingüística computacional comprobó hasta qué punto las máquinas son incapaces de contextualizar al realizar una prueba de reconocimiento de imágenes con la obra San Jorge matando al dragón de Rafael. “El casco lo identificaba como el casco de un motorista y el dragón situado al pie del caballo como un perrito”, recuerda.

La razón de los errores de interpretación que comete la IA proviene de la insuficiencia de datos, tal como lamenta Joaquim Moré: “reconoce personas montadas en vehículos porque cuenta con más datos de la vida cotidiana actual, pero no un dragón o un caballo para ponerse en el contexto del momento de la obra. “Es lo que intentamos solucionar con el proyecto Saint George on a Bike. Le vamos a poner a la IA una capa cultural para que haga las identificaciones adecuadas.”, revela.

Gracias a esta iniciativa, que tiene la ambición de que las máquinas interpreten las imágenes, es la primera vez que la inteligencia artificial proporciona descripciones de imágenes del patrimonio cultural teniendo en cuenta el contexto temporal de creación de las obras de arte.

El proyecto Saint George on a Bike, que está coordinado por el BSC en colaboración con Europeana Foundation, entrena estos modelos de Inteligencia Artificial utilizando algoritmos de procesamiento del lenguaje natural y deep learning. “La clave es recopilar unas bases de datos muy potentes. Sin embargo, nos metimos en el proyecto sin saber que casi no había nada de arte, ya que existen algunos conjuntos de datos muy limitados, no es extenso ni de buena calidad”, advierte la investigadora del BSC y coordinadora de Saint George on a Bike, Maria-Cristina Marinescu.

Para que las máquinas puedan contar con la cantidad de datos necesaria para el entrenamiento del modelo de IA, recurrieron a la ciencia ciudadana, que es habitual en proyectos de otros ámbitos como el medio ambiente. Recurrieron al portal de crowsourcing Zooniverse, que aún tiene activa la campaña del proyecto Saint George on a Bike, donde ya se han inscrito más de 700 voluntarios. Una de esas personas que recogen anotaciones descriptivas es la investigadora de la Universidad NOVA de Lisboa Giulia Sonetti, que además de ciencia ciudadana también es voluntaria social de la asociación En bici sense edat, con la que recoge a ancianos de las residencias para llevarlos en bicicleta. “Me gusta colaborar y más si es para recoger datos científicos”, celebra.

Otra de las voluntarias de Saint George on a Bike es la artista Júlia Pérez, que previamente ha trabajado en otros proyectos relacionados con el mundo tecnológico como la generación de modelos tridimensionales virtuales de esculturas. “En Bellas Artes nos enseñan los requisitos para una construcción visual, con elementos como la luz que estructura un cuadro. A mi al inicio me costaba describir la imagen sin tener en cuenta estos elementos. Toda esta información que las personas percibimos involuntariamente y nos produce una emoción son capas que en un futuro se podrán ir incorporando a la IA, aunque de momento nos limitamos a describir las imágenes”, reconoce Pérez. La investigadora del BSC Maria-Cristina Marinescu aclara que, por ahora, se centran en “entrenar un modelo para que, cuando le pases otra foto distinta de una obra de arte, pueda describir bien lo que aparece en ella, a partir de los datos que hemos introducido de otras descripciones, pero no su simbolismo.

El sistema logra realizar deducciones utilizando un modelo de lenguaje. Moré pone un ejemplo: “recurrimos al ingenio, para que consiga deducir que si tenemos en un cuadro una persona montada en un caballo, se trata de un jinete. Si además lleva una espada, es un caballero”.

Para recoger estas descripciones, los investigadores del BSC se han centrado en imágenes de 16.000 obras de los siglos XII a XVIII, que han conseguido de museos y agregares. Se han centrado en ese período, “principalmente porque no hay pintura abstracta”, señala Marinescu. “Tenemos ya más de 11.000 descripciones de 3000 obras de arte. Los voluntarios van a un ritmo de 150 anotaciones al día. Es importante disponer de varias descripciones distintas de cada imagen, para poder disponer de más datos de calidad”, destaca la coordinadora del proyecto.

El proyecto tendrá múltiples aplicaciones. “Además de generar datos ricos y de calidad sobre el patrimonio cultural para que la gente pueda acceder a ellos de manera abierta, servirá para que los museos organicen mejor su patrimonio y puedan realizar análisis y poner en marcha iniciativas creativas”, apunta su coordinadora Maria-Cristina Marinescu. “También para que los artistas pueden buscar iconografías para hacer obras rompedoras iconográficamente. Por ejemplo, Jesucristo nunca aparece comiendo”, añade el investigador del BSC Joaquim Moré.

Para que la ciudadanía entienda las posibilidades que ofrece el uso de la inteligencia artificial para la detección de imágenes, la extracción de relaciones entre miles de imágenes y la oportunidad de organizar exposiciones virtuales a partir de la relación entre obras de arte, el proyecto Saint George on a bike ha publicado un vídeo divulgativo.

Más allá del arte, “el mismo sistema puede explorarse para otros usos, ya que supone un primer paso hacia el reconocimiento de imagen contextual, a partir del cual la inteligencia artificial podrá ir más allá de lo que hace actualmente con los captchas, que están repletos de semáforos, coches y poco más”, concluye Moré.