El análisis de los millones de obras que forman parte del patrimonio cultural y artístico se presenta como una tarea formidable para el ser humano; no obstante, los superordenadores podrían asumir este desafío. Antes de esto, las máquinas deben ser entrenadas para ejecutar dicho análisis.
El proyecto europeo Saint George on a Bike, coordinado por el Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) en colaboración con la Fundación Europeana, comenzó en 2019 con el objetivo de emplear el supercomputador MareNostrum4 para entrenar modelos de inteligencia artificial (IA). Estos modelos ayudarán a interpretar mejor el patrimonio cultural europeo, al tiempo que difunden a la ciudadanía la riqueza, valor e importancia de conservar dicho patrimonio.
En una reciente iniciativa, se ha lanzado una campaña en un portal de ciencia ciudadana para recoger anotaciones que permitan a los modelos computacionales interpretar 5.000 obras pictóricas europeas. El objetivo es generar descripciones automáticas de cientos de miles de imágenes provenientes de diferentes repositorios del patrimonio cultural, empleando algoritmos de procesamiento del lenguaje natural y aprendizaje profundo.
En esta segunda fase del proyecto, los investigadores han iniciado una campaña de colaboración colectiva en Zooniverse, un portal de ciencia ciudadana, para recopilar miles de anotaciones manuales que perfeccionen el entrenamiento de estos modelos de IA. La campaña es completamente abierta, permitiendo que cualquier persona participe en el análisis de las mencionadas 5.000 obras pictóricas europeas.
Por primera vez, la inteligencia artificial proporciona descripciones de imágenes del patrimonio cultural con la mayor cobertura temática, de objetos y relaciones iconográficas, considerando el contexto temporal de creación de las obras y las reglas de composición de épocas y escenas de iconografía sagrada entre los siglos XII y XVIII.
«Este ambicioso proyecto interpreta por primera vez imágenes según su contexto, y busca así dotar a las máquinas de un cierto sentido común, que es una de las grandes barreras de la IA a día de hoy», declara Joaquim Moré, investigador del BSC y experto en lingüística computacional del proyecto. «Por ejemplo, cuando en un primer momento el sistema identifica una moto en una pintura de San Jorge del siglo XV, se corrige e identifica el objeto más plausible por la época, que es el caballo. Más adelante, esta adaptación se hará al contexto cultural. Así, en el contexto cultural japonés lo que en Europa llamaríamos un caballero, sería un samurái», explica.
Gracias a esta iniciativa, se lograrán análisis más profundos de las pinturas, detección de imágenes o composiciones inéditas y la identificación de relaciones y simbolismos en sus elementos. Esto contribuirá al desarrollo de iniciativas culturales y de difusión, como exposiciones virtuales con pinturas relacionadas de todo el mundo.
“Nuestro proyecto permitirá un acceso rápido a información cultural que puede utilizarse no sólo para fines culturales y sociales, sino también en otros sectores como el educativo y el turístico. Posiblemente, también sea de ayuda para historiadores o antropólogos”, afirma Maria-Cristina Marinescu, investigadora del BSC y coordinadora de Saint George on a Bike. “Además –concluye–, la sociedad en general también puede beneficiarse de mejores servicios públicos, como por ejemplo una mejor accesibilidad a páginas web para las personas con discapacidad visual, narrativas que pueden exponer la injusticia social, o la integración a través del patrimonio cultural colectivo para ayudar a crear una identidad europea más tolerante”.
