Kulturerbe und künstliche Intelligenz

Im 'Horizon Europe'-geförderten, dreijährigen Projekt SHIFT ("MetamorphoSis of cultural Heritage Into augmented hypermedia assets For enhanced accessibiliTy and inclusion") entwickeln derzeit 13 internationale Partner KI-gestützte Hilfsmittel zur barrierefreien und inklusiven Digitalisierung kulturellen Erbes.

Das Logo in weißen stilisierten Buchstaben auf blauem Hintergrund hat im Zentrum einen roten i-Punkt

Bei “SHIFT“, das Akronym steht für „MetamorphoSis of cultural Heritage Into augmented hypermedia assets For enhanced accessibiliTy and inclusion”, handelt es sich um ein durch die EU-Kommission gefördertes Projekt im Rahmen des Forschungs- und Innovationsprogramm Horizon Europe. Das Projekt mit einer dreijährigen Laufzeit (Oktober 2022 bis September 2025) vereint dreizehn Partner, welche über mehrere EU-Staaten und Berufs-Sparten verteilt sind. Schwerpunktmäßig bildet sich hierbei eine kooperative Gegenüberstellung technischer Partner und kulturinstitutioneller Partner, mit Unterstützung zusätzlicher Experten etwa in Heritage Management, Ethik und Recht, oder eben Repräsentanten betroffener Endnutzer, insbesondere der Blinden und Sehbeeinträchtigten durch den DBSV. Als deutsche Projektpartner sind weiterhin zu nennen die Staatlichen Museen zu Berlin/Preußischer Kulturbesitz, die TU München, und das Unternehmen audEERING, europaweit kommen hinzu das Semmelweis-Museum für Medizingeschichte aus Ungarn, die nationale Assoziation öffentlicher Bibliotheken und Bibliothekare Rumäniens, und das Balkan Museumsnetzwerk als kulturinstitutionelle Partner einerseits, andererseits die Forschungseinrichtungen Queen Mary University of London und Foundation of Research and Technology – Hellas, sowie die Unternehmen Software Imagination & Vision aus Rumänien und Massive Dynamics Sweden als technische Partner. Abgerundet wird das Konsortium durch die Ethik und Recht-Experten ETICAS aus Spanien und die Heritage Management Organization mit Sitz in Athen.  

Das Bild zeigt die Firmenlogos der Projektpartner

Projektziel, das Akronym deutet es an, ist die Entwicklung eines losegefassten Toolkit bzw. Framework, welches kulturelles Erbe mithilfe modernster digitaler Technologien wie Machine Learning und Künstlicher Intelligenz auf multimodale Weise barrierefreier, inklusiver, aber auch attraktiver für gegenwärtige Nicht-Nutzer machen soll. Non-User meint hierbei durch technische, physische, oder körperliche Barrieren Ausgeschlossene, aber auch solche deren gegenwärtiges Desinteresse oder etwa Mangel an Verbundenheit zum Kulturerbe eine indirekte Hürde bzw. Ausschlusskriterium darstellt.  

Grob zusammengefasst beinhaltet das SHIFT-Framework folgende Tools: ein

a.) visuelles Toolkit, etwa Bilderkennung und -Transformation zur besseren Erkennbarkeit oder in Dreidimensionalität, oder auch Transkription,

b.) auditives Toolkit, synthetische affektive Sprachausgabe, Reproduktion originaler Emotionalität bei Übersetzungen,

c.) haptisches Toolkit, Digitalisierung von Kunstwerken und Artefakten als tastbare 3D-Objekte mittels VR-Handschuh,

d.) IPR Toolkit, zur Sicherung und Wahrung etwaiger Eigentumsrechte im europäischen bzw. internationalen Kontext.

Für die Bedürfnisse von Blinden und Sehbeeinträchtigten sind hierbei besonders das auditive und das haptische Toolkit von Interesse.  

Das Bild zeigt eine Dame, die eine VR-Brille trägt, und mit Sensoren an den Fingern nach etwas Virtuellem greift

Das Virtual Reality & Haptics Framework

Eine zentrale Anwendung ist beispielsweise das vorwiegend von FORTH entwickelte VR/Haptics Accessibility Envirionment. Hier werden Kunstwerke, insbesondere aber Kunstobjekte bzw. deren Wahrnehmung virtuell simuliert. Das heißt, zweidimensionale Gemälde können mittels VR-Brille aus der Nähe und im Detail betrachtet werden, Modifikationen zur besseren Sichtbarkeit wie Zoom oder Kontrasterhöhung können für Sehbeeinträchtigte per Overlay appliziert werden, dreidimensionale Objekte können von unterschiedlichen Blickwinkeln betrachtet werden, und – hier findet sich eine Verknüpfung zum auditiven Toolkit – es können Deskription und Infos eingeblendet bzw. vorgelesen werden. Die Navigation im virtuellen Ausstellungsraum kann vom System geführt erfolgen, und ermöglicht leichtere Navigation beziehungsweise überhaupt Zugang bei Orientierungs- oder Bewegungsbeeinträchtigungen. Das spezielle Element stellt die Unterstützung eines haptischen Handschuhs dar. Über einen solchen ist es möglich, die Objekte auch zu ertasten, und dabei taktile oder auch temperaturempfindliches Feedback zu erhalten. Letzteres auch in der zweidimensionalen Ebene eines Gemäldes, welches Blinde natürlich mit der Hand erkunden können um sich punktuell Infos anzuhören.

Auch wenn dieses Hilfsmittel noch in der Entwicklung steckt, so konnten doch auch bereits Mitarbeiter und Gäste des DBSV erste Erfahrungen bei frühen Prototypentests mit Blinden und sehbeeinträchtigten Personen machen und Feedback äußern, als uns die griechischen Partner von FORTH im September 2023 in Berlin besuchten (wo auch das obige Foto entstand).Wir verfolgen die Entwicklung jedenfalls mit Spannung!

 

Mehr Infos folgen in Kürze, während das Projekt in die heiße Phase tritt.

Das Bild zeigt die Europaflagge und den Hinweis "Funded by the European Union"