Ob die drei Studenten wussten, als sie 2020 anfingen, was es bedeutet, eine spätgotische Kapelle zu digitalisieren? Nach zwei Jahren „Bauzeit“ ist der digitale Zwilling der Ritterkapelle Haßfurt jedenfalls fertig. Das Endergebnis ist beeindruckend – und sieht nach sehr viel Arbeit aus.
Wir haben die Ritterkapelle digital mit einer VR-Brille besichtigt und hatten den Eindruck, mitten in einer Kirche zu stehen. Man kann darin herumlaufen und einzelne Gegenstände betrachten. Die Detailtiefe der einzelnen Objekte ist verblüffend mit ganz viel Liebe zum Detail. Selbst die Orgel auf der Empore kann man „betreten“ und von oben auf den Kirchenraum blicken. Zudem kann der Sonnenstand und somit die Tageszeit ausgewählt werden, zu der man die Kapelle besucht.
Kurz, wir waren beeindruckt und hatten nach der „Besichtigung“ zahlreiche Fragen.
Antworten lieferten Projektleiter Prof. Dr. Nicholas Müller, Inhaber der Forschungsprofessur Sozioinformatik der FHWS, und Dr. Madlen Müller-Wuttke, Chief Digital Officer von Smart Green City Haßfurt.
Hinweis: Am Montag, 24. Oktober gibt es im Rahmen der WueWW 2022 eine Online-Projektvorstellung.
Jetzt aber zum Interview.
Wie es begann
Wie kam es zu diesem Projekt? Ist die „Digitale Ritterkapelle Haßfurt“ eine Abschlussarbeit?
Prof. Nicholas Müller: Nein, keine Abschlussarbeit. Im Sommersemester 2019 gab es das hochschulübergreifende Seminar „Interactive stories and playable narratives“, an dem Studierende aus den Fakultäten „Gestaltung“ (FHWS), Informatik (FHWS) und dem Studiengang Games Engineering (Uni Würzburg) teilgenommen haben.
Markus Arens von der Fakultät Gestaltung sowie Linus Wamser und Jonas Wolpold aus dem Bereich Games Engineering hatten bereits in ihrem Seminarbeitrag Photogrammetrie für die Texturierungen verwendet. Die Smart City Haßfurt hatte zu dem Zeitpunkt vor, im Rahmen von Digitalen Zwillingen genau diesen Ansatz für die Digitalisierung der Ritterkapelle auszuprobieren. Zu Beginn war es ein Versuchsballon, um herauszufinden, wie der Prozess aussieht, wie das genau funktioniert.
Dr. Madlen Müller-Wuttke: Die Ritterkapelle ist eines der Wahrzeichen der Stadt Haßfurt. Mit über 500 Jahren zählt sie zu den ältesten Gebäuden in der Region und durch das Verfahren der Photogrammetrie können Oberflächenstrukturen und Farbinformationen aufbewahrt und für spätere Restaurierungen in einigen Jahrzehnten herangezogen werden. Außerdem steht die Kapelle nun digital zur Verfügung und kann für virtuelle Führungen oder als Anschauungsobjekt im Schulunterricht verwendet werden.
Aber vor allem ist es ein perfektes Anschauungsobjekt dafür, wie verbindend Digitalisierung hinsichtlich einer sogenannten smarten Stadt sein kann. So vereint dieses gemeinsame Projekt gleich drei Aspekte: als Anwendungsbeispiel für einen digitalen Zwilling, für touristische Vorab-Informationen sowie darüber hinaus auch bildungsrelevante Aspekte.
Was heißt Photogrammetrie, und warum wurde dieses Verfahren gewählt?
Prof. Nicholas Müller: Bei der Photogrammetrie wird mit Hilfe von Fotos, Software und leistungsstarken Computern ein dreidimensionales, fotorealistisches Modell eines Objektes erstellt. Der Vorteil ist, dass Menschen selbst in 50 oder 60 Jahren anhand der verwendeten Fotos die Farbwerte an einem bestimmten Punkt in einem Kunstwerk feststellen und es so originalgetreu restaurieren könnten. Das geht mit anderen Methoden, bei denen Objekte am Computer händisch modelliert werden, nicht so einfach.
Wie es weiterging
Ihr habt im August 2020 angefangen, Fotos vom Innenraum zu machen. Wie lange hat das Projekt jetzt insgesamt gedauert?
Prof. Nicholas Müller: Fertiggestellt wurde der digitale Zwilling im Juni 2022, also nach knapp zwei Jahren „Bauzeit“. Das Team hat das jedoch nicht in Vollzeit gemacht, sondern neben dem Studium. Jetzt, da der eigentliche Arbeitsprozess einmal steht, kann das auch deutlich schneller gehen.
Wie muss man sich den Prozess vorstellen?
Prof. Nicholas Müller: Das Team war mehrfach vor Ort, um die Außen- sowie die Innenbereiche von allen Seiten zu fotografieren. Insgesamt sind so über 60.000 Bilder zusammengekommen. Für schwer zugängliche Bereiche haben wir eine Drohne benutzt, auf der eine Spiegelreflexkamera befestigt war. Das hat deutlich schneller, einfacher und von der Qualität her besser funktioniert, als wir erwartet hatten.
Neben Fotos kam auch ein Laserscanner zum Einsatz, um die Abstände korrekt abzubilden, beispielsweise bei Wänden oder der Kirchendecke. Dadurch standen uns die Oberflächengeometrien sehr detailliert zur Verfügung, und wir konnten die Photogrammetriedaten auf diese Oberflächen projizieren. Das Ergebnis ist der hohe Detailgrad in Kombination mit den realen Farbinformationen.
Dafür haben wir die Software RealityCapture verwendet, um aus den Fotos und Laserdaten eines Objektes bzw. eines Bereiches ein digitales Objekt zu erstellen.
Das hat mehrere Wochen in Anspruch genommen und einiges an Nacharbeit erfordert.
Dr. Madlen Müller-Wuttke: Manchmal zeigte sich auch, dass die Bildqualität nicht ausreichte. Dann konnten wir in Rücksprache mit der St. Kilian Pfarrei Haßfurt auch sehr kurzfristig noch einmal Zugang zu interessanten Orten der Kapelle ermöglichen.
Wir danken auch an dieser Stelle für die wunderbare Zusammenarbeit und die Möglichkeit, dieses Projekt umsetzen zu können. Denn es ist keine Selbstverständlichkeit, ein derartig historisches Gebäude per Drohnenbeflug zu dokumentieren.
Klingt alles nach jede Menge Arbeit …
Prof. Nicholas Müller: Das war es auch. Der Aufwand hat sich jedoch meiner Meinung nach gelohnt. Die Detailtiefe, aus denen der digitale Zwilling besteht, ist beeindruckend. Und durch die Verwendung der UnrealEngine, also einer handelsüblichen Engine für Videospiele, ist auch der Hardwarebedarf überschaubar.
Es macht Spaß, sich in der Kirche umzusehen [Anm. können wir bestätigen], gerade mit einer VR-Brille. Man kommt so auch an wenig zugängliche Orte, wie etwa der Orgel auf der Empore, die für Besuchende normalerweise nicht zugänglich ist. Man kann beispielsweise auch einmal hinter den Altar oder von oben in die Kapelle schauen. Aber am wichtigsten war für uns die Zusammenarbeit mit der Smart City, ohne die wir niemals Zutritt zum Gebäude erhalten hätten.
Dr. Madlen Müller-Wuttke: Die Zusammenarbeit zwischen Stadt und Hochschule hat wirklich sehr gut funktioniert. Alle Beteiligten waren sich ihrer jeweiligen Verantwortung in sensiblen Bereichen bewusst und auch die Genehmigung sowie die Durchführung der Drohnenaufnahmen in der Innenstadt haben reibungslos geklappt.
Was in Zukunft geplant ist
Was passiert jetzt mit dem digitalen Zwilling der Ritterkapelle Haßfurt?
Prof. Nicholas Müller: Der kann jetzt rund um die Uhr auf der Webseite Sketchfab online besichtigt werden, sowohl von innen als auch von außen am besten im Vollbildmodus. Die Detailtiefe ist zwar bei Weitem nicht so hoch wie mit einer VR-Brille im Labor, aber immer noch beeindruckend.
Dr. Madlen Müller-Wuttke: Wir haben auf der Website der Smart Green City Haßfurt den vollständigen Projektverlauf dokumentiert. Dort sind auch die Zwischenstände in Videoform sowie die finalen Modelle zu sehen.
Wie geht es weiter?
Dr. Madlen Müller-Wuttke: Da der Prozess nun erprobt ist, könnten weitere Bauwerke in dem Verfahren als digitale Zwillinge erstellt werden. Wir planen, eine Dokumentation zu erstellen, die auch anderen Städten im Rahmen des bundesgeförderten Programms der Modellprojekte Smart Cities zur Verfügung stehen wird.
Prof. Nicholas Müller: Jetzt, da damit Projekte in sehr hoher Qualität umgesetzt werden können, sind weitere Anwendungsbeispiele denkbar.
Welche wären das?
Dr. Madlen Müller-Wuttke: Denkbar ist auch ein Einsatz in Kunstausstellungen oder generell in Museen. Anders als bei virtuellen Ausstellungen, die auf 360-Grad-Aufnahmen setzen, gibt es bei der digitalen Ritterkapelle keine vorgefertigten Punkte, zu denen ich springe oder von denen aus ich etwas betrachten muss. In der digitalen Kapelle können Besucherinnen und Besucher durch die Kirche und um Objekte herumlaufen.
Was ist noch denkbar?
Prof. Nicholas Müller: Ich denke auch an hybride Lehre. Die Studierenden können sich in einem virtuellen Seminarraum aufhalten, welcher exakt so aussieht wie der Raum in der realen Welt. Also kein generischer Raum einer Konferenzsoftware, sondern die vertrauten vier Wände. Darüber hinaus wird an der Professur gerade das Modell der Ritterkapelle um eine Game-Based-Learning-Anwendung erweitert, bei der Wissen zur Kapelle mittels eines virtuellen Escape-Rooms vermittelt wird.
Zum Schluss die Frage: Wie geht es bei den Studis weiter?
Prof. Nicholas Müller: Aktuell (Stand September 2022) schreiben sie ihre Abschlussarbeiten. Es würde mich sehr freuen, wenn sie in dem Bereich weiter tätig werden.
Dr. Madlen Müller-Wuttke: An dieser Stelle von mir noch einmal Danke an das Studi-Team! Ich hoffe, dass es weitere Projekte gibt, bei denen wir die Technologie zusammen einsetzen können; gerne auch andere digitale Projekte, die uns in unserem Alltag ergänzen können. Und vielen Dank für das Interview!
Gerne und jetzt: viel Spaß beim Kirchenrundgang!
Foto: SGCH/Sozioinformatik, Jonas Wolpold