ANWEDUNGSBEISPIELE | Art Intelligence

ANWENDUNGSBEISPIELE

Echtheitsanalyse

Grundlage für diese Anwendung ist ein Ensemble aus fünf konvolutionalen Neuronalen Netzen (Convolutional Neural Networks, CNNs), das auf die Erkennung von mindestens 40 Künstlern aus verschiedenen Epochen trainiert wurde. Entsprechend der Mission und den Werten der Art Intelligence GmbH werden in der Analyse die Genauigkeiten der einzelnen CNNs sowie die des Ensembles offengelegt – und zwar für sämtliche Maler, mit denen diese Netze trainiert wurden.

Die Zahl der Werke, die der Art Intelligence GmbH von verschiedenen Künstlern zur Verfügung stehen, variiert sehr stark. So sind beispielsweise von Carel Fabritius, dem wohl talentiertesten Rembrandt-Schüler, weniger als drei Dutzend Werke überliefert. Die genaue Zahl ist unklar, da es bei einigen der Werke große Uneinigkeit unter Kunsthistorikern über die Urheberschaft gibt. Von Vincent van Gogh dagegen sind 1876 Bilder in dem Datensatz.

Die unterschiedliche Anzahl von Bildern spiegelt sich in der Genauigkeit des Modells für die jeweiligen Künstler wider. Hierbei besteht ein logarithmischer Zusammenhang, der in Abbildung 1 dargestellt ist.

Abbildung 1: Genauigkeit des Modells bei der Malerzuordnung im Verhältnis zur prozentualen Anzahl der Bilder einzelner Künstler im Datensatz.

Für die Echtheitsanalyse ist es jedoch nicht entscheidend, ob ein bestimmtes Bild in der Malerklassifizierung einem bestimmten Maler zugeordnet wird oder nicht. Vielmehr ist ausschlaggebend, wie stark das Modell den Stil des vermuteten Künstlers in dem Bild erkennt. Aus diesem Grund wendet die Art Intelligence GmbH ein abgewandeltes Evaluationsverfahren für die Prüfung der Echtheit an, das auf dem sogenannten SoftMax Output des Ensembles für den jeweiligen Künstler basiert.

Für das Verständnis dieser Vorgehensweise ist es wichtig, den Output des Modells richtig einzuordnen. Es handelt sich dabei um einen Vektor, dessen Dimension der Anzahl der Maler entspricht, mit dem das Modell bzw. die Modelle trainiert wurden. Jeder Eintrag dieses Vektors ist eine reelle Zahl zwischen 0 und 1, die mit der sogenannten SoftMax-Funktion berechnet wurde. Je höher der Wert, desto stärker erkennt das Modell den Stil des an der jeweiligen Stelle des Vektors verorteten Malers.

Der SoftMax Output ist nicht zu verwechseln mit der Wahrscheinlichkeit, dass es sich tatsächlich um ein Werk des vermuteten Künstlers handelt – auch wenn die Größe von zahlreichen KI-Praktikern so interpretiert wird. Die Werte können aus Sicht der Art Intelligence GmbH lediglich als Indikator dafür gewertet werden, ob es sich um ein Gemälde des vermuteten Künstlers handelt oder eben nicht.

Für die Echtheitsanalyse vergleicht die Art Intelligence GmbH den Softmax-Output des zu testenden Bildes nicht nur mit dem weiterer Originale, sondern auch mit Fälschungen oder Imitationen des jeweiligen Künstlers. Auf dieser Basis wird das Modell dann evaluiert – und zwar in Bezug auf die Frage, wie gut Fälschungen des Künstlers erkannt werden.

Konkret heißt das: Es werden die bedingten Wahrscheinlichkeiten ermittelt, dass

das Testergebnis positiv ist, wenn es sich um eine Fälschung handelt, und
das Testergebnis negativ ist, wenn es sich um ein Original handelt.

Diese tiefer gehende Evaluation des Modells ist in Abbildung 2 für Werke und Imitationen von Vincent van Gogh dargestellt.

Abbildung 2: SoftMax Output für Originale (blau) und Fälschungen bzw. Imitationen (rot) des Künstlers Vincent van Gogh.

Für die Beurteilung eines zu testenden Bildes, bei dem ja nicht klar ist, ob es sich um ein Original oder um eine Fälschung handelt, werden jedoch genau die umgekehrten Wahrscheinlichkeiten benötigt, also

die Wahrscheinlichkeit, dass das Bild ein Original ist, wenn das Testergebnis negativ ist, bzw.
die Wahrscheinlichkeit, dass es sich um eine Fälschung handelt, wenn das Testergebnis positiv ist.

Diese für die Echtheitsanalyse ausschlaggebenden Wahrscheinlichkeiten werden mithilfe des Satzes von Bayes berechnet.

Das Ergebnis wird dann auch mittels sogenannter Class Activation Maps (CAMs) visualisiert – und zwar sowohl für den vermuteten Maler wie auch für sämtliche Maler in dem Datensatz. CAMs ermöglichen es, die Stellen in einem Bild zu identifizieren, in denen das Modell den Stil eines Malers erkennt beziehungsweise auch wie stark das Modell den Stil eines Malers an einer bestimmten Stelle wahrnimmt. Beispiele dafür finden sich in den Abbildungen 3 und 4.

Abbildung 3: Original, Heatmap und dem Original überlagertes Heatmap für den Stil von Vincent van Gogh (von links).

Abbildung 4: Überlagertes Heatmap für den Stil weiterer Maler, mit denen das Modell trainiert wurde. Der rote Bereich am unteren Rand für den Stil von Salvador Dali ist ein Artefakt, das auf der Vorverarbeitung des Bildes beruht.

Je rötlicher die jeweilig markierten Stellen erscheinen, desto stärker erkennt das Modell den Stil des jeweiligen Malers. Aus Abbildung 4 wird deutlich, dass das Modell in dem hier vorliegenden Testbild auch den Stil anderer Maler, insbesondere von Claude Monet, erkennt – allerdings längst nicht so ausgeprägt wie den von van Gogh und nicht so sehr in den zentralen Bereichen.

Die der Echtheitsprüfung zugrunde liegende Hypothese ist zwar, dass sich der Stil eines Malers in allen Bereichen eines Bildes wiederfindet. Tatsächlich aber gibt es Unterschiede. So ist der Stil eines Malers in zentralen Bereichen meist stärker ausgeprägt, ganz einfach weil Künstler auf diese wichtigeren Stellen mehr Zeit und Mühe aufwenden. Die Randbereiche sind dagegen häufig nicht vollständig ausgearbeitet.

Gesichtserkennung

Mit Hilfe von Künstlicher Intelligenz ist es auch möglich, Gesichter zu bestimmen. Herkömmliche Algorithmen sind dabei fast ausschließlich auf Fotos von Menschen trainiert. Die Art Intelligence GmbH hat die Methoden jedoch auf Gemälde ausgedehnt – und zahlreiche Tests durchgeführt.

Adele Bloch-Bauer beispielsweise ist die einzige Person, die Gustav Klimt zweimal portraitiert hat. Die beiden Gemälde sind in Abbildung 5 dargestellt.

Abbildung 5: „Adele Bloch-Bauer, I" auch bekannt als „Die goldene Adele“, 1907, Neue Galerie, New York (links). „Adele Bloch-Bauer II", 1912, Privatsammlung.

Mit einem vortrainierten Algorithmus werden bei dem Verfahren zunächst die Gesichter extrahiert. Anschließend werden mit einem weiteren vortrainierten Modell markante Erkennungspunkte in den Gesichtern markiert. Mithilfe dieser Erkennungspunkte, die biometrischen Merkmalen ähneln, wird dann die Ähnlichkeit zwischen zwei Gesichtern bestimmt, beispielsweise mit der sogenannten Prokrustes-Distanz – und schließlich mit 42 weiteren Gesichtern, die aus Klimt-Gemälden extrahiert wurden, verglichen. Das Ergebnis ist in Abbildung 6 dargestellt.

Abbildung 6: Gesichtsausschnitte samt Orientierungspunkten von den Gemälden „Adele Bloch-Bauer I" (links), „Adele Bloch-Bauer II" (Mitte) sowie von dem Porträt von Fritza Riedler (rechts).

Von den von Klimt gemalten und extrahierten Gesichtern weist nur eines, nämlich das Porträt von Fritza Riedler, eine vergleichbare Ähnlichkeit mit dem Gemälde "Adele Bloch-Bauer I" auf wie das zweite Porträt von Adele Bloch-Bauer.

Auch die Frau auf Leonardo da Vincis berühmter „Mona Lisa“ ist zweimal gemalt worden. Bis heute ist unklar beziehungsweise umstritten, wen Leonardo porträtiert hat.

Abbildung 7: Leonardo da Vinci, „La Gioconda“, um 1503/4, Louvre, Paris (links), Raphael Sanzio, „Pen and Ink Sketch of a young woman on a balcony“, Louvre, Paris.

Vermutlich handelt es sich bei der Dargestellten um Lisa del Giocondo, der Gattin des Florentiner Tuchhändlers Francesco di Bartolomeo di Zanobi del Giocondo. Raphael Sanzio de Urbino hat um 1504 das Bild in Florenz in da Vincis Werkstatt, wo er kurze Zeit als Schüler arbeitete, skizziert. Die beiden Bilder sind in Abbildung 7 zu sehen.

Raphaels Werk wird von Kunstexperten als Beleg angesehen, dass Leonardo die Mona Lisa zweimal gemalt oder das Werk in späteren Jahren deutlich verändert hat.

Die Ähnlichkeit der beiden Gesichter ist dabei deutlich nachweisbar – und zwar basierend sowohl auf 51 wie auch nur auf fünf Orientierungspunkten in den Gesichtern. Für den Test wurden sämtliche Gesichter von den da Vinci Gemälden der Art Intelligence GmbH extrahiert. In beiden Fällen wurden die Orientierungspunkte in den Gesichtsausschnitten der Werke von Leonardo und Raphael nicht korrigiert. Sie sind, zusammen mit den fälschlicherweise erkannten Gesichtern in Abbildung 8 dargestellt.

Abbildung 8: Gesichtsausschnitte von Leonardo da Vinci, „La Gioconda“ und Raphael Sanzio, „Pen and Ink Sketch of a Young Woman on a Balcony“ (jeweils 1. und 2. von links) sowie falsch erkannte Gesichter da Vincis mit fünf Orientierungspunkten (oben) und 51 (unten).

Die Methode lässt sich auch auf Portraits der gleichen Person von verschiedenen Künstlern anwenden. So sind zwei Darstellungen von Dr. Nicolaes Tulp (1593 – 1674) überliefert. Der niederländische Chirurg und Anatom wurde sowohl von Rembrandt wie auch von Nicolaes Eliaszoon Pickenoy gemalt. Beide Werke sind in Abbildung 9 dargestellt.

Abbildung 9: Rembrandt, „Die Anatomie des Dr. Tulp“, 1632, Mauritshuis, Den Haag (links), Pickenoy, „Dr. Nicolaes Tulp“, 1633, Stedelijk Museum, Amsterdam (rechts).

Von Rembrandt standen der Art Intelligence GmbH insgesamt 372 Gesichtsausschnitte zur Verfügung, die jedoch oftmals in sehr ungewöhnlichen Positionen gemalt sind – weswegen die Gesichtsorientierungspunkte von dem Algorithmus teilweise sehr schlecht erkannt und manuell korrigiert wurden.

Abbildung 10: Gesichtsausschnitte mit Orientierungspunkten für die beiden Porträts des Dr. Nicolaes Tulp von Nicolaes Eliaszoon Pickenoy (oben links) und Rembrandt (rechts) sowie für die fälschlicherweise als Dr. Tulp erkannten Gesichter aus Rembrandt-Gemälden (unten).

Mit dem oben beschriebenen Verfahren werden von den 372 Rembrandt-Gesichtern fünf fälschlicherweise als identisch mit Dr. Tulp erkannt. Damit ergibt sich eine Erkennungsgenauigkeit von 98,6 Prozent. Die entsprechenden Gesichtsausschnitte der Abbildungen von Dr. Tulp sowie der fälschlicherweise als Dr. Tulp erkannten Gesichter sind samt den Orientierungspunkten in Abbildung 10 aufgeführt.

Malerbestimmung

Bei manchen Gemälden ist zwar bekannt, aus welcher Zeit sie stammen und welchem Stil oder Genre sie zuzuordnen sind, der eigentliche Maler ist jedoch nicht überliefert. Aber es kommen möglicherweise auch nur einige Künstler infrage. Ein Kunde der Art Intelligence GmbH besitzt ein Gemälde, das verschiedene Kunsthistoriker dem „Umfeld von Rembrandt, aber nicht Rembrandt selbst“ zuordnen. Verschiedene chemische Analysen sowie eine Untersuchung des Holzes, auf dem das Porträt gemalt ist, zeigen eindeutig, dass das Werk aus der ersten Hälfte des 17. Jahrhunderts stammt. Das Bild ist in Abbildung 11 dargestellt.

Abbildung 11: Kopfstudie „aus dem Umfeld von Rembrandt“.

Eine plausible Möglichkeit ist, dass das Gemälde von einem Schüler des holländischen Meisters stammt. Die Art Intelligence GmbH hat deshalb zahlreiche Originale der fünf aus Sicht des Besitzers infrage kommenden Maler recherchiert. Mit diesen Bildern wurde der oben bereits beschriebene Klassifizierungsalgorithmus mit nunmehr 45 Künstlern trainiert, evaluiert und das fragliche Bild getestet. Das Modell hat dabei Gerrit Dou als Urheber des Werkes erkannt.

Das Ergebnis wurde zunächst bestätigt, indem das Modell ausschließlich mit den Originalen der fünf Schüler sowie den Originalen von Rembrandt trainiert wurde.

Eine weitere Bestätigung erfolgte mit einem völlig anderen Ansatz. Hierzu wurde ein sogenanntes Siamesisches Netz auf der Basis von 40 Malern ohne Originale von Rembrandt oder dessen Schülern trainiert. Siamesische Netze lernen nicht den Stil eines Malers – sondern die Ähnlichkeit zwischen verschiedenen Input-Bildern. Sie generieren Repräsentationen des Stils eines Malers, die es dann erlauben, die Ähnlichkeit zwischen einem zu testenden Bild und verschiedenen Malern zu erkennen – und zwar unabhängig davon, ob sich die Bilder der betreffenden Maler im Trainingsdatensatz befunden haben oder nicht. Diese Methode ist vor allem dann sinnvoll, wenn von bestimmten Malern nur sehr wenige Originale vorhanden sind, was bei Carel Fabritius der Fall ist. Kunsthistorikern zufolge können dem wohl talentiertesten Schüler Rembrandts nur 29 Werke sicher zugeordnet werden.

Normalerweise muss bei dieser Vorgehensweise ein Schwellenwert für die Ähnlichkeit kalibriert werden. Da diese Festlegung auf einen fixen Wert oft ambivalent ist, hat die Art Intelligence GmbH in diesem Fall ein anderes Verfahren angewandt – und sämtliche Schwellenwerte in dem infrage kommenden Intervall betrachtet. Das Ergebnis ist in Abbildung 12 dargestellt.

Abbildung 12: Erkennungsgenauigkeit des Siamesischen Netzwerks für verschiedene Maler und sämtliche Schwellenwerte in dem infrage kommenden Intervall.

Dabei wurde die prozentuale Erkennungsgenauigkeit für jeden Maler über alle Schwellenwerte aufsummiert. Diese Summe entspricht der Fläche unter der farbigen Kurve für jeden einzelnen Maler. Je größer die Fläche, desto stärker die Ähnlichkeit zu dem Stil des jeweiligen Künstlers. Auch hier zeigt sich, dass Gerrit Dou der wahrscheinlichste der infrage kommenden Künstler ist – und zwar obwohl das Netz nicht mit Originalen dieses Rembrandt-Schülers trainiert wurde.

Anker 1