Transfer Learning am Beispiel von Bildanalysen

Was ist Transfer Learning?

Betrachtet man zunächst sehr vereinfacht nur den Anfang und das Ende eines Lernvorgangs, dann sieht das im Fall von Bildanalysen folgendermaßen aus: Der Daten-Input besteht aus den Daten X Bildern. Der Output besteht zumeist aus zwei oder mehr Kategorien. Diese Kategorien werden in einem Künstlichen Neuronalen Netz mit zwei Knotenpunkten in dem Output-Layer repräsentiert.

Beispielsweise können bestimmte Bilder danach kategorisiert werden, ob auf ihnen Katzen oder Hunde zu sehen sind. Im Fall von Sicherheitssystemen auf Basis von biometrischen Analysen besteht die Kategorie darin, ob die Daten ein bestimmtes Gesicht darstellen oder nicht. Beim Transfer Learning geht es nun im Prinzip darum, die Lernvorgänge, die zur Lösung von diesen Fragestellungen nötig sind, zu verkürzen. Anstatt jedes Mal bei null anzufangen, kann ein vortrainiertes Modell als Ausgangspunkt genommen werden. Ein Modell, das bereits weiß, aus welchen Strukturen ein Gesicht prinzipiell besteht, kann sehr viel schneller darauf trainiert werden, ein ganz bestimmtes Gesicht zu erkennen. Ein vortrainiertes Modell muss dank Transfer Learning nur noch auf bestimmte Merkmale hintrainiert werden.

So funktioniert Transfer Learning

Am Ende eines Lernvorgangs steht im Fall von Deep-Learning-Modellen eine Output-Layer. Diese wird beim Transfer Learning quasi abgeschnitten. Dazu muss zunächst gesagt werden, dass ein Machine-Learning-Algorithmus, der darauf trainiert wurde, auf Bildern Gesichter zu erkennen, Bilder ganz anders sieht als wir Menschen. Für ihn bestehen Bilder aus einzelnen Datenpunkten, die bestimmte Werte haben. Zum Beispiel hat jeder Pixel Informationen über den Wert auf einer Graustufenskala oder Informationen über einen Farbwert wie grün, blau oder gelb. In einer nächsten Ebene der Betrachtung werden dann vielleicht kleinere Formen und Muster erkennbar wie Kreise, Linien oder andere geometrische Muster.

Für ein Modell, das darauf trainiert wird, Gesichter zu erkennen, ist eine Schicht mit Knotenpunkten interessant, die darüber Auskunft gibt, welche geometrischen Muster und Farbinformationen ein Gesicht ausmachen. Beim Transfer Learning wird ein Modell an diesem Punkt quasi „abgeschnitten“ und an dieser Schnittstelle ein anderer Lernvorgang fortgesetzt. Bei der Gesichtserkennung muss ein Algorithmus somit nicht von Grund auf lernen, was ein Gesicht überhaupt ist.

Transfer Learning veranschaulicht: Auf Basis der vortrainierten Layers (blau) wird eine neue „Prediction Layer“ aufgesetzt.

In Fällen wie diesen ist Transfer Learning sinnvoll

Für einen unserer Kunden aus der Versicherungsbranche bestand die Herausforderung darin, Schadensfälle, die nach Naturkatastrophen auftreten, zu beurteilen. Im konkreten Fall ging es darum, Dächer von Häusern auf Schäden durch Wind zu prüfen. Die Aufgabe bestand – auf die Analyse der Bilddaten beschränkt – darin, Häuser bzw. ihre Dachflächen isoliert von ihrer Umgebung zu erkennen und in der Folge intakte und beschädigte Dächer voneinander zu unterscheiden.

Linktipp: in diesem Artikel beschäftigen wir uns mit der Bilderkennung.

Transfer Learning bietet hier die Möglichkeit ein Modell, das für die Erkennung von tagtäglichen Objekten (Bäume, Tische, Fahrzeuge, Katzen, Blumen usw.) entwickelt wurde, zu nutzen und anhand einer relativ geringen Zahl neuer Trainingsbilder auf das Erkennen von beschädigten Dächern anzupassen. Das ist möglich, weil Dächer bzw. Schäden an Dächern im Wesentlichen aus Kanten, Ecken und Farbkontrasten bestehen – wie eben auch die meisten tagtäglichen Objekte. Ein Modell, das schon solche Formen erkennen kann, muss deshalb nur noch lernen, welche Konfigurationen den jeweiligen Formen intakter bzw. beschädigter Häusern entsprechen.

Die Grenzen von Transfer Learning

In bestimmten Anwendungsfällen ist Transfer Learning von unschätzbarem Wert, da es mit einer enormen Zeitersparnis einhergeht. Allerdings bleibt es weiterhin kein direkter Ersatz für hochwertige Daten.

Beispielsweise ist es für das genannte Beispiel von entscheidender Bedeutung, ob die Bilder, mit denen das Modell weiter trainiert wurde, in einer dicht oder dünn besiedelten Landschaft aufgenommen wurden. Denn zum Erkennen des Unterschieds zwischen „Dach eines Hauses“ und „Landschaft / Natur“ muss das Modell beispielsweise ein Flachdach, das typisch für eine Stadt ist, erkennen können. In ländlichen Regionen wiederum sind Satteldächer charakteristisch. Wenn das Modell nur auf Bilder städtischer Häuser weiter trainiert wurde, würde das Zupassen auf ländliche Häuser fehlschlagen.

Das Potential von Transfer Learning

Mit Transfer Learning steht im Bereich Machine Learning eine Methode bereit, die es erlaubt bestimmte Prozesse bei der Modellbildung zu optimieren. Dadurch kann enorm viel Zeit gespart werden, so dass sich Anwendungen entsprechend wirtschaftlich betreiben lassen. Insbesondere die Herausforderung, beim Training an gelabelte Trainings-Daten zu kommen, kann ressourcen-intensiv sein.

Transfer Learning kann natürlich nicht nur im Bereich der Bildanalyse verwendet werden. Insbesondere auch im Bereich Sprachanalyse und Sprachen-Verständnis ist Transfer Learning ein ideales Mittel, um Lernvorgänge zu verkürzen. Der Grund ist einfach: Dank Transfer Learning müssen nicht bei jedem speziellen Anwendungsfall die allgemeinen Grundlagen der Sprache trainiert werden. Insofern steht Transfer Learning repräsentativ für eine Fähigkeit, die wir Menschen ohnehin haben: Die Fähigkeit, erlerntes Wissen, auf andere Bereiche zu übertragen.