Was ist Transfer Learning?
Transfer Learning beschreibt eine Methode im Bereich des Machine Learning, welche vor allem für Klassifizierungsaufgaben Anwendung findet. Transfer Learning basiert dabei auf der Vorgehensweise, dass der Algorithmus ein bereits vortrainiertes Modell (z. B. eines künstlichen neuronalen Netzes) eines ähnlichen oder auch fremden Anwendungsfalles nutzt und diesen um zusätzliche Schichten ergänzt oder erweitert, welche auf den speziellen Anwendungsfall abzielen.
Der Unterschied des Transfer Learning zu anderen Lernmethoden des Machine Learning besteht darin, dass das Modell nicht von Grund auf neu trainiert werden muss, sondern auf bereits trainierte Daten aufsetzen kann. Das vortrainierte Modell wird im Normalfall unverändert übernommen, weshalb man dabei auch von gefrorenen Schichten bzw. „frozen layers“ spricht. Das trainierte Modell wird dann auf das Modell des konkreten Anwendungsfalles transferiert und anschließend durch das Hinzufügen weiterer Schichten konkretisiert. Diese Vorgehensweise hat vor allem den Vorteil in der Zeit- und Ressourcenersparnis, da ein bestimmter Teil des Trainings übersprungen und bereits auf einem vortrainierten Modellstand aufgesetzt werden kann.
Die Methode findet häufig in der Objekterkennung und Bilddatenanalyse Anwendung. Als greifbares Beispiel für die Funktion der Vorgehensweise dieser Lernmethode wird oftmals der Fall genannt, dass ein vortrainiertes Modell grundsätzlich Hunde auf Fotos identifizieren bzw. von anderen Tieren oder Objekten unterscheiden kann. Im Rahmen des Transfer Learning findet nun durch Erweiterung des Klassifizierungs-Layers statt, welche auf das Training für die Fähigkeit zur Unterscheidung der einzelnen Hunderassen abzielt. Ähnliches lässt sich auch in einem vorgelagerten Schritt anwenden, indem Modelle darauf trainiert wurden, etwa Hunde von Katzen zu unterscheiden bzw. generell Lebewesen von Objekten.
Was sind Anwendungen und Beispiele?
Die Anwendungsgebiete von Transfer Learning sind vielfältig, wobei der aktuell größte Anwendungsbereich in der Bilddatenanalyse liegt. Da Videos lediglich eine Aneinanderreihung von einzelnen Bildern sind, kann die Methode klarerweise auch auf Videos angewandt werden. Damit Maschinen die Informationen auf Bildern „sehen“ bzw. verstehen können, müssen diese vorerst für Maschinen lesbar gemacht werden, welches dem Bereich der Computer Vision zuzuschreiben ist.
Ein bekanntes Modell auf dem Bereich der Bildklassifizierung stellt der Vision Transformer (ViT) dar, welcher den Grundstein für die weitere Datenverarbeitung legt. Ein weiteres Anwendungsgebiet stellt die Sprachanalyse, aber auch die Verarbeitung von Textdaten dar. Im Teilbereich des Natural Language Processing (NLP) wird die menschliche Sprache für Maschinen verständlich gemacht, der die Basis für weitere Anwendungen des Transfer Learning legt. Ein sehr großes und nützliches Anwendungsfeld stellt die medizinische Bildklassifizierung bzw. Bildanalyse dar. Vor allem in der computergestützten Gewebeerkennung in Verbindung mit bildgebenden Untersuchungsmethoden wie CT oder MRT findet Transfer Learning Anwendung. Mithilfe der Lernmethode können Auffälligkeiten in Gewebeabbildungen identifiziert sowie kategorisiert bzw. klassifiziert werden, welche beispielsweise auf Tumore, Krebs oder andere Krankheiten hinweisen können.
Einige Programmbibliotheken und Frameworks wie Keras oder PyTorch bieten einfache Implementierungsmöglichkeiten von vortrainierten Modellen, die als Aufsatzpunkte für das Transfer Learning genutzt werden. Auf dem Gebiet der Bildererkennung können beispielsweise ResNet von Microsoft oder Inception von Google genannt werden. Diese Modelle werden in die Bibliothek implementiert und anschließend im Rahmen des sogenannten „Fine-Tunings“ derart verändert bzw. erweitert, damit das Modell für den konkreten Anwendungsfall verwendet werden kann.
