Was sind Deep Generative Models?
Bei einem Deep Generative Model (DGM) handelt es sich um neuronale Netze im Teilbereich des Deep Learnings, welche dem Ansatz der generativen Modellierung folgen. Das Gegenteil zu diesem Ansatz stellt die diskriminative Modellierung dar, welche darauf ausgelegt ist, aufgrund der vorhandenen Trainingsdaten Entscheidungsgrenzen zu identifizieren und den Input entsprechend zu klassifizieren.
Der generative Ansatz verfolgt hingegen die Strategie, die Datenverteilung von Trainingsdaten zu lernen und auf Basis der gelernten bzw. angenäherten Verteilung gemäß dem Wortursprung neue Datenpunkte zu erstellen. Während die diskriminative Modellierung dem Verfahren des überwachten Lernens (supervised learning) zuzuschreiben ist, baut die generative Modellierung für gewöhnlich auf das Verfahren des unüberwachten Lernens (unsupervised learning) auf.
Deep Generative Models stellen sich demnach die Frage, wie Daten in einem Wahrscheinlichkeitsmodell erzeugt werden, während diskriminative Modelle darauf abzielen, auf Basis der vorhandenen Trainingsdaten Klassifizierungen vorzunehmen. Die generativen Modelle versuchen die Wahrscheinlichkeitsverteilung der Trainingsdaten zu verstehen und auf Basis dessen, neue bzw. ähnliche Daten zu generieren. Ein Anwendungsgebiet von Deep Generative Models ist aus diesem Grund die Bilderzeugung auf Basis von Beispielbildern, wie beim neuronalen Netzwerk DALL-E.
Was sind Flow-based Deep Generative Models?
Ein Flow-based Deep Generative Model ist ein generatives Modell, welches in der Lage ist, eine Wahrscheinlichkeitsverteilung von Daten zu interpretieren und zu modellieren. Dargestellt werden kann dies mithilfe des sogenannten „Normalizing Flow“.
Der Normalizing Flow beschreibt eine statistische Methode, mit welcher Dichtefunktionen von Wahrscheinlichkeitsverteilungen geschätzt werden können. Im Gegensatz zu anderen Arten von generativen Modellen wie beispielsweise Generative Adversarial Networks (GAN) oder Variational Autoencoder (VAE) wird bei Flow-based Deep Generative Models der „Flow“ durch eine Folge von invertierbaren Transformationen generiert. Dadurch kann die Likelihood-Funktion dargestellt und somit die wahre Wahrscheinlichkeitsverteilung gelernt werden.
Bei den Generative Adversarial Networks besteht die Methodik hingegen aus einem Generator und einem Diskriminator, welche als Gegenspieler zu sehen sind. Der Generator erzeugt Daten, welche der Diskriminator versucht als Fälschung (d.h. als keinen Bestandteil der vorgegebenen, echten Verteilung) zu identifizieren. Das Ziel des Generators ist es hingegen, dass die generierten Daten nicht als Fälschung identifiziert werden und sich so die erzeugte Verteilung des Generators durch Training an die echte Verteilung angleicht. Beim Variational Autoencoder wird die Verteilung durch das Maximieren ELBO (Evidence Lower Bound) optimiert.
Wo werden diese Modelle angewandt?
Deep Generative Models finden im Bereich des Deep Learning umfangreiche Anwendungsfelder.
So werden sie beispielsweise in der Bilderzeugung eingesetzt. Dazu werden aus Gesichtern von Menschen in den Trainingsdaten neue, künstliche Gesichter mit menschlichen Gesichtszügen erstellt. Anwenden lässt sich diese Methodik auch im Film- und Computerspielsektor. Eine spezielle Anwendungsform der generativen Modelle stellen sogenannte Deepfakes dar. Hierbei werden Medieninhalte künstlich erzeugt, welche jedoch den Anschein erwecken echt zu sein.
Auch die Erzeugung von echt wirkenden Handschriften kann mittels generativen Modellen umgesetzt werden. Es lässt sich beispielsweise auch auf Basis einer textlichen Beschreibung eines Fotos ein solches erzeugen.
Auch in der Medizin lassen sich die Errungenschaften von Deep Generative Models nutzen. So wird im Aufsatz „Disease variant prediction with deep generative models of evolutionary data“ darauf Bezug genommen, dass mithilfe von generativen Modelle bisher unbekannte Krankheitsvarianten vorhergesagt werden können. Konkret bezieht sich der Artikel auf die Erkennung Proteinvarianten in krankheitsbezogenen Genen, welche die Fähigkeit haben, Krankheiten auszulösen. Der Nachteil bisheriger Methoden (vorrangig bei der Anwendung des überwachten Lernens) bestand darin, dass die Modelle auf bekannten Krankheitslabels beruhen und keine neuen vorhergesagt werden konnten. Dies soll mit Deep Generative Models verbessert werden.
