Was ist eine eingeschränkte Boltzmann-Maschine?

Eine eingeschränkte Boltzmann-Maschine ist ein einfaches stochastisches künstliches neuronales Netz. Entwickelt wurde es von Geoffry Hinton und von Terrence J. Sejnowski im Jahre 1985. Solche Netze sind nach der Boltzmann-Verteilung benannt. Eine entsprechende Maschine ohne Beschränkung von Verbindungen kann leider nur schwer trainiert werden. Allerdings kann man Verbindungen zwischen Neuronen beschränken und damit Lernvorgänge drastisch vereinfachen, womit sich dann eine beschränkte Boltzmann-Maschine zur Lösung vieler praktischer Probleme eignet.

Solch eine Boltzmann-Maschine ist ein Netzwerk von Neuronen. In diesem ist ein Energieniveau definiert, genau wie in einem Hopfield-Netz. Die Neuronen nehmen nur binäre Werte – 0 oder 1 an. Bei der Boltzmann-Maschine verhalten sich diese stochastisch. Die eingeschränkte Boltzmann Maschine besteht aus sichtbaren Einheiten und versteckten Einheiten.

Es wird an die unsichtbaren Einheiten ein Feature-Vektor angelegt. Sowohl die sichtbaren als auch die unsichtbaren Einheiten sind untereinander nicht verbunden. Aber die sichtbaren Einheiten sind vollständig mit den versteckten Einheiten verbunden.

Diese bilden einen bipartiten, ungerichteten Graphen. Es gibt zu lernende Parameter. Dies sind die Gewichte der Kanten zwischen den sichtbaren und den versteckten Einheiten. Auch die sogenannten Bias-Vektoren der versteckten und auch der sichtbaren Einheiten werden gelernt. Dies erfolgt über einen Contrastive Divergence Algorithmus.

Wozu werden eingeschränkte Boltzmann-Maschinen eingesetzt?

Die eingeschränkten Boltzmann-Maschinen spielen eine wichtige Rolle bei Reduzierung, Klassifizierung und Regression, zur kollaborativen Filterung, zur Merkmalsauswahl und Merkmalsextraktion, zum Feature-Learning und Themenmodellierung.

Woher kommt der Name Boltzmann-Maschinen?

Boltzmann-Maschinen werden nach dem österreichischen Wissenschaftler Ludwig Boltzmann benannt. Ludwig Boltzmann erfand die Boltzmann-Verteilung.

Wie funktioniert ein simulierter Glühalgorithmusprozess?

Mit diesem Prozess kann eine Glührate berechnet werden. In die Berechnung fließen die Anfangstemperatur und die Abschlusstemperatur sowie die Temperaturabfallformel mit ein. Es werden die Übergangswahrscheinlichkeitsfunktionen des Neurons berechnet. Die positive Lernphase wird mit einem selbstassoziativen oder heterogenen BM-Netzwerk bewerkstelligt. Mit einer Reverse Learning Phase werden selbstassoziative BM-Netzwerke ausgestattet. Hier werden die Signale in das Netzwerk eingegeben und Ein- und Ausgabeknoten sowie versteckte Knoten können sich frei bewegen.

Wie kann eine Boltzmann Maschine zur Lösung von NP-Vollständigen Problemen eingesetzt werden?

Bei diesen Problemen ist eine direkte Berechnung der Lösung nicht möglich. Der Lösungsraum wird mit einer Wahrscheinlichkeitsverteilung dargestellt. Mit dem Algorithmus wird ein Random Walk durch diesen Lösungsraum vollzogen. Der Lösungszustand sollte dabei möglichst wahrscheinlich sein. Die möglichst allgemeine Formulierung erfolgt mit einer Boltzmann Maschine. Mithilfe der Boltzmann Maschine kann der Lösungsraum möglichst effizient durchsucht werden.