Was sind Hyperparameter?
Ein Hyperparameter ist ein gewisser Parameter, mit dem der Lernprozess kontrolliert werden kann. Sie können zu Modell-Auswahl-Aufgaben herangezogen werden – andererseits gibt es auch Algorithmus-Hyperparameter, die prinzipiell keinen Einfluss auf die Leistungsfähigkeit des Modells haben, aber die die Geschwindigkeit und die Qualität des Lernprozesses beeinflussen. So kann man von Modell-Hyperparametern sprechen, die die Topologie und die Größe von Neuronalen Netzwerken kennzeichnen. Andererseits sind Algorithmus-Hyperparameter die Lernrate und die Mini-Batch-Größe.
Verschiedene Modell-Trainings-Algorithmen benötigen verschiedene Hyperparameter – manch einfache Algorithmen benötigen keine. Mit diesen Hyperparametern lernt der Trainings-Algorithmus die Parameter von gegebenen Daten. Die Zeit, die benötigt wird, um zu trainieren und ein Modell zu testen, kann davon abhängen, welche Wahl bei den Hyperparametern getroffen wird. Ein Hyperparameter kann normalerweise ein kontinuierlicher oder ein Integer-Typ sein. Dies kann zu gemischten Typ-Optimierungs-Problemen führen. Die Existenz von manchen Hyperparametern ist bedingt durch die Werte von anderen, wie etwa bei der Größe von jeder versteckten Ebene in einem Neuronalen Netzwerk, die bedingt sein kann von der Anzahl von Ebenen.
Mithilfe einer Hyperparameteroptimierung wird die Suche nach optimalen Hyperparametern im maschinellen Lernen geleistet. Ein Hyperparameter wird vor dem eigentlichen Modell-Training festgelegt.
Wann wird Hyperparameteroptimierung eingesetzt?
Bei automatisiertem maschinellen Lernen und bei tiefen Neuronalen Netzwerken wird Hyperparameteroptimierung genutzt. So gibt es Blackbox-Funktionsoptimierungsmethoden, die auf Modell-freien Methoden und Bayes-Optimierungen basieren. Die Optimierungen ziehen hohe Berechnungsanforderungen nach sich. Jedes maschinelle Lernsystem besitzt Hyperparameter. Die Hyperparameter werden automatisch so gesetzt, dass sich die Leistung optimiert.
Was ist eine Hyperparameteroptimierung?
Von Hyperparametern spricht man bei anpassbaren Parametern, mit welchen Sie den Modell-Trainingsprozess steuern können. In neuronalen Netzwerken können Sie die Anzahl von verborgenen Ebenen festlegen und die Anzahl der Knoten bestimmen, die auf den einzelnen Ebenen sich befinden. Die Leistung des Modells hängt stark von den Hyperparametern ab.
Eine Hyperparameteroptimierung wird mit dem Prozess vorgenommen, bei dem eine passende Konfiguration gesucht wird. Ausgewählt wird eine solche Konfiguration, welche die beste Leistung liefert. Ein solcher Prozess ist praktisch immer rechenintensiv und er muss manuell durchgeführt werden.
Welche Unterschiede gibt es zwischen Parametern und Hyperparametern?
Ein Modellparameter ist eine Konfigurationsvariable, die intern gegenüber des verwendeten Modells ist und deren Wert von den Daten geschätzt wird. Solche Parameter werden benötigt, um Vorhersagen zu tätigen. Die Werte definieren die Fähigkeit des Modells für Ihr Problem. Sie werden geschätzt oder gelernt durch die Daten. Meist werden sie nicht durch den Anwender manuell gesetzt. Modellparameter werden oft gespeichert als Teil des gelernten Modells. Sie sind der Schlüssel zum maschinellen Lernen.
Dahingegen ist ein Hyperparameter eine Konfiguration, die extern bezüglich eines Modells ist und deren Wert nicht durch die Daten geschätzt werden kann. Häufig werden diese Hyperparameter genutzt, um in Prozessen Modellparameter zu schätzen.
