Was ist ein Entscheidungsbaum?
Ein Entscheidungsbaum stellt eine Vorgehensweise zur Klassifizierung von Objekten dar, auf Basis welcher Entscheidungen getroffen werden können. Anwendung finden Entscheidungsbäume vorwiegend auf dem Gebiet der Stochastik zur Darstellung von bedingten Wahrscheinlichkeiten, aber auch im Bereich des maschinellen Lernens sowie in der Entscheidungstheorie.
Die grafische Veranschaulichung von Entscheidungsbäumen kann mit sogenannten Baumdiagrammen umgesetzt werden, welche sich ausgehend vom Wurzelknoten bis zum Blatt alle Entscheidungsmöglichkeiten übersichtlich darstellen lässt.
Die übersichtliche Interpretierbarkeit und die Transparenz in der Darstellungsmöglichkeit sind mitunter als Vorteile von Entscheidungsbäumen zu nennen. Zudem sind sie relativ flexibel erweiterbar. Die gute Übersichtlichkeit bei kleinen Bäumen kann sich bei großen und komplexen Bäumen jedoch für die menschliche Betrachtung auch in das Gegenteil verkehren. Große Bäume, vor allem mit einer großen Tiefe, können relativ schnell unübersichtlich werden und den Rechenaufwand zur Analyse erhöhen. Des Weiteren ist es oftmals schwierig, alle Attribute bzw. Entscheidungsmöglichkeiten jedes einzelnen Knotens darzustellen und zu bewerten.
Methodik
Seinen Ursprung hat jeder Entscheidungsbaum immer im erwähnten Wurzelknoten. Ausgehend vom Wurzelknoten verzweigt sich der Baum zu weiteren Knoten, welche schlussendlich in einem Blatt bzw. der endgültigen Klassifikation endet. Bei den einzelnen Knoten wird zwischen Entscheidungsknoten und Zufallsknoten unterschieden. Entscheidungsknoten werden in der grafischen Veranschaulichung als Rechteck dargestellt und stellen eine Abfrage über ein Attribut dar, welches über den weiteren Verlauf entlang des Baumes und des Folgeknotens entscheidet.
Zufallsknoten werden als Kreis dargestellt und beschreiben den weiteren Verlauf des Baumes mit einer bestimmten Wahrscheinlichkeit. Das Ende des Entscheidungsbaumes wird als Blatt bezeichnet, oftmals als Dreieck dargestellt und stellt das Ergebnis der jeweiligen Klassifikationsaufgabe dar. Hat jeder Knoten des Baumes exakt zwei Attribute bzw. zwei mögliche Verzweigungen, spricht man von einem binären Entscheidungsbaum. Jeder Entscheidungsbaum kann auch als binärer Baum dargestellt werden.
Im Rahmen der Analyse bzw. Klassifikation von Datenobjekten wird stets im Wurzelknoten gestartet. Anschließend wird zu jedem Entscheidungsknoten ein Eingabevektor abgefragt und mit den Attributen des Entscheidungsknotens verglichen. Stimmt der Vektor mit einem Attribut überein, stellt dies den Pfad bis zum nächsten Folgeknoten im Entscheidungsbaum dar.
Bei Zufallsknoten wird auf Basis der vorliegenden bzw. angenommenen Wahrscheinlichkeiten der weitere Pfad und somit der nächste Folgeknoten ermittelt. Gemäß dieser Methodik wird fortgefahren, bis das Ende des Entscheidungsbaumes bzw. das letzte Blatt erreicht wird. Dies stellt sogleich das Ergebnis des Baumes oder die jeweilige Klassifizierung des Datenobjektes dar. Dabei kann es sich um einen monetären, numerischen, kardinalen oder nominalen Wert handeln, welcher zuvor gegebenenfalls zur besseren mathematischen Verarbeitungsmöglichkeit umcodiert werden kann.
Beispiel für einen Entscheidungsbaum im Machine Learning
Ein konkretes Beispiel für die Anwendung von Entscheidungsbäumen im Bereich des Machine Learnings stellt die Methodik des Random Forest dar. Bei diesem vom Statistiker Leo Breiman begründeten Algorithmus werden Entscheidungsbäume zur Lösung von Klassifikations- und Regressionsaufgaben angewendet.
Wie der Name Random Forest (engl. für Zufallswald) verrät, kommt nicht lediglich ein einziger Entscheidungsbaum zur Anwendung, sondern eine Vielzahl. Hierdurch entsteht ein „Wald“ an Entscheidungsbäumen. Die Bäume werden bei Random Forest zufällig und unkorreliert generiert. Bei der Erstellung der Bäume wird durch sogenanntes Bagging darauf geachtet, dass die einzelnen Bäume nicht zueinander korrelieren und somit die Qualität des Ergebnisses negativ beeinflussen.
Die Eingangsdaten werden bei der Anwendung des Algorithmus für die Vorhersage durch die sogenannte Ensemble-Methode oder das Ensemble Learning auf mehrere Entscheidungsbäume angewandt, um so ein qualitativ hochwertiges Ergebnis zu erzielen. Dieses Vorgehen hat gegenüber der Betrachtung von lediglich einem einzigen Entscheidungsbaum den Vorteil, dass Ausreißern in den einzelnen Bäumen entgegengesteuert wird und das Ergebnis somit dem Durchschnitt der einzelnen Bäume entspricht.
