Was ist eine Entropie?

Eine Entropie stellt in der Informationstheorie ein Maß dar, welches für eine gewisse Nachrichtenquelle einen mittleren Informationsgehalt der ausgegebenen Nachrichten angibt. Das informationstheoretische Verständnis vom Begriff Entropie geht auf Claude Shannon zurück. Im Allgemeinen ist es so, dass, je mehr Zeichen von einer bestimmten Quelle empfangen werden, desto mehr Informationen werden gesammelt. Die Entropie sollte nach Shannon’s ursprünglicher Absicht, als das Maß einer benötigten Bandbreite von einem Übertragungskanal genutzt werden. Jedoch verallgemeinerte er die Erkenntnisse und entwarf einen Entropiezustand, der generell als das Maß des Informationsgehaltes anerkannt ist. Ist diese klein, dann enthält der Informationstext viele Redundanzen oder auch statistische Regelmäßigkeiten.

Die wichtigsten Zweige von Shannon’s Informationstheorie umfassen die Kodierung von Informationen, das quantitative Maß, das für die Redundanz eines Textes gilt, die Datenkompression und die Kryptografie. Die Informationstheorie ist eine Theorie, welche darauf abzielt, dass der Informationsgehalt eines Datensatzes quantifiziert und qualifiziert wird.

Welche Aspekte ergeben sich in der Informatik?

Shannon verstand die Entropie in der Informatik als ein Maß für Information und damit konnte er Thermodynamik mit Informationstheorie verbinden. Daraus ergaben sich neue Aspekte und Methoden:

  • Die Kreuzentropie ist ein Maß für Modellqualität. Sie berechnet die Gesamtentropie zwischen den Verteilungen. Die Kreuzentropie wird üblicherweise beim maschinellen Lernen als eine Verlustfunktion genutzt. Die Kreuzentropie kann als ein Maß aufgefasst werden, welches aus dem Bereich der Informationstheorie stammt und das auf Entropiezuständen aufbaut.
  • Die Kullback-Leibler-Divergenz ist ein gewisses Distanzmaß zwischen zwei verschiedenen Modellen. Angewandt wird das intrinsische Maß für Schwierigkeit und Qualität beim maschinellen Lernen.
  • Die Entropieveränderung (Information gain) wird als Kriterium im Feature Engineering eingesetzt.
  • Die Cross-Entropy-Minimization wird als Methode der Modelloptimierung verwendet.
  • Eine weitere Rolle spielt der bedingte Entropiezustand (conditional entropy), bei dem geklärt wird, wie viel Entropiezustand in einer Zufallsvariablen übrig bleibt, bei Kenntnis von einer anderen Zufallsvariablen.
  • Die Verbundsentropie (Joint entropy) macht Aussagen darüber, wie viel Bits benötigt werden, um beide Zufallsvariablen richtig zu enkodieren.
  • Letztlich gibt es eine ganze Entropie-Algebra, bei der zwischen marginalen, bedingten und gemeinsamen Entropiezuständen hin- und herumgerechnet werden kann.

Wie wird die Entropie beim maschinellen Lernen genutzt?

Die Entropie im maschinellen Lernen ist das häufigste eingesetzte Maß für die Unreinheit (Impurity) in der ganzen Informatik. Er liegt bei Wahrscheinlichkeiten größer 0 und gleichzeitig kleiner 1. Der Entropiezustand ist maximal, wenn zwei Klassen 1.00 erreichen und diese Klassen innerhalb einer Obermenge mit identischer Häufigkeit vorkommen. Sollte eine Klasse dabei eine quantitative Dominanz gewinnen, dann steigt die Wahrscheinlichkeit, für solch eine Klasse gleichermaßen an und daraufhin sinkt der Entropiezustand. Beim maschinellen Lernen macht die Entropie Aussagen darüber, wie schwierig das Vorhersagen eines Ereignisses ist.