Machine Learning im Casino: Warum Unternehmen sich für einen Sieg im Poker interessieren sollten

Erfahren Sie in dem Artikel worum es sich beim Machine Learning handelt und welche Rolle dieses beim Pokern spielen kann.

Machine Learning steht im Zentrum des Konkurrenzkampfs Mensch vs. Künstliche Intelligenz (KI). Vor circa zwei Jahren gab es hier auf Seite der Maschinen einen weiteren, wesentlichen Durchbruch zu verzeichnen. In diesem Blog-Artikel erklären wir, warum dieses Datum bedeutsam ist, was Machine Learning genau ist und warum diese Methode für die Wirtschaft so wichtig ist.

Die Poker-KI Libratus konnte gleich mehrere Meister im Pokerspiel No-limits Texas Hold’em geschlagen. Diese Nachricht kam aus zwei Gründen einer Sensation gleich. Zum einen, weil das Bluffen eine Schlüsselqualifikation ist, um das Spiel zu gewinnen. Zum anderen, weil zum Gewinnen die Fähigkeit erforderlich ist, gezielt Risiken einzugehen. Libratus spielte ab einem gewissen Punkt sogar so gut, dass seine Gegner das Gefühl hatten, er könne ihre Karten sehen. Heute hat der Poker-Bot einen neuen Job, bei dem er seine im Spiel trainierten Fähigkeiten für einen ganz anderen Zweck einsetzt. Aber von Anfang an.

Libratus wurde mit dem Supercomputer am Pittsburgh Supercomputing Center, das unter anderem von der Carnegie Mellon University betrieben wird, entwickelt und trainiert.

Die eigentliche Überraschung beim Sieg der Poker-KI war: Sie beruhte im Wesentlichen auf dem Einsatz von Machine Learning

Zum anderen war der Sieg von Libratus noch aus einem anderen Grund eine kleine Sensation. Bislang galten Deep Learning und Neuronale Netzwerke als die Hoffnungsträger bei der Entwicklung von Künstlicher Intelligenz. Anders als etwa AlphaGo beruht der Erfolg von Libratus aber nicht auf Deep Learning bzw. Neuronalen Netzwerken. Wie gelang es also Libratus Poker beizubringen?

Lesetipp: In dieser Artikel Serie zeigen wir verschiedene Machine Learning Methoden auf.

Die überraschende (und leicht verkürzte) Antwort auf diese Frage lautet: Machine Learning. Zwar ist auch Deep Learning eine Form von maschinellem Lernen, allerdings setzten die Macher von Libratus auf relativ konventionelle Formen von Machine Learning. Alles in allem Grund genug, um dieses Konzept genauer zu erklären und das wirtschaftliche Potenzial der Data Science Projekte zu veranschaulichen.

Lesetipp: In unserem Grundlagenartikel erklären wir alle gängigen Konzepte, die es rund um das Thema KI gibt.

Was ist Machine Learning?

Die allgemeinste, nicht technische Formel, um Machine Learning zu beschreiben, lautet: Ein selbstoptimierender Algorithmus, dem es möglich ist, aus Erfahrung zu lernen. Bleiben wir beim Poker-Bot Libratus, dann konnte man das Funktionieren dieser Fähigkeit während des Poker-Turniers in Echtzeit beobachten. Der entscheidende Hinweis lautete dabei: Je länger das Poker-Turnier dauerte, desto besser konnte Libratus sein Gegenüber einschätzen und erfolgreiche Strategien entwickeln.

Maschinelle Lernverfahren unterscheiden sich grundlegend von denen, die wir Menschen nutzen. Insofern ist auch die Vorstellung falsch, dass Libratus in einer ähnlichen Weise Poker spielen kann, wie Menschen es tun. Um beim Poker zu gewinnen, brauchen Menschen vor allem zwei wesentliche Kompetenzen: mathematisches bzw. statistisches Talent und Menschenkenntnis. Maschinen entwickeln im Vergleich dazu eigene, ganz andere Lösungsansätze und Strategie.

Die Lernmethode von Libratus: Counterfactual Regret Minimization

Libratus kann hingegen beim Poker gewinnen, weil er statistische Verfahren in Perfektion beherrscht. Noch während des Spielens machte er neue Annahmen und überprüft diese anhand der jeweiligen Ergebnisse. Stimmen Teilergebnis und Annahme nicht überein, wird die Strategie für zukünftige Spielzüge variiert und angepasst.

Die zugrunde liegende Lernmethode nennt sich „Counterfactual Regret Minimization“ (in etwa: „Nachträgliche Minimierung des Bedauerns“). Nach jedem Spielzug kehrt die KI zur vorausgegangenen Entscheidung zurück, evaluiert diese und bewertet sie danach, wie hoch das „Bedauern“ ist. Libratus hat sich dazu unzählige Male eine Frage gestellt: Wie viel besser oder schlechter wären die Spielergebnisse gewesen, wenn ich andere Entscheidungen getroffen hätte.

Um das enorme Potential, das Machine Learning für die Wirtschaft hat, zu erfassen, ist es jedoch nötig, die Methode noch genauer zu beschreiben. Machine Learning als Methode ist jedoch sehr viel vielschichtiger als diese beispielhafte Beschreibung im Fall der Poker-KI Libratus.

Die drei verschiedenen Kategorien von Machine Learning: Supervised Learning, Unsupervised Learning und Reinforcement Learning

Unter den Begriff Machine Learning fallen eine ganze Reihe von Methoden. Auch die eingangs erwähnten Methoden Deep Learning und Neuronale Netze sind wie gesagt spezielle Formen von maschinellem Lernen. Machine-Learning-Methoden lassen sich grob in drei verschiedene Kategorien einteilen: Supervised Learning („Überwachtes Lernen“), Unsupervised Learning („Nicht-überwachtes Lernen“) und Reinforcement Learning („Lernen durch Verstärkung“).

Modell Artifical Intelligence Machine Learning Deep Learning

Einfache Mengenlehre: Deep Learning ist ein Teil dessen, was unter Machine Learning verstanden wird. Nicht alle Formen des maschinellen Lernens sind jedoch automatisch Deep Learning.

1. SUPERVISED LEARNING

Supervised Learning wird überall dort eingesetzt, wo es bereits Ergebnisse für einen bestimmten Zusammenhang oder für ein vorhandenes Trainings-Set gibt. Diese Erkenntnisse sollen dann auf andere Anwendungsfälle, zu denen noch keine Ergebnisse vorliegen, übertragen werden. Ein typischer Anwendungsfall wäre die Klassifizierung, wenn beispielsweise eine Sortiermaschine automatisch die Äpfel einer Ernte verschiedenen Güteklassen zuordnen soll.

Linktipp: Für Einsteiger im Bereich Machine Learning bieten wir Schulungen an – mehr Info zur nächsten Machine Learning Schulung gibt‘s hier.

2. UNSUPERVISED LEARNING

Unsupervised Learning wird hingegen dann benötigt, wenn in unzusammenhängenden Daten-Sets implizite Zusammenhänge erkannt werden sollen. Eine typische Aufgabe für Unsupervised Learning besteht darin, Objekte auf Fotos zu erkennen (Bilderkennung). Unter Verwendung eines Neuronalen Netzwerks können Bilddaten nach Mustern und Ähnlichkeiten untersucht werden.

Auch hier unterscheidet sich der maschinelle Lernvorgang von der „menschlichen“ Herangehensweise. Der Algorithmus zerlegt die Bilder in kleinste Bestandteile und sucht nach den grundlegenden Bestandteilen. In diesem Fall gilt: Je mehr Trainingsdaten vorliegen, desto besser wird die Erkennungsrate.

Eine große Herausforderung ist es beispielsweise, ein und dasselbe Gesicht auch dann wiederzuerkennen, wenn es aus unterschiedlichen Perspektiven gezeigt wird. Das Problem ist, dass ein Programm kein räumliches Vorstellungsvermögen hat. Darum gelingt diese Aufgabe nur, wenn die Fähigkeit anhand vieler verschiedener Ansichten von Gesichtern vorab trainiert wurde.

Linktipp: Sichern Sie sich einen der Plätze in der nächsten Schulung zum Thema „Unsupervised Machine Learning“!

3. REINFORCEMENT LEARNING

Reinforcement Learning zeichnet sich dadurch aus, dass ein intelligentes Programm selbständig eine Strategie erlernt. Am Anfang des Lernprozesses sind noch keine Trainingsdaten vorhanden. Das heißt beispielsweise, dass Libratus am Anfang nicht wusste, was Poker ist und nach welchen Regeln es gespielt wird. Salopp ausgedrückt lässt sich diese Machine-Learning-Methode als extreme Version von „Trial-and-Error“ beschreiben.

Libratus spielte Runde um Runde Poker gegen sich selbst – viele Millionen Mal. Nach jeder Partie wusste das Programm ein Stück weit besser, wie man das Spiel spielt und wie man gewinnen kann. Eines der wichtigsten Anwendungsfelder von Reinforcement Learning ist die Robotik. Die entscheidende Zutat bei dieser Lernform ist eine Belohnung, also ein Feedback, die den Lernerfolg bestätigt. So entstehen nach und nach Regeln, aus denen dann eine erfolgversprechende Strategie abgeleitet werden kann.

#Maschinen lernen auf ähnliche Art wie #Menschen: Mit Belohnungen. Allerdings können sie einzelne Lektionen unermüdlich viele Millionen Mal wiederholen. #ReinforcementLearning #ML Klick um zu Tweeten

Die ganze Wahrheit über den Erfolg von Libratus und warum sich Unternehmen für Poker interessieren sollten

Wie bereits angedeutet, ist die ganze Wahrheit über den Erfolg von Libratus ein wenig komplizierter. Denn Libratus‘ Fähigkeiten beruhen nicht einfach „nur“ auf Machine Learning bzw. Reinforcement Learning. Vielmehr besteht der Poker-Bot nicht nur aus einem intelligenten Algorithmus, sondern aus einem System von insgesamt drei verschiedenen Machine-Learning-Methoden, die zusammenarbeiten. Libratus gilt unter anderem deswegen als ein wichtiger Meilenstein, weil er ein Spiel beherrscht, bei dem ein großer Teil der relevanten Informationen verdeckt bleibt.

Spiele sind in diesem Zusammenhang ein Schlüssel zur Wirklichkeit. Eine intelligente Software, die ein bestimmtes Spiel beherrscht, kann prinzipiell auch Herausforderungen in der echten Welt meistern. Strategisches Denken in Situationen, in denen nicht alle Informationen bekannt sind, ist aber nicht nur beim Poker relevant. Ein Beispiel dafür sind Pricing-Algorithmen, die automatisch den optimalen Preis ermitteln, den Kunden bereit sind für ein bestimmtes Produkt oder eine Dienstleistung zu zahlen. Die Poker-KI Libratus selbst arbeitet inzwischen übrigens für das Pentagon, wo sie hilft, diplomatische Verhandlungen und Kriegsstrategien zu optimieren.

Machine Learning ist ein Schlüssel, um Daten in wirtschaftlichen Mehrwert zu verwandeln

Auch im wirtschaftlichen Zusammenhängen und im Alltag finden sich zahlreiche Anwendungsbereiche für diese Fähigkeit. Auch Verhandlungssituationen oder Herausforderungen im Bereich Cyber Security lassen sich als Spiel mit teilweise verdeckten Informationen verstehen. Dabei muss es nicht immer eine KI vom Kaliber von Libratus sein. Auch mit weniger elaborierten Programmen, die auf Machine Learning basieren, lassen sich Entscheidungsprozesse verbessern und wirtschaftliche Erfolge erzielen.

Mehr über Machine Learning erfahren Sie in der CRISP Research Studie

Jetzt kostenlos downloaden

Tags

top