Machine Learning im Casino: Warum Unternehmen sich für einen Sieg im Poker interessieren sollten

Erfahren Sie in dem Artikel worum es sich beim Machine Learning handelt und welche Rolle dieses beim Pokern spielen kann.

Im Bereich Machine Learning gab es beim Konkurrenzkampf Mensch vs. Künstliche Intelligenz (KI) Anfang des Jahres 2017 einen weiteren Durchbruch zu verzeichnen. Die Poker-KI Libratus hat gleich mehrere Meister im Pokerspiel No-limits Texas Hold’em geschlagen. Das ist insofern bemerkenswert, weil zum einen das Bluffen eine Schlüsselqualifikation ist, um das Spiel zu gewinnen, und zum anderen die Fähigkeit, gezielt Risiken einzugehen. Libratus spielte ab einem gewissen Punkt so gut, dass seine Gegner das Gefühl hatten, er könne ihre Karten sehen.

Libratus wurde mit dem Supercomputer am Pittsburgh Supercomputing Center, das unter anderem von der Carnegie Mellon University betrieben wird, entwickelt und trainiert.

Aber auch aus einem anderen Grund war die Meldung von Libratus‘ Sieg eine kleine Sensation. Bislang galten Deep Learning und Neuronale Netzwerke als die Hoffnungsträger bei der Entwicklung von Künstlicher Intelligenz. Anders als etwa AlphaGo beruht der Erfolg von Libratus aber nicht auf Deep Learning bzw. Neuronalen Netzwerken. Wie gelang es also Libratus Poker beizubringen?

Die überraschende (und leicht verkürzte) Antwort auf diese Frage lautet: Machine Learning. Zwar ist auch Deep Learning eine Form von maschinellem Lernen, allerdings setzten die Macher von Libratus auf relativ konventionelle Formen von Machine Learning. Alles in allem Grund genug, um dieses Konzept genauer zu erklären und das wirtschaftliche Potenzial der Data Science Projekte zu veranschaulichen.

Lesetipp: In unserem Grundlagenartikel erklären wir alle gängigen Konzepte, die es rund um das Thema KI gibt.

Was ist Machine Learning?

Die allgemeinste, nicht technische Formel, um Machine Learning zu beschreiben, lautet: Ein selbstoptimierender Algorithmus, dem es möglich ist, aus Erfahrung zu lernen. Bleiben wir beim Poker-Bot Libratus, dann konnte genau diese Fähigkeit während des Poker-Turniers beobachtet werden. Je länger das Poker-Turnier dauerte, desto besser konnte Libratus sein Gegenüber einschätzen und erfolgreiche Strategien entwickeln.

Maschinelle Lernverfahren unterscheiden sich grundlegend von denen, die wir Menschen nutzen. Insofern ist auch die Vorstellung falsch, dass Libratus in einer ähnlichen Weise Poker spielen kann, wie Menschen es tun. Um beim Poker zu gewinnen, brauchen Menschen vor allem zwei wesentliche Kompetenzen: mathematisches bzw. statistisches Talent und Menschenkenntnis.

Die Lernmethode von Libratus: Counterfactual Regret Minimization

Libratus kann hingegen beim Poker gewinnen, weil er statistische Verfahren in Perfektion beherrscht. Noch während des Spielens macht er Annahmen und überprüft diese anhand der jeweiligen Ergebnisse. Stimmen Teilergebnis und Annahme nicht überein, wird die Strategie für zukünftige Spielzüge angepasst.

Melden Sie sich zum

Data Navigator an.

Erhalten Sie tiefere Einblicke zu den Themen AI, Machine Learning und Deep Learning sowie Zugang zu exklusiven Whitepapern und Events.

Mit Abschicken des Formulars bestätigen Sie, dass Sie unsere Datenschutzerklärung zur Kenntnis genommen haben und Sie außerdem regelmäßig und jederzeit widerruflich weiterführende Informationen zu diesem Thema und den Services der Alexander Thamm GmbH als Newsletter erhalten möchten.

Die zugrunde liegende Lernmethode nennt sich „Counterfactual Regret Minimization“ (in etwa: „Nachträgliche Minimierung des Bedauerns“). Nach jedem Spielzug kehrt die KI zur vorausgegangenen Entscheidung zurück, evaluiert diese und bewertet sie danach, wie hoch das „Bedauern“ ist. Libratus hat sich dazu unzählige Male eine Frage gestellt: Wie viel besser oder schlechter wären die Spielergebnisse gewesen, wenn ich andere Entscheidungen getroffen hätte.

Die drei verschiedenen Kategorien von Machine Learning

Unter den Begriff Machine Learning fallen eine ganze Reihe von Methoden. Auch die eingangs erwähnten Methoden Deep Learning und Neuronale Netze sind wie gesagt spezielle Formen von maschinellem Lernen. Machine-Learning-Methoden lassen sich grob in drei verschiedene Kategorien einteilen: Supervised Learning („Überwachtes Lernen“), Unsupervised Learning („Nicht-überwachtes Lernen“) und Reinforcement Learning („Lernen durch Verstärkung“).

Modell Artifical Intelligence Machine Learning Deep Learning

Einfache Mengenlehre: Deep Learning ist ein Teil dessen, was unter Machine Learning verstanden wird. Nicht alle Formen des maschinellen Lernens sind jedoch automatisch Deep Learning.

1. SUPERVISED LEARNING

Supervised Learning wird überall dort eingesetzt, wo es bereits Ergebnisse für einen bestimmten Zusammenhang oder für ein vorhandenes Trainings-Set gibt. Diese Erkenntnisse sollen dann auf andere Anwendungsfälle, zu denen noch keine Ergebnisse vorliegen, übertragen werden. Ein typischer Anwendungsfall wäre die Klassifizierung, wenn beispielsweise eine Sortiermaschine automatisch die Äpfel einer Ernte verschiedenen Güteklassen zuordnen soll.

Linktipp: Für Einsteiger im Bereich Machine Learning bieten wir Schulungen an – mehr Info zur nächsten Machine Learning Schulung gibt‘s hier.

2. UNSUPERVISED LEARNING

Unsupervised Learning wird hingegen dann benötigt, wenn in unzusammenhängenden Daten-Sets implizite Zusammenhänge erkannt werden sollen. Eine typische Aufgabe für Unsupervised Learning besteht darin, Objekte auf Fotos zu erkennen. Unter Verwendung eines Neuronales Netzwerk können Bilddaten nach Mustern und Ähnlichkeiten untersucht werden.

Auch hier unterscheidet sich der maschinelle Lernvorgang von der „menschlichen“ Herangehensweise. Der Algorithmus zerlegt die Bilder in kleinste Bestandteile und sucht nach den grundlegenden Bestandteilen. In diesem Fall gilt: Je mehr Trainingsdaten vorliegen, desto besser wird die Erkennungsrate.

Eine große Herausforderung ist es beispielsweise, ein und dasselbe Gesicht auch dann wiederzuerkennen, wenn es aus unterschiedlichen Perspektiven gezeigt wird. Das Problem ist, dass ein Programm kein räumliches Vorstellungsvermögen hat. Darum gelingt diese Aufgabe nur, wenn die Fähigkeit anhand vieler verschiedener Ansichten von Gesichtern vorab trainiert wurde.

Linktipp: Sichern Sie sich einen der Plätze in der nächsten Schulung zum Thema „Unsupervised Machine Learning“!

3. REINFORCEMENT LEARNING

Reinforcement Learning zeichnet sich dadurch aus, dass ein intelligentes Programm selbständig eine Strategie erlernt. Am Anfang des Lernprozesses sind noch keine Trainingsdaten vorhanden. Das heißt beispielsweise, dass Libratus am Anfang nicht wusste, was Poker ist und nach welchen Regeln es gespielt wird. Salopp ausgedrückt lässt sich diese Machine-Learning-Methode als extreme Version von „Trial-and-Error“ beschreiben.

Libratus spielte Runde um Runde Poker gegen sich selbst – viele Millionen Mal. Nach jeder Partie wusste das Programm ein Stück weit besser, wie man das Spiel spielt und wie man gewinnen kann. Eines der wichtigsten Anwendungsfelder von Reinforcement Learning ist die Robotik. Die entscheidende Zutat bei dieser Lernform ist eine Belohnung, also ein Feedback, die den Lernerfolg bestätigt. So entstehen nach und nach Regeln, aus denen dann eine erfolgversprechende Strategie abgeleitet werden kann.

#Maschinen lernen auf ähnliche Art wie #Menschen: Mit Belohnungen. Allerdings können sie einzelne Lektionen unermüdlich viele Millionen Mal wiederholen. #ReinforcementLearning #ML Klick um zu Tweeten

Die ganze Wahrheit über den Erfolg von Libratus und warum sich Unternehmen für Poker interessieren sollten

Wie bereits angedeutet, ist die ganze Wahrheit über den Erfolg von Libratus ein wenig komplizierter. Denn Libratus‘ Fähigkeiten beruhen nicht einfach „nur“ auf Machine Learning bzw. Reinforcement Learning. Vielmehr besteht der Poker-Bot nicht nur aus einem intelligenten Algorithmus, sondern aus einem System von insgesamt drei verschiedenen Methoden, die zusammenarbeiten. Libratus gilt unter anderem deswegen als ein wichtiger Meilenstein, weil er ein Spiel beherrscht, bei dem ein großer Teil der relevanten Informationen verdeckt bleibt.

Spiele sind in diesem Zusammenhang aber nur ein Schlüssel zur Wirklichkeit. Eine intelligente Software, die ein bestimmtes Spiel beherrscht, kann prinzipiell auch Herausforderungen in der echten Welt meistern. Strategisches Denken in Situationen, in denen nicht alle Informationen bekannt sind, ist aber nicht nur beim Poker relevant.

Auch im wirtschaftlichen Zusammenhängen und im Alltag finden sich Anwendungsbereiche für diese Fähigkeit. Auch Verhandlungen oder Herausforderungen im Bereich Cyber Security lassen sich als Spiel mit teilweise verdeckten Informationen verstehen. Dabei muss es nicht immer eine KI vom Kaliber von Libratus sein. Auch mit weniger elaborierten Programme, die auf Machine Learning basieren, lassen sich Entscheidungsprozesse verbessern und wirtschaftliche Erfolge erzielen.

 

Mehr über Machine Learning erfahren Sie in der CRISP Research Studie

Jetzt kostenlos downloaden
 

Tags

top