Die Magie der Maschine

Menschen können den Großteil ihrer Handlungen gut erklären: Wir gehen über die Ampel, weil sie grün ist. Wenn wir eine Erklärung für eine Handlung eines Mitmenschen wünschen, so fragen wir normalerweise einfach. Unsere eigenen introspektiven Erfahrungen mit unserem Körper sowie die Beobachtung und Interaktion mit der Umwelt erlauben uns, unsere inneren Beweggründe zu verstehen und zu kommunizieren. Die Gründe für die Entscheidung einer KI (Künstliche Intelligenz) sind dagegen deutlich schwerer nachzuvollziehen. Ein KI-Modell kommt oft aufgrund völlig anderer Ursachen zu einem Ergebnis, als es ein Mensch es tun würde.

Die Information darüber, warum ein Algorithmus sich wie entscheidet , steckt oft in einem unglaublich komplexen und für den Menschen zunächst undurchsichtigem binärem Ja-Nein-Spiel. Dieses Spiel zu verstehen, und zwar so, dass wir es nachvollziehen und beschreiben können, ist eine wichtige Herausforderung für Nutzer und Entwickler von KI-Modellen,weil KI-Anwendungen mehr und mehr Teil unseres Alltags werden.

Besonders für Nutzer ohne tiefergehendes Hintergrundwissen über die Funktionsweise von KI-Modellen können die Entscheidungen dieser Modelle fast schon magisch wirken. Dies ist womöglich auch einer der Gründe, warum viele Menschen KI nicht nur nicht vertrauen, sondern ihr auch mit einer gewissen Abneigung begegnen. Die Interpretierbarkeit von KI-Modellen zu verbessern muss daher ein essenzieller Teil der Zukunft dieser Technologien sein.

Zuverlässige Systeme müssen erklärbar sein

Gerade bei sicherheitskritischen Anwendungen für KI ist es schon allein aus rechtlichen und ethischen Gründen enorm wichtig algorithmische Entscheidungen nachvollziehen zu können. Man braucht nur an autonomes Fahren, Kreditscoring oder auch medizinischen Anwendungen zu denken: Welche Faktoren führen zu welchem Ergebnis und ist das so gewünscht? Wir wollen beispielsweise nicht, dass Leute aufgrund ihrer Herkunft einen Kredit nicht erhalten können oder wegen falschen Gründen jemand von einem selbstfahrenden Auto überfahren wird. Selbst bei weniger kritischen Entscheidungen spielt die Interpretierbarkeit des Modells, wie bereits beschrieben, eine Rolle: Sei es Vertrauen zu den Vorhersagen des Modells zu schaffen oder schlicht die Gründe für den Wert einer Prognose herauszufinden.

Daher unterliegt die Anwendung KI-basiertenr Systeme den Grundregeln jeglicher anderer Softwaresysteme, um Desinformation, Diskriminierung zu vermeiden und den Schutz personenbezogener Daten zu gewährleisten. Die Europäische Union diskutiert ergänzend dazu einen Gesetzesentwurf zur spezifischen Bewertung und Regulierung von KI-Systemen – den AI Act. Der voraussichtlich 2025 in Kraft tretende Entwurf sieht vor, KI-Systeme in 4 Kategorien einzustufen: kein Risiko, niedriges Risiko, hohes Risiko und inakzeptables Risiko. Um KI als Unternehmen zu nutzen, ist in vielen Branchen der Einsatz von Hochrisikosystemen nötig: alle Anwendungen, welche die öffentliche Sicherheit oder die Gesundheit der Menschen betreffen, gelten hier als Hochrisikosysteme – die Definition ist jedoch weit gefasst.

KI Use Cases im eigenen Unternehmen dahingehend zu verwalten und bewerten ist aufwändig – vor allem, wenn KI produktiv im Unternehmen genutzt wird. Klare Regeln und Prüfverfahren fehlen. Mittels eines Use Case Management Tools wie Casebase lassen sich Risiken minimieren. Zum Beispiel für folgende Szenarien:

• Nicht überwachte KI Anwendungen im Betrieb
• Undokumentierte KI Use Cases
• Hoch- oder inakzeptable Risikosysteme nicht auf dem Radar
• Strafen der Aufsichtsbehörden
• Image-Schäden

Auflagen wie ausführliche Dokumentation, angemessene Risikobewertung und -minderung sowie Aufsichtsmaßnahmen sind für eine nachhaltige Erklärbarkeit der Modelle unverzichtbar. Nur so kann den hohen Anforderungen an KI Use Cases nachgekommen werden.

Die Blackbox

Vor allem Deep Learning wird mitunter oft als sogenannte Blackbox bezeichnet. Eine Blackbox ist ein System, bei dem wir zwar die Eingaben (Inputs) und die Ausgaben (Outputs) kennen, jedoch keinerlei Wissen über den Prozess innerhalb des Systems haben. Das lässt sich recht simpel veranschaulichen: Ein Kind, das versucht eine Tür zu öffnen, muss die Türklinke (Input) herunterdrücken, um eine Bewegung der Schlossfalle (Output) zu verursachen. Dabei sieht es jedoch nicht, wie der Schließmechanismus im Inneren der Tür funktioniert. Der Schließmechanismus ist eine Blackbox. Erst, wenn man hineinleuchtet, gibt es die Chance, Licht ins Dunkel zu bringen.

Warum Explainable AI?

Eigentlich sollten wir es also gewöhnt sein, in vielen Lebenslagen mit von außen nicht durchschaubaren Systemen umzugehen. Eine schier unendliche Komplexität umgibt uns ständig. Wir pflücken einen Apfel vom Baum, obwohl wir nicht verstehen, wie genau während dessen Wachstum welches Molekül mit welchem interagiert. Es scheint als wäre eine Blackbox an sich also kein Problem. So einfach ist es aber nicht, denn wir Menschen haben in unserer Evolutionsgeschichte durch viel Trial und Error gelernt, worauf wir ausreichend vertrauen können und worauf nicht. Wenn ein Apfel gewisse optische Kriterien erfüllt und auch noch nach Apfel riecht, so vertrauen wir dem Erzeugnis des Apfelbaums. Wie ist es aber mit AI?

Nicht immer können wir auf einen Jahrtausendlangen Erfahrungsschatz zurückgreifen. Oft können wir auch nicht in die Auswahl der Inputs eingreifen (intervenieren) um herauszufinden, wie man den Ausgang beeinflussen kann (weniger Wasser -> kleinerer Apfel). Sobald es sich jedoch um ein KI-Systems handelt, für das wir oft nur unbewusst Input liefern, wird es kniffliger: Nutzer von bereits laufenden KI-Systemen können lediglich versuchen, durch eine begrenzte Anzahl von vergangenen Entscheidungen des Systems erklären, wie das System seine Entscheidungen trifft. Welche Parameter und Faktoren dabei eine Rolle spielen, können wir lediglich aufwendig testen oder schätzen – hier kommt Explainable AI (XAI) ins Spiel. XAI beschreibt eine wachsende Anzahl von Methoden und Techniken, um komplexe KI-Systeme erklärbar zu machen. Explainable AI ist kein neues Thema. Schon seit den 80er Jahren gibt es Anstrengungen im Bereich der Erklärbarkeit. Die stetig wachsende Menge an Einsatzgebieten sowie die fortschreitende Etablierung von ML-Methoden hat die Bedeutung dieses Forschungsbereichs allerdings deutlich vergrößert. Je nach den zum Einsatz kommenden Algorithmen ist dies mehr oder weniger erfolgversprechend. Ein Modell, welches auf linearer Regression basiert , lässt sich z. B. deutlich leichter erklären als ein künstliches neuronales Netz. Trotzdem gibt es im Werkzeugkasten der XAI auch Methoden, um solche komplexen Modelle erklärbarer zu machen.

Auch der Fortschritt auf Seiten der Hardware erleichtert den Zugang zu Erklärungsmodellen enorm. Heute ist es nicht mehr so aufwändig, tausende von Erklärungen durchzutesten oder zahlreiche Interventionen durchzuführen, um das Verhalten eines Modells zu verstehen wie noch vor zwanzig Jahren.

Beispiele von XAI in der Praxis

In der Theorie lassen sich also mit XAI-Methoden und dem richtigen Know-How selbst komplexe Black-Box-Modelle zumindest teilweise interpretieren. Wie sieht es aber in der Realität aus? Bei vielen Projekten oder Use Cases stellt die Interpretierbarkeit eine wichtige Säule des Gesamterfolgs dar. Sicherheitstechnische Aspekte, fehlendes Vertrauen in die Modellergebnisse, mögliche zukünftige Regularien sowie ethische Bedenken sorgen für die Notwendigkeit interpretierbarer ML-Modelle.

Nicht nur wir bei [at] haben die Wichtigkeit dieser Themen erkannt: Auch die europäische Rechtsprechung plant, Interpretierbarkeit zu einer verpflichtenden Eigenschaft von KI-Anwendungen in sicherheitskritischen und datenschutzrelevanten Feldern zu machen. In diesem Kontext arbeiten wir bei [at] an einer Reihe von Projekten, die neue Methoden nutzen, um unsere KI-Anwendungen und die unserer Kunden interpretierbar zu machen. Ein Beispiel ist das vom Bundesministerium für Wirtschaft und Klimaschutz mit 16 Millionen Euro geförderte Projekt KI-Wissen. Hier arbeiten wir mit unseren Partnern aus Wirtschaft und Forschung daran, KI-Modelle für das autonome Fahren erklärbar zu machen. Eng mit diesem Thema verbunden ist Reinforcement Learning (RL), das zwar sehr erfolgreich viele Probleme lösen konnte, aber leider auch oft eine Blackbox darstellt. Aus diesem Grund forschen unsere Mitarbeiter:innen in einem weiteren Projekt daran, RL-Algorithmen interpretierbar und sicherzumachen.

Darüber hinaus arbeiten unsere Data Scientists an einer Toolbox, um die beschriebene SHAP-Methode auch für sehr komplizierte Datensätze nutzbar zu machen. Alles in allem können wir bei [at] einen sehr fundierten und aus der aktuellen Forschung abgeleiteten Methodenkatalog für die Interpretierbarkeit von KI-Modellen anbieten. Sei es die Entwicklung eines neuen und interpretierbaren Modells oder die Analyse ihrer bestehenden Modelle. Kontaktieren Sie uns gerne bei Interesse.