„Erklärbare KI“ (XAI) ist für das Verständnis der Entscheidungslogik hochkomplexer KI-Modelle wie LLMs von entscheidender Bedeutung.  

Angenommen, Sie haben einen Kredit bei einer Bank beantragt. Im Gespräch mit dem Bankvertreter wird Ihnen mitgeteilt, dass Ihr Kreditantrag abgelehnt wurde. Grund dafür ist, dass der Vertreter, basierend auf seiner Erfahrung, Sie nicht für einen zuverlässigen Kreditnehmer hält. Wären Sie mit dieser Erklärung zufrieden? Wahrscheinlich nicht. Gerade in einem Kontext, in dem Entscheidungen auf der Grundlage Ihrer persönlichen Daten getroffen werden, würden Sie eine angemessene Erklärung verlangen. 

Nehmen wir nun an, dass der Vertreter die Entscheidung mithilfe eines Algorithmus getroffen hat, der auf Grundlage Ihrer Daten zu diesem Ergebnis kam. Das bedeutet, dass der Bankvertreter selbst den eigentlichen Grund für ihre Abweisung gar nicht kennt. Wäre das akzeptabel? Sicher nicht! Bis vor kurzem hat die Anwendung von KI-Algorithmen jedoch in vielen Bereichen dazu geführt, dass sich solche Szenarien abgespielt haben. 

Komplexe KI-Algorithmen werden oft mit personenbezogenen Daten gespeist und liefern wichtige Entscheidungen, ohne dass der Nutzer oder gar der Entwickler des Algorithmus erklären kann, wie die Künstliche Intelligenz zu einem Ergebnis gekommen ist. Die Information über die Entscheidungsfindung eines KI-Algorithmus, steckt oft in einem unglaublich komplexen und für den Menschen zunächst undurchsichtigen binären Ja-Nein-Spiel. Diesen Prozess so zu verstehen, dass wir es nachvollziehen und beschreiben können, ist eine wichtige Herausforderung für Nutzer und Entwickler von KI-Modellen, denn KI-Anwendungen werden zu einem immer größeren Teil unseres Alltags.  

LLMs, Gesetzgebung und die Notwendigkeit der Erklärbarkeit 

Large Language Models (LLMs), wie das berüchtigte ChatGPT von OpenAI oder sein deutsches Pendant Luminous von Aleph Alpha, sind sehr aktuelle und prominente Beispiele für komplexe KI-Systeme. Diese basieren auf gigantischen mathematischen Modellen, die mit großen Datenmengen über Monate und Wochen hinweg optimiert werden. Das Ergebnis ist das atemberaubende Sprachverständnis und die Produktionsfähigkeit, die LLMs in den Mittelpunkt der öffentlichen und kommerziellen Aufmerksamkeit katapultiert haben.  

Mit den nahezu unendlichen Möglichkeiten, die diese neuen Modelle eröffnen, sind aktuelle KI-Systeme in der Lage, für einen Umbruch von bisher etablierten Geschäftsprozessen zu sorgen. Das Fehlen einer klaren Erklärung darüber, warum ein KI-Modell eine bestimmte Antwort auf ein Prompt gibt, kann jedoch die Anzahl der möglichen Anwendungen einschränken.  

Dies ist seit Jahren ein Problem für KI-Anwendungen in stark regulierten Branchen, wie in den Bereichen Finanzen und Medizin. Das Problem wird aber auch für immer mehr Branchen gelten, sobald der europäische „AI-Act“ in Kraft tritt.  

Mit dem AI-Act reagiert die EU auf die technische Errungenschaft dieser komplexen KI-Modelle, sowie auf die damit entstehenden sozioökonomischen Herausforderungen. Gleichzeitig soll diese Verordnung die Weichen für die Zukunft der Digitalisierung in Europa stellen und zum Innovationstreiber für eine global agierende „KI made in Europe“ werden.  

Ein integraler Bestandteil dieser neuen Gesetzgebung ist, dass KI-Algorithmen, die im Zusammenhang mit personenbezogenen Daten eingesetzt werden, nachvollziehbare Entscheidungen treffen müssen. Dies soll den Schutz vor Missbrauch personenbezogener Daten gewährleisten. 

XAI – Erklärbare KI in LLMs 

Das wirft die Frage auf, wie Unternehmen modernste KI-Technologie in Bereichen wie Finanzen, Medizin oder Personalwesen einsetzen und gleichzeitig strenge und wichtige Vorschriften einhalten können. Das Forschungsgebiet, das versucht, diese Frage zu beantworten, trägt den Namen „Erklärbare KI“ oder die Abkürzung XAI (Explainable AI). In XAI versuchen die Forscher, einen Weg zu finden, die Entscheidungslogik von hochkomplexen Modellen, wie z. B. LLMs, nachzuvollziehen. Die Methoden, mit denen dies erreicht wird, sind so vielfältig wie die unterschiedlichen KI-Modelle. Im Allgemeinen werden sie in zwei große Ansätze eingeteilt: 

• Bei der globalen Erklärbarkeit wird versucht, ein gesamtes Modell abzubilden und zu interpretieren. Ziel ist es, die allgemeine Entscheidungslogik eines Modells zu verstehen. 
• Die lokale Erklärbarkeit untersucht die Entscheidung eines Modells für einen bestimmten Input, um zu verstehen, wie dieser spezifische Input zum entsprechenden Output führt. 

In Szenarien wie dem oben skizzierten versuchen wir zu erklären, warum ein Modell eine bestimmte Antwort auf einen bestimmten Prompt gegeben hat. Wir interessieren uns daher für die lokale Erklärbarkeit. Wie würden wir vorgehen, um dies für ein großes und komplexes Sprachmodell zu erstellen? Der erste Schritt besteht darin, selbst Modelle zu erstellen, um ihre Antworten leicht nachvollziehen zu können und dieses Problem ganz zu vermeiden. Während dieser Prozess für viele einfachere KI-Anwendungen sicherlich möglich ist, verhindern die Größe und Komplexität von LLMs diese Vorgehensweise. Eine alternative Möglichkeit, Erklärbarkeit für LLMs zu schaffen, ist der Einsatz störungsbasierter Methoden. Die Idee dahinter ist, dass wir als erstes an den Input für ein Modell und dessen Antworten gelangen. Daraufhin können wir mit verschiedenen Variationen des Inputs experimentieren und die Auswirkungen beobachten, die diese auf die Antworten haben. 

Um diese Strategie umzusetzen, ist es nicht notwendig das genaue Innenleben des Modells zu kennen. Daher können wir es, bis zu einem gewissen Grad, als Blackbox behandeln. Dies kann für LLMs erfolgen, indem die Salienz des Promptings, manipuliert wird. Dies geschieht, indem die Aufmerksamkeit geändert wird, die das Modell ihnen zuweist. Indem wir bestimmte Teile des Prompts mehr oder weniger hervorstechen lassen, können wir die Auswirkungen von Verstärkung oder Unterdrückung auf die erzeugte Antwort untersuchen. Das Ergebnis ist eine klare visuelle Darstellung der jeweiligen Einzelteile des Promptings, die den größten Einfluss auf die gegebene Antwort hatten. 

Mit diesen Informationen können wir Rechenschaft darüber ablegen, welche Teile des Prompts den LLM dazu veranlasst haben, seine Antwort zu erstellen. Um es praktisch auszudrücken:  

Wenn ein LLM aufgefordert wird, den Text „Hallo, mein Name ist Lucas. Ich mag Fußball und Mathe. Gearbeitet habe ich in den letzten Jahren an…“ zu vervollständigen und die Antwort „… meinem Studium der Informatik“ gibt, können wir empirisch zeigen, dass der männliche Name „Lucas“ und „Mathematik“ einen starken Einfluss auf die Antwort haben. Wie oben erläutert, tun wir dies, indem wir mit der Salienz der verschiedenen Wörter experimentieren. Wenn wir zum Beispiel anfangen, „Mathematik“ aus dem Satz zu nehmen, könnte sich die Antwort auf den Bereich „Fußball verlagern und lauten „… der Verbesserung meines Spiels, und ich spiele schon eine Weile Fußball.“ Wenn wir dies sehr oft in verschiedenen Kombinationen tun, können wir die zuvor beschriebenen Schlussfolgerungen ziehen. Diese Lösung wurde in das Ökosystem von Aleph Alpha integriert und heißt AtMan (Attention Manipulation). 

Andere XAI-Methoden 

Methoden, die mit der Eingabe in ein KI-Modell experimentieren, gibt es nicht nur bei LLMs. Um auf das oben beschriebene Kredit-Szenario zurückzukommen, könnten wir uns auch ein Modell vorstellen, das eine Reihe von Merkmalen eines Antragstellers, wie Alter, Gehalt, Vermögen und Familienstand, berücksichtigt und vorhersagt, ob ein Kredit gewährt werden sollte.  

Durch die Anwendung einer Methode namens SHAP (Shapley Additive ExPlanations) können wir die Entscheidungslogik des KI-Modells ableiten, ohne das Modell selbst explizit kennen zu müssen. Auch hier wollen wir ableiten, welchen Einfluss jedes Merkmal des Kreditantragstellers auf die Reaktion des Modells hat.  

SHAP funktioniert, indem es die Eigenschaften einer Person permutiert, um zu analysieren, wie wichtig bestimmte Merkmale für die Reaktion des KI-Modells sind. Permutation bedeutet in diesem Fall, dass die Informationen für einige Merkmale durch die Werte anderer Personen ersetzt werden. Indem dieser Prozess viele Male in vielen verschiedenen Kombinationen wiederholt wird, können wir die Auswirkungen abschätzen, die jedes Merkmal auf die Reaktion des KI-Modells hat. 

Ein Wort der Vorsicht ist jedoch geboten. XAI-Methoden, wie die hier beschriebenen, erklären das Verhalten von KI-Modellen, beschreiben jedoch nicht, wie die Eigenschaften die reale Welt beeinflussen. Wenn ein KI-Modell, aus den ihm zur Verfügung gestellten Daten, einen fehlerhaften Zusammenhang zwischen den Merkmalen einer Person und der Kreditwürdigkeit dieser gezogen hat, wird sich dieser Zusammenhang auch in den Erklärungen der XAI-Methode zeigen. Wenn ein Modell jedoch eine gute Leistung erbringt und korrekte Assoziations-XAI-Methoden erlernt, kann es uns auch helfen, Geschäftsprobleme besser zu verstehen. 

Die Zukunft der KI: Erklärbarkeit, Vertrauenswürdigkeit und gesetzliche Anforderungen 

Generell lässt sich sagen, dass es Möglichkeiten gibt, Erklärungen selbst für das Verhalten der komplexesten KI-Modelle, wie z.B. LLMs, zu schaffen. Diese Erläuterungen können dazu beitragen, KI-Lösungen in Übereinstimmung mit der aktuellen Gesetzgebung, wie der DSGVO, und zukünftigen Gesetzen, wie dem KI-Act, einzusetzen. XAI kann jedoch nur Teil einer umfassenderen Antwort sein und muss im Zusammenspiel mit anderen Aspekten wie z. B. Datensicherheit, Robustheit und Kontrolle, stehen.  

Vertrauenswürdige KI ist der Leitgedanke des AI-Acts. Es wäre dabei generell wünschenswert Prozesse zu etablieren, die die Entwicklung von KI-Lösungen richtlinienkonform standardisieren. In den letzten Jahren haben KI-Experten immer mehr auf Plattformlösungen gedrängt, die diese Standardisierungen gewähren und möglicherweise auch Anwendungen umfassen, die die von XAI-Ansätzen generierten Erklärungen bereitstellen. Zusammenfassend lässt sich damit sagen, dass wir die Entwicklung von Plattformen für die KI-Entwicklung, einschließlich XAI, nachdrücklich fördern. Damit wollen wir die Einhaltung von Vorschriften erleichtern und Unternehmen dabei helfen, innovative KI-Anwendungen zu entwickeln, die nicht durch ständige Sorgen um die Gesetzgebung behindert werden.