Wie Text-Erklärungen der Vertrauensbildung in autonomen Systemen helfen

Ein Auto „zu fahren“, das sich selbst steuert, oder die Straße mit autonomen Fahrzeugen zu teilen – was für Technikfanatiker und Visionäre wie ein wahr gewordener Traum klingt, mutet in den Augen manch konservativer Nutzer oder von überzeugten Technikskeptikern, wie ein echten Albtraum an. Der technologische Fortschritt verschiebt die Grenzen unseres gewohnten Lebens und verändert unsere Realität schneller als je zuvor. Deswegen wird die Akzeptanz neuer Technologien zu einer immer größeren Herausforderung.

Autonome Systeme in sicherheitskritischen Anwendungen

Die Bedenken gegenüber autonomen Systemen, insbesondere bei einer so sicherheitskritischen KI-Anwendung wie der Fahrzeugsteuerung, müssen mit großer Sorgfalt behandelt und ernst genommen werden. Es bedarf einer Art „Kundenberatung“, um diese neuen Technologien durchzusetzen. Das gilt vor allem bei Technologien, die sich unmittelbar auf Lebensbereiche auswirken, in denen Sicherheit und Schutz entscheidend sind. Daher müssen KI-Systeme unbedingt aus der Perspektive der Anwender betrachtet werden. Für Wissenschaftler mag die Blackbox-Natur von KI-Anwendungen eine wissenschaftlich hochinteressante Fragestellung sein – doch für die Nutzer, die Öffentlichkeit und die politischen Entscheidungsträger ist sie der entscheidende Faktor. Wird sie erklärt und verstanden, kann dies zu Akzeptanz und Annahme führen. Bleibt sie mystifiziert und missverstanden bleiben Skepsis und Misstrauen und es folgen Verbote.

Automatisierungsebenen in Fahrzeugsteuerungssystemen

Fahrassistenten werden je nach ihrem Automatisierungsgrad in fünf Autonomiestufen eingeteilt. Diese Stufen sind in der Norm SAE J3016 der SAE International (Verband der Automobilingenieure) definiert.

Die Kontrolle an ein automatisiertes System zu übergeben – egal wie vermeintlich sicher es sein soll – ist eine Herausforderung. Dabei ist es jedoch bemerkenswert, dass nicht vollautomatisierte Systeme wie Fahrerassistenten oder automatisches Einparken bei den meisten Menschen keinerlei Bedenken hervorrufen. Den vollautomatisierten Systemen aber misstraut man nach wie vor. 

Das Problem: Misstrauen der Anwender und anderer Verkehrsteilnehmer

Vertrauen und Akzeptanz von autonomen Fahrzeugen gehen Hand in Hand. Ohne eine breite Akzeptanz bei den Nutzern wird der Markt für selbstfahrende Autos sehr begrenzt sein. Verschiedene Umfragen untermauern diese Behauptung. Eine kürzlich durchgeführte Studie ergab, dass etwa 53 % der Öffentlichkeit sich unsicher fühlen, wenn sie die Straße mit selbstfahrenden Autos teilen und daher autonome Fahrzeuge nicht nutzen wollen.

Darüber hinaus stellt nicht nur das Misstrauen gegenüber autonomen Fahrzeugen ein Problem dar, auch menschliche Verkehrsteilnehmer bergen ein interessantes Risiko auf der Straße: Experimente zeigen, dass sich das Fahrverhalten ändert, wenn ein selbstfahrendes Auto im Verkehr als solches gekennzeichnet ist – Menschen neigen dann zu rücksichtsloserem Verhalten. Außerdem verlassen sich Fußgänger stark auf visuelle Signale des Fahrers, beispielsweise wenn sie die Straße überqueren wollen. Diese non-verbale Kommunikation geht bei autonomen Fahrzeugen verloren, Daher wird bereits an spezifischeren Lösungen gearbeitet, die die Koordination zwischen autonomen Fahrzeugen und Fußgängern ermöglichen sollen. Ein gutes Beispiel ist das ‚Smiling Car‘ von Semcon, das Fußgänger buchstäblich anlächelt.

Die Lösung: Vertrauen zwischen Menschen und Maschinen

Nach Choi und Ji (2015) beruht das Vertrauen in ein autonomes Fahrzeug auf drei Hauptaspekten:

• Die Systemtransparenz umfasst das Ausmaß, in dem der Mensch den Betrieb des Fahrzeugs vorhersagen und verstehen kann.
• Die technische Kompetenz des Systems umfasst, wie der Mensch die Leistung des Fahrzeugs wahrnimmt.
• Die Möglichkeit zum Situationsmanagement, also die das Wissen um die Möglichkeit, dass der Nutzer die Kontrolle übernehmen kann, wann immer er will.

Mehr Vertrauen durch bessere Systeme und Kommunikation mit dem Anwender

Auf der Grundlage dieser drei Aspekte wurden mehrere Schlüsselfaktoren vorgeschlagen, um das Vertrauen der Menschen in autonome Fahrzeuge zu stärken. Der einfachste Weg, mehr Vertrauen zu gewinnen, ist die Verbesserung der Leistung des Systems. Macht die Maschine Fehler, ist der Marketing-GAU vorprogrammiert – obwohl statistisch belegt ist, dass menschliche Fahrer mehr Unfälle verursachen als autonome Fahrzeuge.
Eine weitere Möglichkeit besteht darin, die Transparenz des Systems zu erhöhen. Die Bereitstellung von Informationen ermöglichen dem Nutzer zu verstehen, wie das System funktioniert. Wenn die Entscheidungen eines autonomen Vehikels nachvollziehbar sind, hat das einen erheblichen und positiven Einfluss auf das in sie gesetzte Vertrauen. Für die Akzeptanz und die anschließende Einführung von selbstfahrenden Autos ist das entscheidend. Um das Vertrauen weiter zu fördern, sollten Erklärungen erfolgen, bevor das Fahrzeugt „handelt“, nicht erst danach.

Ansätze mit Text-Erklärungen und das „Black-Box-Problem“

Wie bereits erwähnt, kann das Verständnis des Systems und seiner Funktionsweise dazu beitragen, dass sich die Menschen in der Nähe autonomer Fahrzeuge sicherer fühlen. Die Nachvollziehbarkeit für den Nutzer durch textuelle Erklärungen, die das System liefert, ist aber eng mit der Herausforderung der Erklärbarkeit autonomer Systeme verbunden – der sog. „Black-Box“. Diese Black-Box transparent zu machen, also die Vorgänge und Entscheidungsmuster zu erklären, ist nicht nur eine Herausforderung für die Verbraucher, sondern vor allem für die Ingenieure in der Entwicklung und für die anschließende Regulierung und Marktumsetzung.

Lernende Textbeschreibungen in Videos

Die bloße Beschreibung von Verkehrsszenen mit einer Erklärung möglicher Handlungsoptionen könnte bereits mit bestehenden Modellen für Video-Textbeschreibungen erreicht werden, wobei die größte Einschränkung darin besteht, dass umfangreiche annotierte Daten erforderlich sind. Solche Methoden könnten die Akzeptanz von KI-Technologie im Allgemeinen erhöhen. Die Entscheidungen eines separat trainierten Fahrzeug-Steuerungssystems würden jedoch weiterhin in einer Black-Box bleiben.

Post-hoc-Erklärungen für Entscheidungen des Modells

Einige bestehende Modelle können Begründungen für ihre Entscheidungen liefern. Im Modell der Fahrzeugsteuerung werden über Aufmerksamkeits- oder Aktivierungskarten Objekte oder Regionen innerhalb eines Videobildes bestimmt, die für die Ausgabe der Steuerung relevant sind. Auf der Grundlage dieser relevanten Bilder wird eine passende Beschriftung generiert. Solche post-hoc-Erklärungen können das Vertrauen der Nutzer in das System erhöhen und als Live-Kommentare zu den Aktionen des Fahrzeugs während der Fahrt implementiert werden.

Glaubwürdigkeit vs. Plausibilität

Eine Herausforderung bei solchen Erklärungs-Modellen ist die Unterscheidung, welche Art von Erklärung das Modell tatsächlich liefert. Benutzerfreundliche rationalisierende Erklärungen des Outputs spiegeln manchmal nicht den tatsächlichen Entscheidungsprozess innerhalb des Modells wider. Im Gegensatz dazu basieren Erklärungen, die das Verhalten des Modells begründen, ausschließlich auf den Eingaben.

Die Bewertung der Erklärungen stellt ebenfalls eine Herausforderung dar. Automatisierte metrische und menschliche Bewertungen sind nicht zufriedenstellend, da sie nicht garantieren können, dass die Erklärung dem Entscheidungsprozess des Modells entspricht. Menschliche Bewertungen berücksichtigen eher die Plausibilität der Erklärung. Um die Glaubwürdigkeit und nicht die Plausibilität zu bewerten, wurde eine ‚leakage-adjusted simulatability‘ (LAS) eingeführt. Sie basiert auf der Idee, dass die Erklärung helfen soll, den Output des Modells vorherzusagen – ohne direkte Informationen über diesen Output zu verraten.

Das Problem von Ground-Truth-Erklärungen

Die Beschaffung gelabelter Datensätze kann sich als recht schwierig erweisen: Ground-Truth-Erklärungen sind häufig post-hoc-Begründungen, die von einem externen Beobachter der Szene und nicht von dem Fahrer, der die Aktion selbst durchgeführt hat, erstellt wurden. Die Verwendung dieser Anmerkungen zur Erklärung des Verhaltens eines maschinellen Lernmodells ist eine Extrapolation, die mit Vorsicht vorgenommen werden sollte. Im Zusammenhang mit dem Autofahren wird jedoch im Allgemeinen davon ausgegangen, dass sich die Modelle auf die gleichen Hinweise verlassen wie menschliche Fahrer.

Verwendung von Text-Beschreibungen zur Überwachung

Ein anderer Ansatz liegt darin, Text-Erklärungen für die Überwachung der Fahrzeugsteuerung zu nutzen. Die Idee ist, eine Reihe von Erklärungen für Fahrzeugaktionen und Aktionskommandos selbst zu haben. Diese Erklärungen werden dann nur mit bestimmten Objekten verbunden, die als „handlungsauslösend“ definiert sind (beispielsweise einer roten Ampel). Dies bedeutet, dass nur eine definierte Anzahl an Erklärungen erforderlich ist und dass diese lediglich als eine Hilfsmenge von semantischen Klassen angesehen werden können, die gleichzeitig mit den Fahrzeug-Aktionen vorhergesagt werden. Dadurch wird die Mehrdeutigkeit von textuellen Erklärungen eliminiert und die Leistung der Handlungsvorhersage verbessert. Die Erklärungen werden damit zu einer sekundären Überwachungsquelle: Indem der Klassifikator gezwungen wird, die Aktion „Langsam fahren“ vorherzusagen, weil „die Ampel rot ist“, macht die Multitasking-Einstellung den Klassifikator auf die Kausalität zwischen den beiden Aktionen aufmerksam.

Kommunikation ist der Schlüssel

Insgesamt spielen Erklärbarkeit und Transparenz in autonomen Systemen eine entscheidende Rolle. Auf der einen Seite profitieren Entwickler und Ingenieure immens von der Erklärbarkeit des Systems. Sie ist von Vorteil für die technische Kompetenz, die Fehlersuche und die Verbesserung des Modells, da sie technische Informationen über aktuelle Einschränkungen und Mängel bietet. Auf der anderen Seite werden die sozialen Erwägungen, die Haftung und die Verantwortungsperspektiven für selbstfahrende Autos von den Regulierungsbehörden angesprochen. Und was für die Zukunft des Marktes für autonome Fahrzeuge am wichtigsten ist: Das Vertrauen der Endnutzer und anderer Verkehrsteilnehmer hängt von der Transparenz automatisierter Systeme ab. Den Aspekt der Nutzerkommunikation von „intelligenten“ autonomen Anwendungen und Assistenten zu berücksichtigen und zu adressieren, ist möglicherweise die Erfolgsstrategie auf dem Weg zur Akzeptanz der neuen Technologie.

Zablocki, É., Ben-Younes, H., Pérez, P. & Cord, M. (2021). Explainability of deep vision-based autonomous driving systems: Review and challenges https://arxiv.org/pdf/2101.05307.pdf

Edmonds, E. (2021). Drivers should know if they are sharing the road with self-driving test vehicles https://newsroom.aaa.com/2021/05/drivers-should-know-if-they-are-sharing-the-road-with-self-driving-test-vehicles/

Gouy, M., Wiedemann, K., Stevens, A., Brunett, G. & Reed, N. (2014) Driving next to automated vehicle platoons: How do short time headways influence non-platoon drivers’ longitudinal control?, Transportation Research Part F: Traffic Psychology and Beahviour, 19, 264-273 https://www.sciencedirect.com/science/article/abs/pii/S1369847814000345

Semcon. Self Driving Car that sees you https://semcon.com/uk/smilingcar/

Kyu Choi, J., Gu Ji, Y. (2015). Investigating the Importance of Trust on Adopting an
Autonomous Vehicle. International Journal of Human-Computer Interaction https://doi.org/10.1080/10447318.2015.1070549

Kim, J., Rohrbach, A., Darell, T., Canny, J. & Akata, Z. (2018). Textual Explanations for Self-Driving Vehicles. https://arxiv.org/pdf/1807.11546.pdf

Hase, P., Zhang, S., Xie, H. & Bansal, M. (2020). Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? https://arxiv.org/pdf/2010.04119.pdf

Xu, Y., Yang, X., Gong, L., Lin, H., Wu, T., Li, Y., Vasconcelos, N., (2020). Explainable Object-induced Action Decision for Autonomous Vehicles https://arxiv.org/pdf/2003.09405.pdf