Vom Algorithmus aussortiert

Von „Später zahlen“ zu „Doppelt zahlen“

An Klarnas Services mochte ich vor allem die „Später zahlen“ Option. Gerade in den Wochen vor Weihnachten, wenn sich die Ausgaben für Geschenke, Deko und unzählige Bleche Plätzchenteig anhäufen, war es eine echte Erleichterung, mir eine neue Hose und die dazu passenden Stiefel für Silvester zu gönnen, ohne gleich bezahlen zu müssen. Was ich nicht ahnte: Mit der Bestellung kam nicht nur ein neues Outfit, sondern auch ein Inkassoschreiben.

Am Fälligkeitstag im Januar löse ich wie gewohnt die Zahlung in der Klarna-App aus. Am nächsten Tag kommt die erste Überraschung: „Zahlung fehlgeschlagen“. Also versuche ich es erneut. Wieder erfolglos. Verwirrt wende ich mich an Klarna’s Kundensupport über den Live-Chat in der App. Dort bekomme ich die beruhigende Auskunft, es handle sich um einen technischen Fehler seitens Klarna. Ich solle nichts weiter tun und abwarten, bis das Problem behoben ist und sie sich melden. Daran halte ich mich.

Eine Woche später folgt dann der Schock im Postfach: ein Inkassoschreiben über das Doppelte des ursprünglichen Betrags. Wütend rufe ich bei Klarna an. Nach endlosem Warten in der Warteschleife erklärt mir ein unfreundlicher Mitarbeiter, er könne nichts für mich tun – ich hätte einfach pünktlich zahlen sollen. Fassungslos kontaktiere ich das Inkassobüro. Der Ton dort ist kaum freundlicher, dafür erfahre ich aber immerhin, wie ich Einspruch einlegen kann.

Es folgen wochenlange Auseinandersetzungen mit dem Inkassobüro. Immer wieder versuche ich zu erklären, dass alles ein Missverständnis war. Dann stoße ich auf eine Klausel im Bürgerlichen Gesetzbuch (BGB), die besagt, dass der Schuldner nicht in Verzug gerät, wenn er aus Gründen außerhalb der eigenen Kontrolle nicht zahlen konnte. Bingo. Zwar beharrt das Inkassobüro darauf, korrekt gehandelt zu haben, machen mir aber ein Friedensangebot und reduziert die Forderung auf das, was ich Klarna für das neue Outfit schulde plus 10 € Servicegebühr. Erleichtert, die Sache endlich vom Tisch zu haben, überweise ich sofort.

Obwohl nun alles geklärt ist, bleibt ein bitterer Nachgeschmack. Es ging nie nur um das Geld. Mein Schufa-Score ist ruiniert, ich bin noch immer bei Diensten wie PayPal gesperrt, und die Frage, warum Klarna meine Rechnung überhaupt an ein Inkassobüro weitergeleitet hat, bleibt nach wie vor unbeantwortet. Je länger ich darüber nachdenke, desto klarer wird mir: Dahinter muss mehr stecken.

Mit der DSGVO für faire Automatisierung sorgen

Ich will der Sache auf den Grund gehen und beschließe, meine DSGVO-Rechte auszuüben. Artikel 15 gibt mir das Recht, alle personenbezogenen Daten einzusehen, die Klarna über mich gesammelt hat. Zudem fordere ich Auskunft über mögliche automatisierte Entscheidungen in Bezug auf mein Konto, insbesondere die Weiterleitung meiner Rechnung an das Inkassobüro. Artikel 13 verpflichtet Unternehmen, solche Informationen bereitzustellen, einschließlich einer Erklärung zur Logik des involvierten Systems und zu den Kriterien hinter automatisierten Entscheidungen sowie zur Frage, ob ein Mensch die Entscheidung überprüft oder freigegeben hat. Denn schließlich garantiert mir Artikel 22 das Recht, nicht ausschließlich automatisierten Entscheidungen ausgeliefert zu werden, wenn diese rechtliche Folgen haben.

Joana, die erste Kundenberaterin in meinem Fall, bestätigt den Eingang meiner Anfrage auf Datenauskunft, geht aber meinen weiteren Fragen aus dem Weg. Stattdessen schickt sie eine Standardantwort: „Bestellungen mit überfälligen Zahlungen werden gemäß Standardverfahren an ein Inkassobüro weitergeleitet“ und „obwohl automatisierte Systeme verwendet werden, ist stets menschliche Aufsicht vorhanden, um Fairness und Genauigkeit in den Entscheidungsprozessen zu gewährleisten.“

So leicht lasse ich mich nicht abwimmeln. Joana hat bereits eingeräumt, dass bei Klarna automatisierte Systeme überfällige Rechnungen eskalieren. Dem möchte ich weiter auf den Grund gehen und verlange mit der DSGVO im Rücken erneut Details zum Prozess hinter der Weiterleitung meiner Rechnung.

Diesmal habe ich innerhalb einer Stunde eine Antwort. Jetzt schreibt mir Amarilda und bestätigt, was ich längst vermutet habe: „Bei Klarna nutzen wir automatisierte Systeme, um Entscheidungen über die Weiterleitung von Forderungen an Inkassobüros zu treffen. Diese Entscheidungen basieren auf verschiedenen Faktoren, einschließlich Ihrer Zahlungshistorie und ausstehenden Salden. [Sie] werden automatisch getroffen und können nicht außer Kraft gesetzt werden“.

Ich bin sprachlos. Basierend auf meinen Rechten laut DSGVO beantrage ich eine manuelle Überprüfung der Weiterleitung meiner Rechnung (Artikel 22). Die Antwort kommt sofort – diesmal von Nevila: Sie verweist mich einfach an das Inkassobüro. Keine Erwähnung einer manuellen Überprüfung meines Falls.

Meine Wut kehrt zurück. Doch immerhin habe ich jetzt den Beweis: Meine Rechnung wurde allein aufgrund automatisierter Entscheidungen weitergeleitet, ohne jegliche menschliche Aufsicht. Dazu kommen weitere Verstöße gegen die DSGVO, allen voran mein Recht auf eine Erklärung der automatisierten Logiken und auf eine manuelle Überprüfung.

Schließlich reiche ich im Mai eine offizielle Beschwerde bei der zuständigen Datenschutzbehörde in Berlin ein. Es ist mein letzter Versuch, Klarheit und Verantwortung in diese Angelegenheit zu bringen. Die Ermittlungen laufen noch.

Als ich Klarna über die Beschwerde informiere, antwortet Marsid. Sie kopiert einfach den Teil meiner Mail, in dem ich die Beschwerde erwähne und wünscht mir einen schönen Tag. Es wirkt wie blanker Hohn.

Den größeren Zusammenhang verstehen

Zu wissen, wie das alles passieren konnte, macht es zwar nicht ungeschehen, hilft mir aber zu verstehen, wie mein Fall in ein größeres Muster intransparenter Automatisierung passt.

Dazu habe ich mit Dr. Tim Kraft gesprochen, einem Anwalt für Datenschutz- und Medienrecht bei Lausen Rechtsanwälte. Er weist darauf hin, dass die DSGVO automatisierte Entscheidungen zwar grundsätzlich verbietet, aber Ausnahmen zulässt. Eine davon ist die Einwilligung (consent): Wer Klarnas Datenschutzrichtlinie akzeptiert und diese Informationen zu automatisierten Entscheidungen enthält, der stimmt damit faktisch auch deren Folgen zu. Klarnas Datenschutzrichtlinie – die ich bei der Kontoeröffnung ungelesen akzeptiert habe – erwähnt tatsächlich Profiling und automatisierte Entscheidungen, beispielsweise zur Betrugsprävention oder Bonitätsprüfung. Allerdings nicht für den Inkassoprozess. Das bedeutet: Auch wenn ich der Automatisierung in anderen Bereichen zugestimmt habe, habe ich nicht eingewilligt, dass meine Rechnung algorithmisch an ein Inkassobüro weitergeleitet wird.

Auf dieser Grundlage kommt Kraft zu dem Schluss, dass Klarna wahrscheinlich gegen die DSGVO, konkret gegen Artikel 22, verstoßen hat. Dieser verbietets Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und Einzelpersonen erheblich beeinträchtigen: „Die Weitergabe einer Rechnung an ein Inkassobüro ist eine Entscheidung, die den Kunden erheblich betrifft. Wenn diese Entscheidung laut Klarna ausschließlich automatisiert getroffen wird und es sogar unmöglich ist, dass ein Mensch eingreift oder sie aufhebt, gilt dies umso mehr.“

Das Problem bei automatisierten Algorithmen liegt jedoch nicht nur im mangelnden menschlichen Eingriff. Wie das Sprichwort besagt: Garbage in, garbage out. Wenn ein Algorithmus mit voreingenommenen oder fehlerhaften Daten gefüttert wird, spiegeln sich diese Mängel zwangsläufig im Ergebnis wider. Klarna bestätigte mir, dass solche Entscheidungen auf Zahlungsdaten und offenen Beträgen basiert. Laut eigener Datenschutzerklärung greift Klarna außerdem auf externe Daten von Auskunfteien zurück, in Deutschland etwa die SCHUFA.

Kraft merkt an: „Die SCHUFA stützt sich bei der Erstellung eines Scores auch auf die Wohnadresse einer Person, wenn keine anderen Daten wie Zahlungshistorie oder aktuelle Kredite vorliegen.“ Mit anderen Worten: Allein die Tatsache, dass ich möglicherweise in einer sozial benachteiligten Gegend wohne (wie auch immer diese definiert wird), könnte meinen Score von vornherein beeinträchtigt haben –unabhängig davon, dass meine Zahlungshistorie tadellos ist.

In diesem Zusammenhang hat der Europäische Gerichtshof (EUGH) 2023 entschieden, dass Artikel 22 auch dann greift, wenn Dritte sich auf einen automatisch erzeugten Score verlassen, um Leistungen zu gewähren oder zu verweigern. Das bedeutet: Klarnas Algorithmus, der sich bei mehreren Entscheidungen auf meinen SCHUFA-Score stützt, könnte von Anfang an dazu tendiert haben, den Fall eskalieren zu lassen – ganz unabhängig von meinem tatsächlichen Zahlungsverhalten. Allerdings bleibt das eine Spekualtion: Klarnas Datenschutzrichtlinie erwähnt zwar, dass SCHUFA-Daten beispielsweise zur Kreditvergabe herangezogen werden. Dass sie auch für die Eskalation offener Rechnungen genutzt werden, wird dort jedoch nicht explizit genannt.

Leider ist mein Fall kein Einzelfall. Ähnliche intransparente Systeme haben auch anderswo Schaden angerichtet. So stand das französische Sozialhilfesystem stark in der Kritik, weil es einen Algorithmus nutzt, der Leistungsempfänger mit „Verdachtsscores“ versieht – je näher der Wert an eins liegt, desto verdächtiger. Oder das britische Department for Work and Pensions, das Algorithmen zur Betrugserkennung bei Leistungsanträgen einsetzt. Eine Analyse zeigte, dass das System überproportional Menschen nach Alter, Behinderung, Familienstand oder Nationalität ins Visier nahm.

Die Kontrolle vom Algorithmus zurückholen

Mit meinem Hintergrund in AI Governance und der DSGVO hatte ich die nötigen Werkzeuge, um mich zu wehren. Doch was ist mit denen, die dieses Wissen nicht haben? „Datenschutzrechte sind persönliche Rechte. Deshalb kann nur die betroffene Person selbst ihre Rechte geltend machen“, erklärt Kraft. Das klingt zunächst ernüchternd, doch er ergänzt: „Seine Rechte auszuüben ist einfach und für jeden machbar. Ein Antrag muss nicht in juristischem Fachjargon gestellt werden, er kann in normaler Sprache formuliert sein. Tatsächlich sehen wir bei unseren Mandanten eine wachsende Zahl solcher Anfragen. Das deutet darauf hin, dass sich die Menschen ihrer Rechte zunehmend bewusst werden.“

Wer trotzdem unsicher ist, kann sich auch an Verbraucherorganisationen wie die „Verbraucherzentrale“ in Deutschland oder „noyb“ auf europäischer Ebene wenden. Sie übernehmen Fälle, reichen Beschwerden ein und haben in den letzten Jahren zahlreiche Erfolge erzielt.

Heute, mehr als acht Monate später, sehe ich die Hose und die Stiefel in meinem Kleiderschrank und verspüre ein leises Gefühl von Triumph. Ich habe mir das Silvesteroutfit nicht nur gekauft, sondern es mir regelrecht erkämpft.