Einer jungen amerikanischen IT-Technikerin mit Namen Isis Anchalee Wenger wurde kürzlich ihr Account bei Facebook gesperrt. Ohne Begründung. Vermutlich brachte ihr zweiter Vorname sie in Verdacht, mit der Terrororganisation in Verbindung zu stehen. Oder vielmehr: Vermutlich litt ein Algorithmus bei Facebook an einer Bildungslücke; Isis ist der Name der altägyptischen Göttin der Natur. Der Algorithmus zog einen falschen Schluss.
Wenn der Algorithmus zu schliessen beginnt
Das ist kein Einzelfall. Ein Gespenst geht um in der schönen neuen Welt von Big Data, das Gespenst des Algorithmus, der Schlüsse über unsere Person zieht, richtige oder falsche. Marketingfoscher beim amerikanischen Discounter Target entwickelten ein automatisches Verfahren, das aus dem Einkaufsverhalten des Kunden Schlüsse über seine Person zieht. Mit gelegentlich verblüffenden Treffern. Eine junge Frau im Teenagealter, die grössere Mengen an geruchsfreier Lotion, Wattebällchen, mineralischen Ergänzungsstoffen und anderem „einschlägigen“ Material kaufte, wurde vom Algorithmus korrekt als schwanger taxiert; Target sandte ihr daraufhin Coupons für Babyausrüstung, zur hellen Konsternation ihres Vaters. Der Algorithmus war ihm im Schlussfolgern zuvorgekommen. Nun wissen wahrscheinlich Väter ohnehin nicht viel über ihre Töchter (ich zähle mich dazu), aber es wird uns doch ziemlich mulmig zumute, wenn wir hören, dass Software uns auf den Kopf zu sagen beginnt, was und wer wir sind.
Häufiger sind immer noch falsche Schlussfolgerungen. Eine Frau erhielt eines Tages die mysteriöse Einladung zu einem Meeting von Multiple-Sklerose-Patienten. Sie war völlig gesund. Sie hatte aber vorgängig im Netz Informationen über verschiedene Krankheiten, darunter auch MS, gesucht, und sie hatte sich bei einer Website angemeldet, die Ärzte empfiehlt. Auf verschlungenen Wegen führte diese Aktion dazu, dass ihr ein MS-Profil verpasst wurde. Bemühungen, die Quelle dieses falschen Profils ausfindig zu machen oder ihre „Reputation“ im Netz zu korrigieren, verliefen im Niemandsland der digitalen Daten-Halbwelt.
Ein fiktives Szenario: Die rote Liste von Facebook
Die Beispiele deuten auf die heimliche Macht und Vorherrschaft der Algorithmen in unserer Gesellschaft hin. Umso dringlicher stellt sich die Frage, ob und inwieweit man solchen Schlussfolgerungen trauen kann. Skizzieren wir zu diesem Zweck ein brisantes, gar nicht aus der Luft gegriffenes Szenario. Facebook stellt eine „rote Liste“ potenzieller Terroristen auf. Und zwar haben pfiffige Entwickler einen Algorithmus ausgeheckt, der aus dem Datenprofil eines Nutzers die Wahrscheinlichkeit berechnet, dass er mit Terroristengruppen Verbindung hat (oder haben wird/haben könnte); ganz ähnlich also, wie der Algorithmus von Target auf die Schwangerschaft der Kundin schliesst. Die Leute von Facebook preisen ihren Algorithmus damit an, dass Personen auf der roten Liste im Verdacht stünden, mit Terrorgruppen Verbindung zu haben, und zwar mit einer doppelt so hohen Wahrscheinlichkeit wie normale Facebookbenutzer.
Was heisst das? Wir brauchen ein paar Zahlen. In Europa leben ca. 800 Millionen Menschen, darunter sind, grob geschätzt, etwa 200 Millionen Facebookbenutzer. Nehmen wir der Einfachheit halber die fiktive, vielleicht etwas paranoide Zahl der „echten“ Terrorverdächtigen in Europa als 20'000 an. Das heisst, auf 40'000 Menschen in Europa kommt ein „echter“ Terrorverdächtiger (20’000/ 800'000'000 = 1/40’000). Der Name meines Nachbarn steht auf der Liste. Heisst das also, dass er „doppelt so verdächtig“ ist wie ich, der ich nicht auf der Liste fungiere? Sollte ich die Bupo kontaktieren? Gemach. Der Algorithmus von Facebook identifiziert mit doppelter Wahrscheinlichkeit Terrorverdächtige: also einen unter 20'000 Menschen (2 * 1/40'000 = 1/20’000). Ziemlich unwahrscheinlich, dass das gerade mein Nachbar dieser Eine ist. Ich kann mich also, wofern ich nicht 20’000 Menschen zu meinen Nachbarn zähle, beruhigen.
Das perfide Spiel mit der Wahrscheinlichkeit
Es geht hier nicht um präzise Zahlen. Das fiktive Szenario soll uns vielmehr wachsam werden lassen gegenüber Algorithmen, die auf grossen Datenmengen operieren, seien sie nun verlässlich oder fehlerhaft. In einer Gesellschaft, in der algorithmengesteuerte Entscheide immer häufiger werden, verstärkt sich die Tendenz zum Risikodenken. Das heisst, die Wahrscheinlichkeit, dass mein Nachbar ein Terrorist ist, kann als verschwindend klein angesehen werden, aber nicht als Null. Und das Perfide des ausgeübten Terrors liegt nun gerade darin, dass er mit jedem neuen Schlag diese „Nicht-Null“ zu einer unverhältnismässigen und beängstigenden Grösse – eben den möglichen Terror - aufblähen kann. Er düngt in einer verunsicherten europäischen Öffentlichkeit den Nährboden für das Verdächtige, Spekulative, ja, auch Wahnhafte („Das nächste grosse Schlachtfeld ist Europa“, titelte die „Welt“ im Juni dieses Jahres). Die Wahrscheinlichkeit macht das Ungewisse numerisch handhabbar. Und das Riskante am Denken in Wahrscheinlichkeiten ist, dass es nicht bloss mit dem rechnet, was geschieht, sondern auch mit dem, was nicht geschieht, aber geschehen könnte. Das schafft sozusagen einen Möglichkeitsraum, in dem das Potenzielle fast das gleiche Gewicht erhält wie das Aktuelle. Ein solcher Raum ist auch das ideale Treibhaus für Knüllergeilheit.
Mit Daten macht man „Personen von Interesse“
Nicht nur Facebook oder Target, auch die NSA und andere Nachrichtendienste haben einen nahezu unstillbaren Hunger nach Daten. Und beide, Privatunternehmen und öffentliche Dienste, arbeiten – wie man seit Snowden weiss - zusammen. Ein Informatiker von der CIA drückte dies einmal mit branchenüblicher Chuzpe so aus: „Der Wert einer Information stellt sich erst heraus, wenn man sie mit etwas anderem verknüpfen kann, das zu einem zukünftigen Zeitpunkt eintreten wird (..) Da man Punkte, die man nicht hat, auch nicht verknüpfen kann, betreiben wir Vorsorge. Im Grunde sammeln wir alles und bewahren es für alle Zeiten auf.“ Anders gesagt: Fast jede Person ist potenzielles Objekt der Nachrichtendienste, weil heute fast jede Person ein Datenprofil aufweist, aus dem man „vorsorglich“ gewisse Verhaltensweisen prognostizieren kann. Man mache den Heuhaufen nur gross genug, und man findet eine Nadel – oder fingiert sie. Bei hinreichend grossen Datenmengen spielen auch kleine Wahrscheinlichkeiten eine Rolle.
Facebook oder die NSA wissen nicht, ob ich ein Terrorist bin. Das brauchen sie auch gar nicht. Nicht das Wissen ist wichtig, sondern die Wahrscheinlichkeiten, mit denen man herumspielen und Geschäfte machen kann. It’s the probability, stupid! Mein Nachbar ist wahrscheinlich kein Terrorist, aber entscheidend ist nicht das „kein“, sondern das „wahrscheinlich“. Früher hatte man einen Verdacht und versuchte, ihn durch Daten zu erhärten. Heute haben wir genügend Daten, um einem „gewünschten“ Verdacht Kontur zu geben. Rote Listen sind probate Instrumente dazu. Sie machen Leute zu „Personen von Interesse“, in jeglicher Hinsicht.
Sind Sie sicher, ob Sie nicht auch eine sind?