1948 schrieb der Maschineningenieur und Kunsthistoriker Siegfried Giedion sein monumentales Werk „Mechanization Takes Command“ (deutsch „Die Herrschaft der Mechanisierung“), ein Meisterwerk der Technikgeschichte, das mit Detailliebe die Umgestaltung modernen Lebens - von der Ernährungsindustrie über den häuslichen Komfort bis zur Intimpflege – durch technische Geräte beschreibt. Ein Siegfried Giedion des 21. Jahrhunderts wird dereinst wohl ein analoges Werk mit dem Titel „Die Herrschaft der Algorithmen“ zu schreiben haben; nur ist diese Epoche noch sehr jung und wie die Symbiose von Mensch und Maschine aussehen wird, bleibt einstweilen Gegenstand utopischer wie auch dystopischer Spekulationen. Dennoch tun wir gut daran, gewisse Phänomene schon jetzt zu erkennen, bevor sie endemisch werden. Zum Beispiel auf dem Markt. Das tut ein eben publiziertes Buch des Rechtswissenschafters Frank Pasquale von der University of Maryland:„The Black Box Society. The Secret Algorithms that Control Money and Information“.
Ausreisser-Daten
Zunächst einmal sind nichtintendierte Effekte zu nennen. Das heisst, es gibt immer mehr Ausreisser-Daten: Daten, die für ganz andere Zwecke verwendet werden als geplant. In der digitalen Halbwelt der „data brokers“ – der Informationsvermittler - kann durch falsche Information schnell ein Stigma entstehen. Zum Beispiel sah sich eine Amerikanerin durch die Recherche eines privaten Datensammlers fälschlicherweise wegen Metam phetamin-Handels angeklagt. Sie brauchte Jahre, um das Missverständnis aus dem Weg zu räumen – Jahre nota bene, in denen Vermieter und Banken ihr Wohnung und Kredit verweigerten.
„Wenn falsche und rufschädigende Information sich rasch von Datenbank zu Datenbank verschieben kann, aber Monate, gar Jahre an Kleinarbeit und Anwaltschaft benötigt, um berichtigt zu werden, dann ist die Daten-Architektur vom Design her defizient. Künftige Reputationssysteme müssen es ermöglichen, ein Stigma ebenso schnell zu beseitigen wie es entstanden ist,“ schreibt Pasquale.
Diskriminierende Algorithmen?
Viele werden das als frommen Wunsch weglächeln. Denn die Diskriminierung findet meist implizit statt. Gewiss, eine Stellenausschreibung, die zum Beispiel nach der Rasse des Bewerbers fragt, ist flagrant diskriminierend. Aber andere Kriterien, die harmloser ausschauen, können einen ähnlichen Effekt haben. Betrachten wir folgenden Fall: Ein Bewerbungsformular fragt nach der verstrichenen Zeitdauer seit meiner letzten Anstellung. Der Arbeitgeber ist vielleicht daran interessiert, wie leicht und schnell sich der Bewerber von Job zu Job hangelt. Für bestimmte Arbeiten mag das durchaus ein vorteilhaftes Kriterium sein. Es gibt allerdings auch Stellenanzeigen, die Langzeitarbeitslose ausdrücklich ausschliessen. In den USA sucht deshalb eine Rechtsprechung solche Praktiken zu unterbinden. Aber nehmen wir an, der Arbeitgeber würde einen Sortier-Algorithmus einsetzen. Dieser schliesst von vornherein alle Bewerbungen aus, deren – sagen wir - letzter Job über sechs Monate zurückliegt. Der Arbeitgeber bekäme so ein bestimmtes Segment stellensuchender Menschen gar nicht zu Gesicht. Der Algorithmus wirkt wie ein Schleppnetz auf dem Arbeitsmarkt, aus dem bestimmte „Fischsorten“ a priori herausfallen.
Will man dem Algorithmus „Diskriminierung“ vorwerfen? Er ist doch einfach ein Rezept ohne Geist und Moral. Wie greift man hier regulatorisch ein? Indem man den Algorithmenbetreiber zur Verantwortung zieht? Der kann sich hinter das Geschäftsgeheimnis zurückziehen. Das kennen wir von Googles Suchalgorithmus zur Genüge. Schon hier zeigt sich, wie schwierig es ist, den Verdacht auf Bevorzugungen oder Diskriminierungen durch rechtserhebliche Evidenz zu erhärten, wenn die Kriterien im Algorithmus nicht offengelegt oder Daten unter Verschluss gehalten werden.
Digitale Doppelgänger unsere selbst
Mit unseren elektronischen Karten und den mobilen Apps verwandeln wir uns immer mehr in digitale Doppelgänger unserer selbst. Wir liefern uns als Datensätze einem Markt aus, der eine vielfach intransparente Kombinatorik von Profilen aus digitalen Dossiers betreibt. Oft hängen Anstellungen, Kreditvergaben oder Versicherungspolicen von einem Datenprofil ab, das Algorithmen-unterstützte Beurteilungsverfahren liefern.
Betrachten wir einen anderen Fall: Eine Frau wird nicht eingestellt, weil sie Diabetikerin ist. Eine illegale Diskriminierung (mit Ausnahmeregelungen). Es erweist sich, dass eine Verknüpfung von Datenprofilen sie irrtümlich als Diabetikerin klassifiziert. Kann sie den Arbeitgeber wegen Diffamierung gerichtlich belangen? Im Prinzip schon. Aber vielleicht hat der Algorithmus ein Bewerberprofil mit diffuserer Klassifikation ausgegeben, zum Beispiel „stammt aus einer Familie mit Diabetikern“. Sie deswegen als Diabetikerin zu klassifizieren, ist ein Fehlschluss mit unfairer, womöglich justiziabler Folge. Aber wie vorgehen? „Selbst wenn die Auswertung teilweise auf Gesundheitsdaten basiert,“ schreibt Pasquale, „ist es nahezu unmöglich, eine Diffamierung zu unterstellen, weil Bewerber fast nie wissen, was den Arbeitgeber bewogen hat, sie nicht anzustellen.“ Wenn also eine Anti-Diskriminierungs-Gesetzgebung vom Kläger den Beweis einer absichtlichen Verwendung falscher oder schlampiger Klassifikationen fordert, „dann dürfte es für den Arbeitgeber sogar Glück und Segen bedeuten, den Unwissenden zu spielen.“ Die Art und Weise, wie Behörden und Unternehmen sich hinter ihre Algorithmen ducken können, schafft eine bedenkliche Rechtslage.
Der Phantom-Markt
Ein anderes Phänomen hat schon fast gespenstischen Anstrich. Die Integration von Apps in unsere alltäglichen Transaktionen kann das „Phantom eines Marktes“ entstehen lassen, wie es die Datenanalysten Alex Rosenblat und Luke Stark in einer neuen Studie nennen. Zum Beispiel im Taxiverkehr. Wer die App des Taxidienstes Uber öffnet, sieht eine Karte mit verfügbaren Fahrzeugen in der Umgebung. Wer nun annimmt, es handle sich um ein getreues Bild der realen Angebotssituation, kann sich täuschen. Gemäss Rosenblat und Stark repräsentieren die virtuellen Wagen auf dem Display nicht die genaue Anzahl und die präzise Lokalisierung der Taxis. Vielmehr sind diese Phantomtaxis Teil eines „visuellen Effekts“, den Uber benutzt, um dem Kunden die Nähe von Fahrgelegenheit vorzuspiegeln. Uber kann so verhindern, dass der Kunde einen anderen Taxidienst anruft. Auch hier wirkt ein Algorithmus. Er zeichnet das Bild einer erwarteten Nachfrage, das er auf der Basis von Daten über die Verkehrsbewegungen einer Stadt erschliesst.
Wie die Medienwissenschafterin Madeleine Clare Elish und der Internetunternehmer Tim Hwang kürzlich schrieben, produziert das Unternehmen „eine App-Erfahrung, die den Eindruck unabhängiger, auf natürliche Schwankungen von Angebot und Nachfrage reagierender Fahrer und Mitfahrer erzeugt. Aber ein Blick unter die Haube offenbart ein System, das den freien Austausch mehr beeinflusst als dass sie ihn erleichtert. Dieses Phantom erlaubt dem Unternehmen, sich den Mantel des passiven Dienstleisters umzuhängen. Immer wieder hat sich Uber als ‚Software-Anwendung dargestellt, welche Mitfahrern hilft, Transportgelegenheiten zu arrangieren’ (..) In Wirklichkeit aber ‚arrangiert’ Uber nicht nur: Es setzt die Preise fest, koordiniert die Fahrten und hat die Macht, sowohl Fahrer wie Mitfahrer auszuschliessen.“
Der prekäre Status des Arbeitnehmers
In der ganzen „Sharing Economy“ nimmt dadurch ein weiteres Phänomen immer klarer Gestalt an: der prekäre Status von Arbeitnehmern. Uber-Fahrer zum Beispiel gelten eigentlich als „freie“ Unternehmer. Aber „Freiheit“ ist ein Hohn, wenn sie so aussieht, wie sie ein Fahrer namens Mansour Nurulla aus San Francisco kürzlich schildert: Zuerst drängt ihm das Unternehmen ein Wucher-Darlehen zum Kauf eines neuen Wagens auf; offenbar hatte ein Rechner sein Auto als riskant eingestuft. Zudem verkehrt Uber nie persönlich mit ihm – nur über SMS und Email: eine Art von Software-Boss.
Die Supervision besteht in einer Reihe von Take-it-or-leave-it-Ultimaten. Dann verlangt das Unternehmen plötzlich grössere Anteile seiner Einkünfte. Und schliesslich wird ihm mitgeteilt, dass sein Job unvermittelt gekündigt werden könne, sobald ihm ein paar Kunden Ein-Stern-Bewertungen gäben; das würde seinen Durchschnitt unter 4.7 ziehen. Man kann gemäss Mansour nicht an eine Appellationsinstanz bei Uber gelangen. Das Bewertungssystem feuert unter Umständen einen Fahrer mir nichts dir nichts – Verantwortung übernimmt es nicht.
Algorithmenkontrolle?
Es gibt durchaus Bemühungen einer Algorithmenkontrolle. Es gibt zum Beispiel das „World Privacy Forum“ mit seinem Bericht über „The Scoring of America“ (2014), der zeigt, dass der Kunde und Konsument anhand Tausender von Kriterien durchleuchtet wird. Immer vernehmlicher erhebt sich generell der Ruf nach der „algorithmischen Haftung“. Das ist indes leichter gesagt als getan. Eine gängige Hinhaltetaktik gegenüber Kritikern lautet, sie würden nichts von Code verstehen. Dadurch versieht man die Black Box mit der Aura der Unantastbarkeit: ein äusserst gefährlicher, Demokratie gefährdender Winkelzug. Schliesslich sind auch Algorithmen von menschlichen Entscheidungsträgern entworfen worden, und sie tragen deren Signatur.
Es braucht eine konzertierte Anstrengung von Softwaredesignern, Rechtsexperten, Soziologen und Journalisten, um der schleichenden Machtübernahme der Programme entgegenzutreten. Vor allem, wenn man Googles neue Firmen-Holding Alphabet vor Augen hat, welche die Welt von A bis Z mit algorithmengespickter Technologie durchsetzen will. Gesetzliche Regulierungen erweisen sich schon bei Google als schwierig. Wie wird das bei einem Firmenkonglomerat aussehen, das sich als heimlicher Gesetzgeber der Welt aufspielt? Begegnet man einem derartigen manipulativen Potenzial mit dem Motto „Don’t be evil“, mag das vielleicht gut gemeint sein, aber gut gemeint bedeutet – Gott hab Tucholsky selig - das Gegenteil von gut.