Die amerikanische Mathematikerin Cathy O’Neil betreibt den Blog MathBabe, in dem sie schon seit einiger Zeit auf fragwürdige Praktiken im Big-Data-Universum aufmerksam macht. Ein wertvoller Beobachtungsposten in einer Welt, die zunehmend von unsichtbaren und undurchschaubaren Informationsströmen und Algorithmen beherrscht wird.
„Weapons of Math Destruction“
Frau O’Neil hat 2017 ein Buch mit dem Titel „Weapons of Math Destruction“ veröffentlicht (deutsch „Angriff der Algorithmen – ein unmissverständliches Wortspiel, denn das Akronym WMD erinnert an Massenvernichtungswaffen (Weapons of Mass Destruction). Die martialische Analogie mag etwas gar effekthascherisch anmuten, nichtsdestoweniger öffnet das Buch Einblicke in ein verstörendes Zeitphänomen: Ein immaterielles Wettrüsten findet statt, das für Normalbürger unsichtbar bleibt, ihn aber doch als Kollateralopfer zurücklässt.
Dass Mathematik zu einer Waffe werden kann, ist beileibe keine neue Beobachtung, sondern offenbarte sich schon im Zweite Weltkrieg, zu dessen Verkürzung Code knackende Genies wie Alan Turing einen entscheidenden Beitrag leisteten. Das war die Geburtsstunde der modernen Kryptoanalyse, die eigentlich erst jetzt richtig in Blüte steht. Und hier kann man sich der Ironie nicht enthalten: Wenn Verschlüsselungsprobleme ein typisches Charakteristikum des Kriegs waren, leben wir dann heute – gemessen an der Bedeutung der Verschlüsselung – nicht auch in kriegsmässigen Zuständen? Auf jeden Fall in einer Zeit, da ein Code womöglich die gleichen Verheerungen anrichten kann wie eine Atombombe.
„Die“ Mathematik gibt es nicht
Das Nervensystem modernen telekommunikativen Lebens ist zutiefst mathematischer Natur. Die Vordenker heutiger Technologien waren Mathematiker: Alan Turing, Claude Shannon, Norbert Wiener, John von Neumann. Allerdings muss man hier sogleich differenzieren. „Die“ Mathematik gibt es nicht, es gibt eine Unzahl mathematischer Disziplinen. Und darin gewinnen jene Sparten zunehmend an Bedeutung, die sich mit Datenanalysen befassen. Weil Algorithmen im Grunde menschliche Denk- und Entscheidungsprozesse in Formeln und automatischen Abläufen darstellen, wachsen sie in eine immer bedeutendere Rolle hinein, nicht nur in der Verschlüsselung, sondern auf fast allen sozialen Gebieten, in Medien, Politik, Wirtschaft, Beruf, Schulen, Gefängnissen, Spitälern.
Die Suggestion im englischen wie im deutschen Titel des Buches lenkt indes vom eigentlichen Problem ab. Nicht Algorithmen sind per se schädlich, sie werden genau dann zu WMDs, wenn man ihre verborgenen und oft fehlerhaften Annahmen nicht zur Kenntnis nimmt – wenn man ihnen blind vertraut.
Fehlerhaftes Rating von Lehrern
Hiezu ein Beispiel. Wir alle kennen das Rating, bis zum Überdruss. Evaluation von Arbeit ist allenthalben angesagt. Und der Grund liegt natürlich darin, dass hier Daten, Statistik und Algorithmen ein immer unerlässlicheres Instrument darstellen. Besonders in Schulen, den traditionellen Orten der Benotung. Beurteilt werden vermehrt auch die Lehrer, denn Schulen sind schon längst keine Spielplätze der mussevollen Bildung mehr, sondern nehmen am Wertschöpfungsprozess teil. Und ganz im Geist der Betriebsökonomisierung gibt es in den USA ein „Mehrwert-Modell“ („value-added model“) der Lehrerevaluation. Die Leistung des Lehrers – sein Score – bemisst sich an einer standardisierten statistischen Rangordnung von Schülerleistungen.
Frau O’Neil erzählt den Fall von Tim Clifford, eines erfahrenen Englischlehrers an einer Middle School in New York City. Bei einem Test mit besagtem Modell erhielt er abgrundtiefe 6 von 100 „Mehrwertpunkten“. Niemand sagte ihm, was das bedeutete und wie er sich zu verbessern hätte, also fuhr er fort, wie immer zu unterrichten. In der nächsten Testrunde attestierte ihm das Modell 96 Punkte.
Warum eine solche Schwankung? Tim Clifford unterrichtet vielleicht insgesamt eine Hundertschaft von Schülern. Das ist eine viel zu kleine Kohorte, um verlässliche Aussagen zu stützen. Die Evaluation hängt empfindlich von der Zusammensetzung der Klassen ab. Beim zweiten Test hatte Clifford Klassen mit weniger „Ausreissern“, also mit mehr Schülern im Mittelbereich zwischen den Extremwerten. Der Algorithmus führte stur seine Schritte durch und errechnete einen höheren Durchschnitt. Aufs Ganze gesehen verdankte Tim Clifford seinen Aufstieg von der Niete zum Glanzstück der Didaktik also nicht seinen Fähigkeiten, sondern der unachtsamen, ja stümperhaften Anwendung eines Evaluationsmodells und dessen Algorithmus.
Modellgläubigkeit
Cathy O’Neil führt ähnliche Beispiele aus anderen Bereichen wie Arbeitsmarkt, Krankenversicherung, Kriminalitätsprognose, politisches Mikrotargeting an – Beispiele, die ein allgemeines Phänomen unseres Big-Data-Zeitalters an den Tag fördern: die Modellgläubigkeit. Sie ist umso fataler, als sie ein fast schon gemeingefährliches Vertrauen in computergenerierte Entscheidungen fördert. Aus diesem Grund haben Emanuel Derman und Paul Wilmotts, zwei Vertreter der quantitativen Finanzanalyse – im Jargon auch „Quants“ genannt –, 2009 einen „Eid des Finanzmodellierens“, analog zum Hippokratischen Eid für Ärzte gefordert. Er umfasst fünf Punkte:
- Ich werde stets daran denken, dass ich die Welt nicht erschaffen habe, und dass sie sich nicht an meine Gleichungen hält.
- Obwohl ich Modelle unerschrocken verwenden werde, um quantitative Werte einzuschätzen, werde ich mich von Mathematik nicht übertrieben beeindrucken lassen.
- Ich werde nie die Realität der Eleganz opfern, ohne zu erklären, warum ich das gemacht habe.
- Ich werde die Menschen, die mein Modell nutzen, mit seiner Genauigkeit nicht in falscher Sicherheit über seine Richtigkeit wiegen. Vielmehr werde ich auf seine Annahmen und auf das, was es durch die Annahmen übersieht, hinweisen.
- Mir ist klar, dass meine Arbeit gewaltige ökonomische und soziale Auswirkungen haben kann, von denen viele mein Verständnis übersteigen.
Der „Sündenfall“ der Mathematik
Es geht hier nicht um ein Bashing von ökonomischen Modellierern. Jeder, der zum Beispiel mathematische Physik studiert hat, kennt die Verführungsmacht von Modellen, diesen starken seltsamen Zauber, der einen ergreift, wenn man zum ersten Mal einen theoretischen Zusammenhang begriffen und berechnet hat. Es ist, als offenbarte sich die Welt in ihrer ideellen Reinheit. Diese „platonische“ Erfahrung – man könnte sie geradezu als Initiation bezeichnen – lässt die meisten nicht mehr los. Umso mehr muss sie durch eine Komplementärerfahrung ernüchtert werden: Diese Modellwelt ist nicht unsere Welt! Je gebieterischer sich diese Komplementärerfahrung durchsetzt, desto reifer wird der Wissenschafter.
Man möchte sagen, dass die Mathematik im Zeitalter von Big Data ihren „Sündenfall“ erlebt, wie schon früher die Physik mit der Atombombe und die Biologie mit der Gen-Sequenzierung. Das kann ihr nur guttun, denn dadurch erwacht die Data Science zu einem kritischen Modell-Bewusstsein, ja, wird sie überhaupt zur „reifen“ Disziplin, die sie bisher nicht war. Und man kann sich im Weiteren fragen, ob es nicht von allgemeinem Nutzen wäre, an Hochschulen ein einschlägiges Propädeutikum über Probleme des prekären Modellierens einzurichten, bevor man all die akademischen Spunde mit ihren ehrgeizigen Modellen auf die Welt loslässt.
Cathy O’Neil: Angriff der Algorithmen. Wie sie Wahlen manipulieren, Berufsschancen zerstören und unsere Gesundheit gefährden, München: Hanser Verlag, 2017.