Gab es einen Schlüsselmoment, der Sie dieses Buch schreiben ließ?
Ich habe an der Mathematik immer geliebt, dass sie frei von einer politischen Agenda war, dass sie nicht wie Geschichte oder andere Fächer dem Blickwinkel des Lehrers unterlag.
Und das war irgendwann nicht mehr so?
Nach der Uni ging ich in die Finanzbranche...
...zu D. E. Shaw, einer Hedgefond-Firma, die zu 20 Prozent im Besitz von Lehman Brothers war...
...und bekam dort den Kollaps des Finanzsystems live von innen mit. Ich habe gesehen, wie AAA-Bewertungen als mathematische Sicherheitsgarantien verkauft wurden, als Wahrheiten, obwohl sie nichts anderes waren als fabrizierte Modelle. Reine Marketingmaßnahmen, um internationale Investoren hinters Licht zu führen. Ich habe mich geschämt, wie die Mathematik dabei als Feigenblatt herhalten musste, um kriminelle Machenschaften zu ermöglichen. Ich habe die Finanzbranche dann auch bald verlassen. Die zweite Erkenntnis, die ich direkt im Anschluss hatte, war festzustellen, dass diese Art von mathematischen Modellen inzwischen überall eingesetzt wird.
War die Finanzkrise kein Weckruf für die Bevölkerung?
Nein. Die Rechenmodelle der Finanzbranche wurden irgendwann mit korrupten, raffgierigen Bankern assoziiert. Aber hinter den Modellen von vielen Unternehmen des Silicon Valley, die auf Big Data beruhen, vermuteten die Menschen Helden mit hehren Zielen. Da wird bis heute ein Unterschied gemacht, den es meiner Meinung nach nicht gibt.
Sie sprechen von »weapons of math destruction«, zu deutsch etwa »Mathevernichtungswaffen«. Was meinen Sie damit?
Ich meine damit einen gängigen Algorithmus, der drei Eigenschaften aufweist: Er betrifft viele Menschen, er funktioniert nach geheimen Regeln und er wirkt destruktiv, hat also negative Folgen. Bei meiner Recherche fiel mir auf, dass diese Art von Algorithmus immer eingesetzt wird, um ein vermeintliches Problem zu beheben, dabei aber weit schlimmeren Schaden anrichtet.
Können Sie ein Beispiel nennen für einen solchen Algorithmus?
Der, der mich dazu gebracht hat, das Buch zu schreiben, ist einer, mit dem in einigen US-Staaten Lehrer bewertet werden – und zwar anhand der Testergebnisse ihrer Schüler. Wer nachgefragt hat, wie genau die Evaluierung ablief, bekam nur zu hören: »Das ist höhere Mathematik«. Es war ein obskures Verfahren, bei dem völlig wild Scores ermittelt wurden: Dieselben Lehrer erzielten zum Beispiel in einem Schuljahr 94 von 100 Punkten, im anderen 6, obwohl sie nichts an ihrem Stil verändert hatten. Oder sie hatten eklatante Unterschiede im Score bei einer 7. und einer 8. Klasse, die sie unterrichteten. Wie sollte der Score darüber Auskunft geben, ob sie gute Lehrer sind? Dennoch haben viele Lehrer durch dieses Verfahren ihren Job verloren.
In Ihrem Buch erwähnen Sie noch mehr Beispiele, wo Algorithmen heute eingesetzt werden: bei der Beurteilung der Kreditwürdigkeit von Personen, bei der Eignung von Job-Bewerbern. Sie kritisieren auch den Facebook-Algorithmus und weisen auf den Filterblasen-Effekt hin und die Unfähigkeit, mit Fake-News umzugehen. Warum kommt Facebook diesen Problemen nicht bei?
Es ist schwer und nahezu unmöglich für Computer, Fake News von echten zu unterscheiden. Zum einen, weil das maschinelle Lernen noch nicht so gut ist, aber viel mehr, weil es selbst für Menschen schwer ist. Was Computer gut können, sind repetitive Aufgaben, die Menschen auf Dauer ermüden würden. Was sie nicht gut können, ist menschliches Urteilsvermögen anzuwenden. Sogar die meisten von uns scheitern an der diffizilen Frage, ob eine Nachricht wahr ist oder vielleicht doch Propaganda – es gibt so viel, was genau dazwischen liegt.
Also werden Fake News ein Problem bleiben?
Ich glaube, dieses Problem wird sich nicht leicht lösen lassen. Es ist unvorstellbar, dass wir die Zahl der Nachrichtenquellen, die wir auf Facebook und Twitter sehen, ernsthaft wieder limitieren. Wie sollte das gehen? Wir wollen doch Blogs und alternative Nachrichtenseiten. Aber wir wollen als Gesellschaft eben auch wissen, wem wir vertrauen können.
Dem Filterblasen-Vorwurf entgegnet Facebook, dass der Newsfeed nur die Like-Entscheidungen seiner Nutzer widerspiegele.
Ja, das ist eine oberflächliche Beschreibung dessen, was ihr Algorithmus machen soll. Das darf man aber nicht mit Transparenz verwechseln.
Wie sähe eine transparente Aussage über den Facebook-Algorithmus aus?
Das ist nicht leicht zu beantworten. Als Mathematikerin würde ich sagen: Gebt mir den Quellcode. Andere würden sagen: Ich kann den nicht lesen, sagt mir, was er genau enthält. Um dem Nutzer ein Gefühl für die Funktionsweise ihres Algorithmus zu geben, könnte Facebook zum Beispiel anfangen, seinen Mitgliedern verschiedene Feeds anzuzeigen. Wir wissen ja noch nicht mal, was alles über den einzelnen User erfasst wird. Welche Dimensionen es neben Mann oder Frau, alles gibt. Es sind Tausende, nach denen Facebook seine Mitglieder einsortiert! Dass darüber Klarheit bestünde, ließe dem Nutzer die Möglichkeit, damit herumzuspielen, zu sehen, wie schon ein paar Variationen im eigenen Persönlichkeitsprofil, zu einem anderen Newsfeed führen würden....
....und somit womöglich zu einem anderen Ausschnitt der Wirklichkeit.
Und das ist nur eine Möglichkeit, für mehr Transparenz zu sorgen.
Was würden Sie sich von Facebook wünschen?
Ein Effekt, der sich mit der Zeit als besonders destruktiv herausgestellt hat, ist das Grundprinzip ihres Algorithmus, dass wir nur sehen, was wir wahrscheinlich auch mögen. Wie wäre es genau anders herum? Vielleicht wollen wir gar nicht dasitzen und die ganze Zeit und zufriedengestellt werden.
Was gäbe es für Alternativen?
Der Facebook-Algorithmus könnte auch nach dem Prinzip gestaltet sein, Menschen zu überraschen. Oder sie nicht zu bestätigen, sondern ihre Meinungen zu hinterfragen. Oder der Algorithmus wäre so angelegt, dass er den gesellschaftlichen Diskurs fördert. Aber Facebook hat sich nun mal entschieden, die Leute zu bestätigen und sie auf diese Weise so lange wie möglich auf der Seite zu halten. So entstand eine destruktive und gefährliche Echokammer.
Facebook hat allein während des US-Wahlkampfs eine Milliarde Dollar an politischer Werbung verdient.
Und das ist ja nur die politische Werbung. Wenn man sieht, um wie viel Werbegeld es insgesamt geht, wundert man sich auch nicht, warum Facebook nur so widerwillig bereit zu Veränderungen ist.
Im Zuge des US-Wahlkampf wurde deutlich, wie ausgeprägt gezielte Wählerbeeinflussung auf Facebook stattgefunden hat, so genanntes Micro-Targeting, bei dem angepasste Wahlwerbung nicht nur für bestimmte Zielgruppen, sondern für Einzelpersonen individuell ausgespielt wurde. Müsste die Kritik an Facebook nicht weiterreichen? Geht es nicht in Wahrheit um jene Firmen, die Facebook so auslesen, dass sie Profil-Informationen über Millionen von Menschen erstellen können?
Es gibt hier sicher mehrere Probleme. Aber ja, sogenannte »Lead Generators«, also Firmen, die das Ziel verfolgen, Daten potenzieller Kunden zu sammeln, sind sicher eines davon. Cambridge Analytica, die Firma, die sowohl bei der Abstimmung über den Brexit als auch bei der US-Wahl involviert war, ist noch einen Schritt weitergegangen, als »nur« gezielte Facebook-Werbung für ihre Auftraggeber zu schalten. Sie hat psychometrische Profile über alle Wähler in den Vereinigten Staaten erstellt und sie dann mit gezielter politischer Werbung maßgeschneidert beeinflusst. Viele Micro-Marketing-Kampagnen arbeiten heute so. Diese Firmen werden immer effektiver und sind in meinen Augen eine wahre Bedrohung für die Demokratie.
Kann man Facebook für diese Praktiken überhaupt verantwortlich machen?
Ja, weil diese Firmen ohne Facebook nicht existieren könnten, weil das der Ort ist, auf dem sie ihre Attacke ausführen. Genau wie semi-kriminelle Anbieter, die verzweifelten Leuten miese Kredite aufschwatzen oder junge Menschen gezielt an teure Privat-Unis locken wollen. Facebook verdient an diesen Anbietern.
Sie beschreiben in Ihrem Buch ausführlich, wie allein die »University of Phoenix« 50 Millionen Dollar nur für Werbung bei Goolge ausgegeben hat, um auf eine ganz bestimmte Zielgruppe – Einwanderer und Arme mit starkem Aufstiegswillen – einwirken zu können.
Ja, ein krasser Fall, es ging darum, ihnen staatlich geförderte Kredite anzudrehen.
Bei all den Daten, die über uns alle bereits kursieren: Ist es nicht längst zu spät, um »daten-skeptisch« zu werden?
Ich hoffe nicht. Ich habe zumindest mal das Buch geschrieben und ich wünsche mir, dass die Leute skeptischer werden, was die Herausgabe ihrer Daten und das Vertrauen in automatisierte Computervorgänge angeht.
Aber in dieser technologiegläubigen Zeit wie der unseren die Menschen vor Big Data warnen zu wollen, ist das nicht ein aussichtsloses Unterfangen?
Haha, schönen Dank auch! Ich glaube schon, dass es immer mehr Menschen werden, die die Big-Data-Revolution skeptisch sehen. Es hat schon mit den üblichen Verdächtigen unter den Tech-Intellektuellen angefangen, aber es schließen sich immer mehr Journalisten, Soziologen, Computerwissenschaftler an. Es könnte eine Bewegung werden! Es gibt auch immer mehr Privatpersonen, die Opfer von unfairen Algorithmen geworden sind – wie die eingangs erwähnten gefeuerten Lehrer oder sogar Gefangene.
Das sind zugegeben nur Fälle in den USA.
Ja, die nächste Welle an Skeptikern werden Leute sein, die durch Big Data und Künstliche Intelligenz ihren Job verlieren, zum Beispiel LKW-Fahrer. Journalisten sind übrigens auch ganz vorne dabei.
Weil immer mehr Newsseiten automatisiert bestückt werden.
Kurz noch ein Wort zu Journalisten: Als ich vor vier Jahren begann, für das Buch zu recherchieren, war die Berichterstattung zu Big Data völlig wahnsinnig. Es wirkte, als hätten Journalisten Berührungsängste allen mathematischen Themen gegenüber, was ich ihnen nicht vorwerfe, das ist ein gesamtgesellschaftliches Problem. Aber sie hatten jegliche Skepsis, die man als Journalist haben sollte, gegenüber Big Data verloren. Viele haben immer nur wiederholt, was die PR-Firma eines Start-Ups oder ein Silicon-Valley-Unternehmen ihnen gesagt hat. Es gab keinerlei kritische Nachfragen, keine eingehende Überprüfung der Behauptungen dieser Unternehmen. Und das muss jetzt endlich mal anfangen. Wir können uns die Angst vor Mathe nicht mehr leisten.
Was müsste Ihrer Meinung nach geschehen – auch in Hinblick auf die Politik und die Unternehmen?
Algorithmen, mit denen Unternehmen wie Facebook operieren und die eine Menge Leute betreffen, müssen stärker überprüft werden – von einer unabhängigen Institution. Dafür habe ich jetzt eine Art Prüfstelle ins Leben gerufen, Orcaa, die das als Dienstleistung Unternehmen anbietet. Algorithmen sind durchaus reguliert von Gesetzesseite, aber keiner prüft nach, ob sie tatsächlich fair, legal und überhaupt sinnvoll sind.
Gelingt es Ihnen im Alltag, allen zweifelhaften Algorithmen aus dem Weg zu gehen?
Ich gehe nicht mehr auf Facebook, vor allem seit der US-Wahl. Es war einfach nur noch wie eine Party, auf der man zwar die meisten Gäste mag, wo aber ausschließlich die allernervigsten Gäste das Karaoke-Mikrofon in der Hand hatten. Auch Amazon versuche ich zu meiden. Früher habe ich es ganz boykottiert. Auch ich verhalte mich als Kunde manchmal widersprüchlich, natürlich. Aber es ist auch kein individueller Kampf, den es da zu führen gilt. Da müssen wir alle ran.