Die Arbeit der Lösch-Teams, die bei Facebook gemeldete Inhalte überprüfen und von der Öffentlichkeit abgeschirmt sind, war bereits zweimal Thema im SZ-Magazin. Unsere Autoren Hannes Grassegger und Till Krause recherchierten für ihre Artikel Im Netz des Bösen sowie Mauern des Schweigens, unter welchen Bedingungen Mitarbeiter der Bertelsmann-Firma Arvato arbeiten. Nach den Veröffentlichungen meldete sich Burcu Gültekin Punsmann, eine ehemalige Arvato-Mitarbeiterin, und bot an, ihre Erfahrungen in einem Gastbeitrag darzulegen. Wir haben ihren ursprünglich englischsprachigen Beitrag ins Deutsche übersetzt.
Zur englischsprachigen Version des Textes: English Version here.
Ich war neu in Berlin, als ich im Juli 2017 meinen Job als »Content Moderator« bei Arvato begonnen habe. Es war vor allem meine Neugier, die mich dazu brachte, das eigentlich unattraktive Angebot anzunehmen. Ich trat ein in eine Welt, von deren Existenz ich nichts geahnt hatte. Ich war Prüferin für Facebook, einer von Tausenden externen Mitarbeitern der »Facebook Community Operations«, die weltweit in vierzig Sprachen arbeiten. Berlin wurde zu einem regelrechten Zentrum der Facebook-Lösch-Teams, auch deshalb, weil die deutsche Regierung ein neues Gesetz gegen Hetze im Internet verabschiedet hat.
Nach drei Monaten im Job habe ich gekündigt – ich verspüre seither das Bedürfnis, diese sowohl persönlich wie auch beruflich intensive Erfahrung zu reflektieren und daraus zu lernen. Ich hoffe, ich kann mit diesem Text die Arbeit der Content Moderatoren ein wenig transparenter machen und damit zu weiteren Diskussionen über das Thema beitragen. Die Vertraulichkeitsvereinbarung, die ich unterschrieben habe, werde ich nicht brechen – und ich werde auch nicht genauer auf die Löschregeln von Facebook eingehen. Schon in meiner kurzen Zeit als Content Moderator wurden diese Regeln mehrmals geändert.
Die Trainings- und Einführungsphase hat mir Spaß gemacht, es hat mir gefallen, dass das Team so international aufgestellt ist. Alle meine Kollegen waren ebenfalls Migranten, eher jung und mit ganz unterschiedlichen Hintergründen. Ich mochte das. Ich fand auch den Widerspruch spannend, für eine Plattform wie Facebook zu arbeiten, die Menschen auf der ganzen Welt vernetzen soll, dabei aber gleichzeitig hinter hohen Mauern der Verschwiegenheit versteckt zu sein.
Wie bei den meisten anderen Social-Media-Plattformen prüft bei Facebook niemand Inhalte, bevor sie hochgeladen werden. Nutzer haben die Möglichkeit, Beiträge zu melden, die sie unpassend finden. Die Aufgabe von Content Moderatoren ist es nun, diese Meldungen – intern Tickets genannt – zu überprüfen. Soweit ich weiß, gibt es bei Facebook weltweit 6,5 Millionen Tickets pro Woche, und ständig laufen neue ein. Die Arbeit für Content Moderatoren ist also niemals beendet, die Tickets kommen sieben Tage die Woche, fast ohne Unterbrechung.
Es fällt mir aus heutiger Sicht schwer, die Rolle, in der ich da tätig war, zu beurteilen. War ich ein Zensor, der die Meinungsfreiheit beschnitten hat? Ich denke eigentlich nicht. Ich habe das Recht, zu kritisieren und sich kreativ zu äußern, sehr ernst genommen. Ich war für türkische Beiträge zuständig, da ging es häufig um die ideologischen Gräben in der türkischen Gesellschaft, um historische Narrative, um Angriffe auf die Religion – mal humorvoll, mal ernst.
Doch bei den meisten Meldungen ging es nicht um Meinungsäußerungen. Es ging um Handlungen oder Verhalten, die als anstößig gemeldet wurden – in Bildern, Texten oder in Facebook-Live-Streams: Gewalt, Grausamkeit, Hetze, Sadismus, Mobbing, Selbstverletzungen.
Jeder Laie, der gesehen hat, was ich am laufenden Band gesehen habe, muss zu der Überzeugung kommen, dass unsere Gesellschaft krank ist. Ich habe Menschen gesehen, die sich an keinerlei soziale Normen hielten, ich habe eine Welt gesehen, in der es keinen Anstand gibt, keine Rücksicht auf andere, keinen Respekt vor der Privatsphäre. Sind es die Möglichkeiten von Social Media, die solches Verhalten fördern, weil sie es leicht machen, jeden sozialen Filter zu zerstören, jede moralische Grenze zu überschreiten? Man kann nicht einmal sagen, dass diese Beiträge asozial sind, denn viele davon wurden gepostet, um neue Follower und Likes zu generieren. Sie sollten Aufmerksamkeit erzeugen. Ich habe oft darüber nachgedacht, wie es wäre, wenn die Menschen sich öffentlich so verhalten würden – und konnte der Vorstellung nicht mehr entkommen, dass sich solche Verhaltensweisen irgendwann auch in öffentlichen Verkehrsmitteln, in Kaffeehäusern oder Parks durchsetzen könnten.
Das war einer der Gründe, warum ich gekündigt habe: Der Job hat mich verändert. Die brutalsten Dinge, wie etwa die Schießerei von Las Vegas, erschienen mir plötzlich völlig normal. Und im Alltag wurde ich übertrieben wachsam, ich sah überall Dinge, von denen ich dachte, dass sie meine siebenjährige Tochter gefährden könnten. Hinzu kam, dass sich der Schichtdienst nicht mit meinem Familienleben vereinbaren ließ. Ich sah meine Tochter kaum noch, wenn ich Spätschichten hatte.
Anfangs hatte ich diese durchregulierte Arbeitsumgebung noch als persönliche Herausforderung begriffen: Es war wie in einer Fabrik, ich war plötzlich Teil einer Art digitalen Proletariats: mehr als 700 Leute in einer hermetisch abgeschirmten Umgebung und keinerlei Kommunikation nach außen. Arbeitszeiten waren strikt geregelt, ich musste immer an meinem Arbeitsplatz bleiben, abgesehen von kurzen, exakt vorgeschriebenen Pausen von wenigen Minuten. Produziert haben wir nichts, aber wir haben mitgeholfen, ein hochprofitables Milliarden-Unternehmen am Laufen zu halten.
Dabei ist der Job des Content Moderators alles andere als einfach: Man analysiert Inhalte und setzt sie in einen Kontext; man entscheidet nicht einfach nur, ob ein Posting gelöscht oder behalten wird, sondern bewegt sich in einem komplizierten System aus möglichen Aktionen und Konsequenzen. Der Job ist zu komplex für Algorithmen, doch die Moderatoren sollen trotzdem wie Computer arbeiten. Alles soll standardisiert ablaufen, man soll die Postings nach einem genau vorgegeben System behandeln, für menschliches Ermessen oder Intuition soll kein Platz sein. Ein Moderator soll 1300 Meldungen am Tag abarbeiten, was einem nur wenige Sekunden Entscheidungszeit pro Fall lässt. So wird aus einem intellektuell fordernden Prozess ein Automatismus, man reagiert mehr, als dass man entscheidet. Die ständige Wiederholung führt zu Frustration und Entfremdung. Der Content Moderator kann höchstens Beispiele von Postings sammeln, die von den Regeln schlecht erfasst werden, um auf Schwachstellen im Regelwerk hinzuweisen. Darüber hinaus soll der Mensch keine eigenen Annahmen machen, er soll es unterlassen, die möglichen Intentionen hinter Beiträgen zu hinterfragen. All die Automatisierung und Standardisierung soll zu mehr Objektivität führen. Ich glaube, das Gegenteil ist der Fall: Mehr menschliche Entscheidungsspielräume würden die Entscheidungen verbessern und hätten Facebook einiges an negativem Medienecho der letzten Monate ersparen können.
Obwohl man als Content Moderator in einem Großraumbüro mit vielen Teamkollegen sitzt, verhindert die hohe Arbeitsbelastung jegliche soziale Interaktion. Jeder kapselt sich im virtuellen Raum ab, man teilt sich niemandem mit, fühlt sich zusehends isoliert. Dadurch ist man den Inhalten, die man zu prüfen hat, noch stärker ausgeliefert. Die Tickets, also Text, Bilder und Videos, kommen per Zufallsprinzip auf den Schirm und sind extrem unterschiedlich. Es bleibt keine Zeit, sich gedanklich auf einen neuen Inhalt einzustellen oder sich mental auf irgendeine Weise vorzubereiten. Du weißt nie, was als nächstes aufpoppt. Manchmal braucht es ein paar Sekunden, um zu verstehen, worum es bei einem Beitrag geht. Das führt zu einer permanenten Stressbelastung: Ein komplexer analytischer Prozess wird durch den Zeitdruck zu einem reinen Affekt. Man hat nicht das Gefühl, aktiv irgendetwas zu tun. Man reagiert nur. Es prasselt auf einen ein. Mit der Zeit wird es schwerer und schwerer, nach der Arbeit abzuschalten, das Ganze ist wie eine Abhängigkeit, eine Sucht. Sogar in meinen Träumen musste ich immer und immer wieder Tickets abarbeiten.
Oft habe ich mir gewünscht, ich wäre ausgebildete Sozialarbeiterin oder Psychologin. Die Arbeit fühlte sich manchmal an, als würde ich im Rettungsdienst arbeiten – dann wieder, als wäre ich in einer Strafverfolgungsbehörde. Doch immer war ich machtlos – ich konnte ja nicht eingreifen, nicht helfen. War das, was ich da sah, ein digitales Abbild unserer Gesellschaft? Ich redete mir ein, dass ich ja nur die schlimmsten Teile davon zu sehen bekam, aber die Gewalt schien allgegenwärtig und alles durchdringend. Zumindest kamen meine Tickets nicht direkt aus der Gesellschaft, in der ich lebte: Die Kollegen, die deutschsprachige Meldungen bearbeiten mussten, taten mir leid.
Content Moderator ist ein Job, den nicht jeder erledigen kann. Zwar wurden wir bei dem etwa 15-minütigen Vorstellungsgespräch gefragt, ob wir mit schwierigen Inhalten umgehen könnten. Doch das ist vorab sehr schwer zu beurteilen. Dabei war ich vermutlich gar nicht mal so schlecht vorbereitet: Ich habe unter schwierigen Bedingungen bei Friedensmissionen und Hilfseinsätzen gearbeitet. Und ich bin erfahrener und älter als die meisten meiner Kollegen. Die jüngeren Mitarbeiter taten mir sehr leid – das ganze System der Content Moderation basiert auf jungen Arbeitern mit Migrationshintergrund – im Durchschnitt waren meine Kollegen 28 Jahre alt.
Als ich eingestellt wurde, konnte ich an einem Workshop teilnehmen, den der psychologische Berater organisiert hat. Ich weiß, dass dieser Service nicht von Anfang an zur Verfügung stand. Mit selbst war dieser Workshop nicht zielgerichtet genug. Aber immerhin besser als nichts. So kann man zumindest mal seinen Arbeitsplatz verlassen und mit jemandem reden. Um persönliche psychologische Betreuung habe ich nie gebeten. Aber es war gut zu wissen, dass es überhaupt so eine Möglichkeit gibt. Ich konnte spüren, welche Angst meine Kollegen vor den Spätfolgen dieser Arbeit hatten. In solchen Fällen wäre es sehr wichtig, sich auch untereinander auszutauschen, aber dafür gab es keine Möglichkeit. Nur wenn wir gemeinsam mit öffentlichen Verkehrsmitteln unterwegs waren, haben wir uns darüber unterhalten – und obwohl wir Englisch gesprochen haben, war es mir unangenehm, die anderen Fahrgäste damit zu belasten.
Man wird als Content Moderator sehr schnell zu einem Experten, was Schimpfwörter und Flüche angeht. Die sprachlichen Möglichkeiten sind in dieser Hinsicht eher limitiert, manch langen Post voller Flüche und Beschimpfungen fand ich richtig faszinierend. Doch es ist nicht immer leicht, zwischen Flüchen und Frauenfeindlichkeit zu unterscheiden. Mir war nicht klar gewesen, wie sexuell suggestiv und geschlechtsspezifisch viele gängige Flüche eigentlich sind. Auch Mobbing machte mir Kopfzerbrechen, und das nicht nur bei Teenagern: Zu sehen, wie grausam und gnadenlos Menschen andere Menschen behandeln könen, hat mich tief verstört. Man sieht Postings, die nur den Zweck haben, zu verletzen, die nichts anderes sind als purer Sadismus.
Besonders belastend sind Darstellungen extremer Gewalt. Letztlich musste jeder für sich einen Weg finden, mit diesen Bildern umzugehen. Besonders Neulingen fällt das schwer. Mit der Zeit findet der menschliche Geist aber Möglichkeiten, anfangs extreme Gefühle wie Wut oder Ekel zu kontrollieren und zu unterdrücken. Ich habe intuitiv gelernt, einen fast medizinischen Zugang zum menschlichen Körper zu entwickeln, ich observierte Fleisch und Knochen wie ein Forensiker. Manche Bilder und Videos von Unfällen oder Verbrechen musste ich mir mehrmals ansehen, dabei genau auf einzelne Details achten, um die recht präzisen Regeln für Gewaltdarstellungen darauf anwenden zu können.
Am schwierigsten wird es dort, wo man nicht anders kann, als Empathie zu entwickeln. Die Bilder voller Blut, verstümmelter und zerrissener Körper sind der reine Horror, aber ich lernte, meinen Ekel zu überwinden. Doch Empathie kam immer dann auf, wenn ich in den Bildern etwas sah, was mich unwillkürlich an die wirkliche Welt erinnerte, kleine Details, die ich lieber übersehen hätte, die aus einem Leichnam einen Menschen machten. Oder das Leid lebender Menschen. Das Schlimmste von allem: Videos, in denen Kinder oder Tiere missbraucht oder gefoltert werden.
Als Content Moderator arbeitet man in seiner Muttersprache und hat deshalb eine besondere Verbindung zu den Inhalten, die man prüft. Im türkischen Markt, für den ich zuständig war, bekam ich einen Einblick in die Konflikte im Nahen Osten. Themen, die eine Gesellschaft spalten, schlagen sich besonders in den Sozialen Medien nieder: im Fall der Türkei vor allem die Lage in Syrien und im Irak. Manchmal fühlte ich mich auch, als wäre ich ein »embedded journalist« im Kurdenkonflikt, der zwischen den Frontlinien wechselt. Sympathisanten wie auch die Kämpfer selbst nutzen Social Media, um ihren Krieg zu dokumentieren, die eigene Heldenhaftigkeit und Kameradschaft hervorzuheben oder den Gegner zu verhöhnen. Das meiste davon wird wohl ohne Zustimmung oder Auftrag von oben gepostet. Sieht man beide Seiten, wird einem die Absurdität des Konfliktes bewusst. Dass beide Konfliktparteien sich immer wieder auf dieselben kulturellen Referenzen beziehen, wirkte auf mich dabei fast tröstlich.
Einige Wochen lang bekam ich es ständig mit Fotos und Videos von den Massakern an an den Rohingya in Myanmar zu tun. Die Intention dieser Postings war es, Aufmerksamkeit zu schaffen, die Verbrechen zu verurteilen und zur Hilfe aufzurufen. Die Inhalte waren nachrichtenrelevant. Doch manche der Bilder gingen nur deshalb viral, weil sie besonders brutal waren – nicht, weil den Menschen die gute Sache wichtig war.
Die am meisten gefürchteten Videos bei den Content Moderator zeigen Enthauptungen. Ich habe jede Menge davon gesehen. Sie sind natürlich sehr brutal. Doch sie haben bei mir deshalb einen so großen Ekel verursacht, weil der schnelle Tod und das vergleichsweise wenige Blut wirkliche Empathie verhindern. Während des islamischen Opferfestes musste ich sehr viele Beiträge über das Schlachten von Tieren bearbeiten, und ich bemerkte, dass ich auf die Schlachtungsvideos ganz ähnlich reagiere wie auf Enthauptungen von Menschen. Oft fand ich die Schlachtungen sogar schlimmer, weil das Leid und der Todeskampf der Tiere viel länger dauern. Diese Erkenntnis setzte mir besonders zu.
Nicht nur der IS produziert Enthauptungsvideos. Ich habe sehr viele aus Lateinamerika gesehen, vom Kampf gegen die Drogenkartelle, aber auch aus Myanmar und sogar aus der südlichen Türkei. Die Videos des IS sind viel professioneller, sie sind geschnitten und mit Musik hinterlegt, wodurch der Inhalt fast surreal wirkt. Die eigentliche Frage für mich ist, warum diese Videos sich verbreiten: Was ist der Grund, aus dem man sie teilt und weiterschickt? Die wenigsten, die ich zu prüfen hatte, wurden von IS-Accounts gepostet. Ist es also nur Sadismus, Gewaltverherrlichung? Buhlen die Menschen damit um Aufmerksamkeit?
Der Content Moderator kann kaum etwas anderes tun, als zu löschen. In ganz seltenen Fällen habe ich den Verfassern der Beiträge Nachrichten geschrieben, dass das Posting grausam war. Ich wünschte, ich hätte das öfter machen können, hätte mit der Person hinter dem Beitrag kommunizieren können, doch dafür bleibt keine Zeit. Dabei gäbe es viel zu tun, zu erklären und aufzuklären. Das muss eine gemeinsame Anstrengung sein. Wir als Content Moderatoren können einen Schutz bieten, wenn die User uns durch ihre Meldungen den Auftrag geben. Doch die große Geheimhaltung und Verschwiegenheit, die in und um diesen Job herrscht, hilft nicht gerade dabei, ein Bewusstsein dafür zu schaffen, dass wir alle mitverantwortlich sind für die Gesellschaft, in der wir uns – offline und online – bewegen. Diese Verantwortung können die großen Technologie-Unternehmen nicht alleine tragen. Doch sie können einiges dazu beitragen, bessere Online-Communitys zu schaffen.
Übersetzung: Wolfgang Luef
Foto: Reuters