« Ignorer, supprimer, ignorer, supprimer », c’est la litanie des censeurs dans le documentaire Les Nettoyeurs du Web (1), réalisé par Hans Block et Moritz Riesewieck. Leur métier est caché et souvent sous-traité par les GAFAM. Il existe peu d’enquêtes sur le sujet, car la majorité signe des contrats avec clause de confidentialité. Et par la nature de leur travail, à savoir décider de ce qui reste ou non sur le web, les géants du web semblent réticents à faire preuve de transparence sur le rôle exact des modérateurs. Néanmoins, des enquêtes journalistiques de Wired de 2014 (2) et de The Verge en 2019 (3) donnent déjà un aperçu de leur quotidien.

Cela commence par une phase de filtre des contenus. Avec une répartition selon des catégories, par exemple, celle du terrorisme, des automutilations, ou encore l’EV pour Extrêmisme Violent. Les modérateurs se spécialisent ainsi dans certains types de contenus dans le but d’acquérir plus d’expérience et donc d’expertise dans le sujet traité.

Il existe deux types de modérations ; la modération active et la modération réactive. La modération active est celle faite par les plateformes ou leur sous-traitant selon leurs propres conditions générales d’utilisation, donc selon leurs propres règles de modération. La modération réactive est la modération effectuée suite à un signalement qui émane d’un utilisateur ou d’une autorité gouvernementale.

Bien sûr, il existe aussi des algorithmes appelés souvent « bots » qui s’occupent de trier ou « pré-trier » les contenus pour soulager le travail des modérateurs. Mais trier du contenu, c’est tenter de trouver l’équilibre délicat entre liberté d’expression et sécurité, entre censure et modération, entre satire et propagande. Un traitement complexe que l’humain est plus apte à effectuer qu’un algorithme. Mais l’est-il vraiment ?

Des héros de l’ombre

Les modérateurs sont souvent dans le flou avant de commencer, leurs postes ont des intitulés mystérieux ou génériques. Comme en témoigne Daisy Soderberg Rivkin, ancienne modératrice chez Google, dans l’article de L’actualité, une traduction de l’enquête de The Verge. Le libellé de son emploi était « associé aux retraits juridiques ».

Lorsqu’on leur explique enfin ce qu’ils vont faire, on leur présente leur job comme nécessaire à la société, on leur explique qu’ils vont sauver les autres en les empêchant de voir des contenus « atroces ». Et c’est vrai que leur métier est utile. Qui souhaite voir défiler dans son fil d’actualité de la pédocriminalité et des décapitations entrecoupées de photos de vacances de ses amis ou de résultats d’élections municipales ?

Source : The Verge, Google and YouTube moderators speak out.

Avec le rôle de sauveur, vient aussi le costume de super héros. Les modérateurs signent des clauses de confidentialité les obligeant à garder secret ce qu’ils voient ou font. Ils sont donc condamnés à agir dans le silence et dans l’ombre. Ce sont des « sentinelles » qui protègent les utilisateurs, des « garants de cette sécurité ». « On joue le rôle de policiers », se décrivent les modérateurs dans le documentaire.

À la panoplie du super héros, les modérateurs se voient aussi affublés d’une notion de sacrifice. Beaucoup témoignent vouloir s’en aller peu de temps après avoir commencé, cependant, ils arrivent à se convaincre que quelqu’un doit le faire, doit se sacrifier pour que les autres n’aient pas à voir ces atrocités. Ils se sentent ainsi souvent responsables et investis de cette mission. Une mission noble à leurs yeux.

Censure en clair-obscur

Si la mission des modérateurs semble à première vue bien intentionnée, elle est plus complexe qu’il n’y paraît. En effet, plusieurs biais viennent s’opérer dans ce « choix » de censurer ou non un contenu.

Tout d’abord, le biais lié aux conditions générales d’utilisation. En effet, comme on peut le voir dans le documentaire Les Nettoyeurs du web, un modérateur explique être tombé sur une image connue, qui relève du journalisme et de la documentation de guerre. Il s’agit en effet d’une photo emblématique de la guerre du Viêtnam, une petite fille que l’on voit courir nue, hurlant de douleur après avoir été gravement brûlée à la suite d’une attaque au napalm. Le modérateur conclut cependant que d’après les règles de modération, il s’agit de nudité d’enfant, et c’est interdit. Le contenu sera donc effacé.

 

modérateurs

De manière similaire, dans l’enquête de Wired, un modérateur explique que pendant les années 2010, ils avaient dû dans l’urgence supprimer tous les contenus où figuraient les sermons de l’islamiste radical américain Anwar al-Awlaki. Parallèlement, lors du Printemps arabe, malgré la violence de certains contenus ou leur caractère « terroriste » (au sens qu’il présentait une opposition au pouvoir en place), les modérateurs avaient eu pour directives de les laisser, car ils étaient « newsworthy », qu’ils avaient de la valeur en tant qu’actualité.

Ajoutons à ce type de biais venant des directives managériales ou de l’entreprise, les biais liés aux gouvernements. Certains gouvernements sont plus stricts en matière de contenus autorisés. Par exemple, sera considéré comme du terrorisme, du contenu d’opposition politique dans certains pays. Et comme c’est illégal, les plateformes devront s’y plier sous peine de se voir interdire l’accès à Internet sur le territoire concerné. Il s’agit de geoblocking, un blocage de contenu selon la situation géographique.

En admettant que les modérateurs aient peu ou pas de prise sur les mesures citées ci-dessus, un autre biais vient entrer en action, le leur. En effet, chaque personne est différente, une croyance personnelle peut venir influencer sa façon de censurer la nudité. Une modératrice explique dans le documentaire d’Arte qu’elle censurait tous les types de nudité sans exception, car pour elle, c’était amoral. Un autre modérateur argue qu’il faut se demander quelle est l’intention de l’image. Une question pertinente, mais bien complexe. Comment savoir les intentions derrière une image ?

Qui plus est, ces images sont souvent sorties de leur contexte. Ou le modérateur n’a pas les codes pour le comprendre. Il doit parfois modérer des contenus de pays dont il ne connaît pas l’histoire et où il n’a jamais été. Alors bien sûr, on peut y voir une forme d’impartialité, car les modérateurs auraient ainsi plus de recul sur le sujet, mais c’est sans compter sur leurs propres biais. Est-il vraiment possible d’être totalement impartial ?

Persistance rétinienne

Une fillette de 6 ans faisant une fellation à un homme, un suicide en direct, une scène de décapitation de 2 minutes… Les modérateurs ne se souviennent pas de tout ce qu’ils voient, mais ils ont tous quelque chose en commun. Ils ont tous un contenu qui les a marqués, un contenu qui s’est gravé dans leur rétine comme dans leur esprit. Une sorte de persistance retienne devenue « persistance psychologique ».

Leur quotidien, c’est voir des contenus qui leur font perdre foi en l’humanité. Ils voient le pire et le plus sombre de ce que l’être humain a à « offrir ». Le risque est déjà dans la fiche de description du poste, si tant est qu’il l’ait eu avant. Mais ce qu’on ne leur dit pas, c’est à quel point le visionnage d’images difficiles à gérer émotionnellement va les affecter psychologiquement sur le long terme.

Lire aussi : Chut n°2 : La condition urbaine au format podcast

Dans les différentes sources, le terme de TSPT revient souvent. Le TSPT, c’est le Trouble de Stress Post Traumatique. Le même que celui dont peuvent souffrir les soldats de retour de guerre. Dans le documentaire ainsi que dans l’article de The Verge, deux modérateurs se sont suicidés. Daisy Soderberg Rivkin, une modératrice, raconte qu’elle avait des crises d’angoisse, et qu’elle ne pouvait plus avoir de vie sociale normale. Dès qu’elle voyait des enfants, elles pensaient aux choses horribles que d’autres enfants de leur âge avaient subies. Certains de ses collègues devenaient paranoïaques, d’autres perdaient l’appétit ou développaient des troubles alimentaires.

Mais comme si le cœur de leur métier n’était pas assez difficile à supporter émotionnellement, les modérateurs se heurtent souvent aux obligations capitalistes telles que la productivité. Dans l’article de The Verge, un modérateur explique que leurs ordinateurs possèdent des logiciels de surveillance qui enregistrent les contenus qu’ils regardent ou non. De quoi concurrencer plusieurs épisodes de Black Mirror à la fois. Un modérateur raconte qu’il traite 120 vidéos par jour en 5 heures, soit 24 par heure. Un autre modérateur traite des contenus 8 heures d’affilée. Un autre encore témoigne que depuis qu’il travaille dans ce domaine, il a visionné en moyenne 25 000 images par jour. Et l’ironie, explique une autre modératrice, c’est que la qualité de leur travail n’est notée que sur 3 % du contenu traité. Et il n’y a droit qu’à 3 erreurs par mois.

Dans de telles conditions, on peut se demander pourquoi les entreprises n’apportent pas un meilleur cadre de travail. Un modérateur explique qu’ils ne sont pas formés à faire ce travail. Certaines personnes travaillant chez Google expliquaient qu’elles avaient le droit à des pauses bien-être seulement en interrogeant les employés, et il n’était pas rare qu’elles sautent, car il y avait trop de contenus à traiter. Sans compter que selon l’entreprise sous-traitante, tout le monde ne « bénéficie » pas des mêmes avantages.

Google a exposé début 2019 des propositions « stylistiques » permettant de rendre plus tolérable le visionnage des contenus pour les modérateurs lors de « The Conference on Human Computation and Crowdsourcing ». Notamment flouter des visages ou filtrer en noir et blanc lorsqu’il y avait du sang.

Lire aussi : Robot et télékinésie, une aubaine en temps de pandémie ?

Mais ce qui inquiète la thérapeute qui a traité Daisy Soderberg Rivkin et d’autres modérateurs, c’est qu’aucune étude n’est faite sur le seuil de tolérance à l’exposition répétée à des contenus émotionnellement dérangeants. Elle va plus loin et questionne sur l’existence même d’un tel seuil. Quand on pense aux effets cités plus hauts qui vont d’une sur-sensibilisation à une désensibilisation pour certains, le spectre de tolérance n’en est que plus épineux.

 

Au croisement entre liberté d’expression, sécurité et valorisation des moyens humains, la condition de modérateur soulève des questions éthiques sur le point d’équilibre à trouver. Le rôle de l’humain se découpe en filigrane. Un être humain qui est seul à pouvoir traiter correctement un tel contenu. Et paradoxalement, un être humain qui est contraint de travailler dans des conditions l’empêchant d’effectuer sa mission correctement. Le sujet interroge aussi sur la notion de responsabilisation. Entre plateformes, gouvernements, médias et utilisateurs, qui est responsable ? Alors que la loi Avia et la loi interdisant de filmer les forces de police soulèvent le débat et cristallisent l’importance de la liberté d’expression, la modération de contenus est-elle mission impossible ?

 

(1) « Les nettoyeurs du Web », Arte, réalisé par Hans Block et Moritz Riesewieck en 2018.

(2) « The Laborers who keep dick pics and beheadings out of your Facebook feed », Wired, écrit par Adrian Chen, octobre 2014.

https://www.wired.com/2014/10/content-moderation/

(3) «Les éboueurs du web », de L’actualité, traduit le 4 mars 2020, d’après l’article de The Verge, The terror queue, écrit par Casey Newton, le 16 décembre 2019.

Gwendoline WEBER
Gwendoline WEBER
Ménestrelle numérique
Oscillant entre galéjades giffesques, modération bienveillante, veille im-pertinente, haikus récréatifs et designs amuse-oeil. VENI VIDI SHARED