mars 1, 2021

Yik Yak

Forum

Scott Morrison a déclaré que le contenu haineux sur les médias sociaux pourrait être automatiquement filtré par des algorithmes. Est-il correct?

Temps de lecture 15 mn

Mis à jour
    
      18 avril 2019 07:58:08

Photo:
Scott Morrison a surestimé la capacité des algorithmes à censurer le contenu. (ABC News)

La demande

Le gouvernement fédéral a mis en garde les médias sociaux après le massacre de Christchurch pour ne pas avoir empêché la diffusion et la promotion en ligne des actions du tireur.

Le 20 mars, le Premier ministre Scott Morrison a déclaré lors d'une interview dans le cadre du programme Sunrise du réseau Seven:

"S'ils peuvent cibler géographiquement une annonce en fonction de quelque chose que vous avez regardé sur Facebook en une demi-seconde – c'est presque comme s'ils lisaient dans votre esprit -, alors je suis sûr qu'ils ont la capacité technologique d'écrire des algorithmes qui filtrer ce type de matériel violent et hideux à tout moment. "

Les entreprises de médias sociaux ont-elles la capacité d'écrire des algorithmes capables de supprimer le contenu haineux en quelques secondes?

RMIT ABC Fact Check enquête.

Le verdict

La demande de M. Morrison est un vœu pieux.

YouTube et Facebook utilisent déjà des algorithmes pour détecter le contenu haineux qui est ensuite examiné par les internautes.

Mais garantir que ce matériel soit retiré "à tout moment" nécessite une approche entièrement automatisée – ce que les experts ont dit à Fact Check est actuellement impossible.

Les experts ont également rejeté la comparaison faite par M. Morrison des systèmes de détection de contenu et de la publicité ciblée, affirmant que les deux technologies étaient complètement différentes.

Néanmoins, les données que les entreprises de médias sociaux utilisent pour cibler leurs publicités peuvent être utilisées pour identifier, sinon le contenu, les personnes qui les partagent.

Les entreprises le font déjà en interdisant certains groupes – bien que, du moins dans le cas de Facebook, les nationalistes blancs ne soient visés que depuis Christchurch.

Les experts ont suggéré aux sociétés d’utiliser des méthodes autres que des algorithmes pour empêcher le partage de contenus préjudiciables, telles que l’interdiction, la réglementation ou le retardement de la diffusion en direct.

Le rôle des médias sociaux

Les médias sociaux ont joué un rôle unique dans le massacre de Christchurch, le tireur utilisant Twitter et 8chan pour partager des liens avec son manifeste, et Facebook pour diffuser le tournage en temps réel pendant 17 minutes.

Des images de l'attaque inspirée par le suprématisme blanc ont ensuite été copiées et partagées sur les médias sociaux.

Dans un entretien avec ABC News Breakfast, le 26 mars, le procureur général, Christian Porter, a déclaré qu'il semblait "y avoir plus d'une heure jusqu'à ce que Facebook prenne des mesures qui ressemblent à des mesures raisonnables pour empêcher la retransmission de cette vidéo".

Facebook a déclaré avoir appris l'existence de l'émission 12 minutes après sa fin, ou 29 minutes après le début, lorsqu'un utilisateur l'a signalée.

La société a retiré 1,5 million de vidéos de l'attaque au cours des premières 24 heures, atteignant 1,2 million avant que les utilisateurs ne les voient.

Au cours de la même période, YouTube a également supprimé des dizaines de milliers de vidéos et suspendu des centaines de comptes, a déclaré une porte-parole à Fact Check.

"Le volume de vidéos liées téléchargées sur YouTube dans les 24 heures qui ont suivi l'attaque était sans précédent en termes d'échelle et de vitesse, parfois aussi rapide qu'un nouveau téléchargement à la seconde", a-t-elle déclaré.

Qui est en difficulté?

Après Christchurch, le gouvernement a demandé des réponses aux trois grandes entreprises de médias sociaux: Google (qui possède également YouTube); Facebook (qui possède également Instagram); et Twitter.

Facebook et YouTube proposent tous deux des services de diffusion en direct.

Les experts ont déclaré à Fact Check qu'il était logique que le gouvernement se concentre sur ces sociétés, car elles offraient le plus large public.

Photo:
Sur un monument commémoratif sur Dean's Avenue à Christchurch, on peut lire: "C’est votre maison et vous auriez dû être en sécurité ici". (ABC News: Brendan Esposito)

Le besoin de vitesse

Compte tenu du souhait manifeste du premier ministre de capturer du contenu en quelques secondes, Fact Check le considère comme une référence au filtrage de contenu entièrement automatisé.

M. Morrison a déclaré que les sociétés de médias sociaux devraient pouvoir visualiser le contenu "à tout moment", car elles peuvent cibler les utilisateurs avec des publicités "dans la demi-seconde".

Un jour plus tôt, il avait justifié sa position en partant du principe que les entreprises disposaient de la technologie "pour diffuser des annonces ciblées sur votre mobile en quelques secondes".

Depuis lors, le gouvernement a adopté une législation qui pourrait entraîner l'emprisonnement de dirigeants de médias sociaux et la condamnation de sociétés à des amendes pour avoir omis de prendre rapidement "des informations violentes et odieuses".

Quel genre de contenu?

Enquête sur les faits, M. Morrison fait également référence à plus que de la vidéo.

Alors qu'il faisait référence à "ce genre de matériel violent et hideux" dans l'interview de Sunrise, dans une lettre au Premier ministre japonais Shinzo Abe, tweetée la veille, il s'est largement référé au matériel d'acteurs qui "encouragent, normalisent, recrutent, facilitent ou commettre des activités terroristes et violentes ".

Lien externe:

Tweets Scott Morrison

Le 19 mars, il a déclaré que les entreprises de médias sociaux pourraient écrire un algorithme pour filtrer les "contenus haineux".

Que faisaient déjà les entreprises?

Le contenu de la sélection est généralement un processus en deux étapes.

Le matériel est identifié ou signalé par des machines ou des utilisateurs et, dans certains cas, par des employés de l'entreprise.

Les examinateurs humains décident ensuite si elle enfreint les règles de la plateforme.

YouTube emploie 10 000 critiques et Facebook 15 000.

Une porte-parole de Twitter a déclaré à Fact Check que les humains avaient joué un rôle essentiel dans la modération des tweets.

Avant l'attaque, ces sociétés utilisaient déjà des algorithmes pour signaler une variété d'éléments pouvant être appelés contenus haineux.

Le professeur Jean Burgess, directeur du centre de recherche sur les médias numériques de l'Université technique du Queensland, a déclaré que les plateformes disposaient d'incitations commerciales à le faire. Il a expliqué comment Google avait perdu des millions lorsque des entreprises avaient découvert que leurs produits étaient promus aux côtés de contenus extrémistes sur YouTube.

YouTube interdit notamment le discours haineux et le contenu violent ou graphique, et au cours des trois mois précédant décembre 2018, la plate-forme a supprimé près de 16 600 vidéos faisant la promotion de l'extrémisme violent.

Sur près de 9 millions de vidéos supprimées au total sur le trimestre, 71% étaient signalées par des algorithmes.

YouTube a déclaré que, grâce à l'apprentissage automatique, "plus de 90% des vidéos mises en ligne en septembre 2018 et supprimées pour l'extrémisme violent avaient été vues moins de 10 fois".

Facebook interdit également les discours de haine, le terrorisme et la violence.

Au cours des trois mois se terminant en septembre 2018, 15 millions d'éléments à contenu violent ou graphique ont été traités, dont 97% étaient signalés par ordinateur.

Les algorithmes signalent également 99,5% du contenu censé promouvoir le terrorisme, mais 52% seulement des discours de haine rapportés.

Twitter a déclaré à Fact Check qu'il utilisait également des algorithmes pour signaler le contenu vidéo en fonction de hashtags, mots clés, liens et autres métadonnées.

Au cours des six mois se terminant en juin 2018, il a suspendu 205 000 comptes pour la promotion du terrorisme, dont 91% étaient signalés par les "outils internes exclusifs" de Twitter.

Photo:
Le fondateur de Facebook, Mark Zuckerberg, a déclaré au Congrès américain que l'intelligence artificielle pourrait être "le moyen évolutif d'identifier et d'extraire la plupart des contenus qui violent nos politiques". (Fourni)

Alors, qu'est-ce qu'un algorithme?

Le professeur Julian Thomas, directeur de la plate-forme de capacités de développement du RMIT pour le changement social, a déclaré que le terme algorithme faisait généralement référence aux "règles formulées" utilisées par les plates-formes pour décider quoi faire du contenu.

Ces règles peuvent souvent être décrites comme des propositions "si … alors", a-t-il déclaré, telles que "si une publication a été appréciée par les utilisateurs a, b et, c, elle sera promue".

Le professeur Burgess a déclaré qu'il était utile de considérer les algorithmes comme "des processus de curation, de classement et de modération du contenu".

Utiliser des algorithmes signifie utiliser des programmes informatiques pour automatiser la prise de décision, ce qui peut impliquer plusieurs règles ou un type d'intelligence artificielle appelé apprentissage automatique.

"Dans les deux cas, on peut parler d'algorithmes", a déclaré le professeur Burgess, "mais il est important de comprendre qu'ils sont toujours programmés par des personnes, dans des contextes institutionnels, avec des objectifs particuliers à l'esprit".

Algorithmes et publicité

M. Morrison a comparé à plusieurs reprises le filtrage de contenu à la publicité ciblée, qui peut fonctionner sans contrôle humain.

Sur cette base également, Fact Check considère qu'il s'agit d'un filtrage de contenu entièrement automatisé.

Michael Fridman, du cabinet de conseil en marketing et analyse Tactic Lab, a déclaré à Fact Check que les sociétés de médias sociaux utilisaient des algorithmes pour classer les utilisateurs selon un large éventail de critères et leur proposer des publicités basées sur les critères de ciblage préférés de l'annonceur.

Les annonceurs sophistiqués peuvent également alimenter leurs propres données et algorithmes, a-t-il déclaré.

Et même si sa mise en place nécessite toujours beaucoup de prise de décision, "de nombreuses campagnes peuvent être automatisées une fois configurées".

M. Fridman a déclaré que lorsque les internautes visitent un site Web puis consultent des médias sociaux, ils voient immédiatement les annonces de ce même site, c'est "presque certainement" parce que le site Web a créé une campagne de remarketing.

Le filtrage du contenu utilise-t-il la même technologie?

Des experts ont déclaré à Fact Check que les technologies de ciblage des annonces et de filtrage du contenu n'étaient pas comparables.

Le professeur Burgess a déclaré qu'ils s'appuyaient sur "des systèmes et des processus complètement différents".

Alors que la publicité ciblée associe les données des utilisateurs et le contenu des médias sociaux aux systèmes automatisés des annonceurs, le filtrage du contenu associe des processus de signalisation, de révision et de prise de décision, dont certains ne peuvent être automatisés.

Le Professeur Thomas a déclaré que la publicité traitait des données sur le comportement des utilisateurs passés, alors qu'en tant que filtrage automatisé, il devait reconnaître certains types de contenu.

De plus, a-t-il ajouté, le ciblage des annonces n'est pas parfait: "Nous avons tous vu des annonces pour des choses qui ne nous intéressent pas."

Toby Walsh, professeur d'intelligence artificielle à l'Université de NSW, a également déclaré que la comparaison avait échoué parce que la publicité était imprécise: "Filtrer les médias sociaux, c'est quelque chose que vous voulez faire avec beaucoup plus de précision."

Identifier les personnes nuisibles

Le professeur Walsh a également déclaré que les informations glanées à des fins publicitaires pouvaient aider à identifier les personnes susceptibles de partager des contenus préjudiciables: "[Companies] saura si vous avez téléchargé du contenu qui a déjà été censuré. "

Facebook utilise les données de cette manière pour traquer les terroristes et, après Christchurch, a déclaré qu'il commencerait par identifier les personnes à la recherche de mots associés au nationalisme blanc et à tenter de modifier leur point de vue.

Le 29 mars, la directrice des opérations, Sheryl Sandberg, a écrit que Facebook "utilisait nos outils d'intelligence artificielle existants pour identifier et éliminer toute une série de groupes haineux en Australie et en Nouvelle-Zélande", notamment la Lads Society et le United Patriots Front.

En 2017, un porte-parole de Google a déclaré que YouTube exploiterait "la puissance de la publicité en ligne ciblée pour atteindre les recrues potentielles d'ISIS, et [redirect] vers des vidéos antiterroristes ".

Infographie:
Un militant de l'Etat islamique agite un drapeau alors que les soldats irakiens sont emmenés dans des camions.
          (Welayat Salahuddin)

Algorithmes fragiles

La série actuelle d'algorithmes de filtrage de contenu présente des limites notables.

Les entreprises de médias sociaux utilisent le "hachage" pour supprimer des contenus tels que la pornographie enfantine, la propagande terroriste et du matériel protégé par le droit d'auteur.

Cette technique convertit une image, par exemple, en une chaîne de nombres, telle qu'une empreinte digitale, pouvant être vérifiée par rapport à une base de données.

Mais le hachage est redondant pour le nouveau contenu, il ne fonctionne que pour les images identiques ou très similaires à celles qui ont déjà une empreinte digitale.

Le professeur Walsh a déclaré que ces algorithmes étaient "très fragiles": "Nous pouvons changer un seul pixel … [or] faire pivoter la caméra de quelques degrés et imbécile [them]. "

Une vidéo existante réenregistrée avec un téléphone mobile éviterait également la détection.

Le professeur Burgess a déclaré qu'il existait désormais une "culture généralisée de contournement créatif" des contrôles de contenu sur les médias sociaux, ce qui était en partie une réaction brutale contre "la férocité avec laquelle ces plates-formes contrôlaient la violation du droit d'auteur".

Après Christchurch, Facebook a déclaré avoir trouvé 800 "variantes visuellement distinctes" de la vidéo de l'attaquant, certaines utilisant la technologie audio expérimentale.

Enseigner les machines

Pour détecter automatiquement du matériel nouveau ou réel tel que le tournage de Christchurch, comme le souhaitait M. Morrison, les entreprises ont besoin d'algorithmes allant au-delà de la technologie de hachage actuelle.

En théorie, un algorithme d’apprentissage automatique pourrait être formé à cette tâche. Il identifierait des modèles à partir d'exemples de jeux de données et utiliserait ces informations pour affiner ses critères de détection.

Pour détecter le streaming en direct du tireur, Facebook a prétendu que ses algorithmes d'apprentissage automatique auraient besoin d'apprendre de milliers d'exemples similaires qui n'existent pas.

Le professeur Burgess a déclaré qu'il s'agissait d'un commentaire juste en ce qui concerne le contenu de la vidéo, mais pas pour le discours de haine qui l'a permis, dont les exemples sont abondants.

Elle a déclaré que les plates-formes de médias sociaux utilisaient l'apprentissage automatique pour identifier les modèles de contenu textuel qu'elles utilisaient pour toutes sortes d'activités, telles que la promotion d'événements de la vie heureuse lors de discussions d'actualités.

Le professeur Thomas a déclaré que la défense de Facebook était impossible à vérifier, mais "plausible" sur la base des déclarations antérieures de la société à propos de ses systèmes.

Le professeur Walsh a déclaré que, si les exemples de tirs de masse filmés étaient rares, un algorithme pourrait au contraire être utilisé, par exemple, sur les sons de coups de feu, à partir duquel il pourrait apprendre à signaler les actes de violence commis par des armes à feu de manière plus générale.

Toutefois, cela impliquerait de supprimer les vidéos de personnes se trouvant dans des lieux légitimes tels que des clubs de tir, a-t-il déclaré, notant que "le mode opératoire de Facebook consiste à… être permissif et non conservateur dans le signalement de contenu".

Une automatisation complète est-elle possible?

M. Morrison s'est montré optimiste sur ce que les entreprises de médias sociaux peuvent faire. Après la prise de vue, Facebook a déclaré qu'il explorait "si et comment utiliser l'intelligence artificielle dans ces cas, et comment obtenir plus rapidement les rapports des utilisateurs".

La société a souvent vanté les algorithmes comme solution au filtrage du contenu.

En avril 2018, le fondateur, Mark Zuckerberg, a déclaré au Congrès américain qu'il croyait que les outils d'intelligence artificielle constituaient "le moyen évolutif d'identifier et d'extraire la plupart des contenus qui violent nos politiques", et qu'il était "optimiste", car ils seraient en mesure de faire face aux nuances linguistiques. dans 5-10 ans.

Toutefois, les experts ont déclaré qu'une automatisation complète pourrait ne jamais se produire car les algorithmes ne peuvent saisir le sens ni le contexte.

Tarleton Gillespie, chercheur chez Microsoft et universitaire à la Cornell University, écrit dans son livre Custodians of the Internet: "La détection automatisée n'est tout simplement pas une tâche facile. On peut dire qu'elle est impossible."

Il utilise l'exemple d'un algorithme d'apprentissage automatique conçu pour signaler la pornographie en reconnaissant des étendues ininterrompues de pixels couleur de peau, et affirme que cela pourrait encore être dupé par des conditions d'éclairage inhabituelles, par exemple, et capturer par inadvertance des photos de plage et de bébé.

Le professeur Walsh a déclaré que la modération automatisée restait "un énorme chemin" et pourrait ne jamais se produire: "[W]Nous ne pouvons pas écrire d’algorithmes pouvant être utilisés comme seule ligne de défense. "

Sur le tournage, il a déclaré: "Il serait très difficile de le dire, mis à part le fait que quelqu'un télécharge une vidéo avant un week-end de paintball… ou joue à un tireur vidéo à la première personne".

Le Professeur Walsh a déclaré que les entreprises de technologie avaient laissé croire à de nombreuses personnes que le contenu diffusé en direct pouvait être filtré à l'aide d'algorithmes, mais que "le seul moyen de garantir une solution" consistait à prendre des mesures plus simples, telles que l'interdiction ou le report de la diffusion.

Le professeur Thomas a convenu que les algorithmes n'étaient "pas du tout parfaits" et "peu susceptibles de l'être pendant un certain temps".

"Je ne crois tout simplement pas que Facebook pourrait facilement contrôler [live-streaming] comme le suggère le Premier ministre ", a-t-il déclaré.

Il a ajouté que la réponse au dépistage était "probablement, pendant un certain temps, une combinaison de mécanismes techniques, humains et réglementaires".

Le professeur Burgess a déclaré que les algorithmes "ont actuellement de très grandes limitations", et a noté que "la lutte contre le discours de haine s'accompagne de complexités culturelles et locales que l'apprentissage de la machine ne maîtrise pas encore très bien".

Le professeur Hany Farid, qui a contribué à la construction du système Microsoft utilisé pour détecter la pédopornographie, a déclaré à The Atlantic qu'il pensait que les entreprises de haute technologie n'avaient pas l'infrastructure nécessaire pour filtrer le contenu à grande échelle car elles n'avaient pas suffisamment dépensé pour affiner leurs systèmes de hachage.
Chercheur principal, David Campbell

[email protected]

Sources

Scott Morrison, entretien avec Sunrise, le 20 mars 2019Scott Morrison, publication sur Facebook, le 19 mars 2019Scott Morrison, conférence de presse, le 19 mars 2019Scott Morrison, tweet d'une lettre au Premier ministre japonais Shinzo Abe, 19 mars 2019ABC, entrevue avec le commissaire à la protection de la vie privée NZ , 27 mars 2019Facebook, Article de blog: Une nouvelle mise à jour sur l'attaque terroriste en Nouvelle-Zélande, 20 mars 2019Andreas Kaplan, Les défis et les opportunités des médias sociaux, Janvier 2010Christian Porter, Communiqué de presse, 4 avril 2019YouTube, Rapport de transparence, Décembre 2018Facebook, Rapport sur l'application des normes communautaires, septembre 2018Twitter, rapport de transparence, 13e éditionFacebook, Debout contre la haine, 27 mars 2019Facebook, Des questions difficiles: comment lutter contre le terrorisme, 15 juin 2017Sheryl Sandberg, Op-ed dans le New Zealand Herald, 30 mars 2019Le vice-président senior de Google, Op-ed dans le Financial Times, 19 juin 2017Tarleton Gillespie, Gardiens de l'Internet, juin 2018Microsoft, Utiliser PhotoDNA pour lutter contre l'exploitation des enfants, 12 septembre 2018Facebook, Communiqué sur le terrorisme, 5 décembre 2016YouTube, Comment Content ID fonctionne, consulté le 30 mars 2019YouTube, Agrandir notre travail contre les abus de notre plate-forme, 4 décembre 2017Mark Zuckerberg, L'Internet a besoin de nouvelles règles, 30 mars 2019Parliament, Amendement au Code pénal (Partage de matériel violent odieux) Projet de loi 2019Transcription du témoignage du Sénat américain de Mark Zuckerberg, Washington Post, 10 avril 2018Facebook, Réponses aux questions du comité de la Chambre des États-Unis, 29 juin 2018Sidney Fussell, Pourquoi la vidéo de tournage en Nouvelle-Zélande continue de circuler, 21 mars 2019

Les sujets:

troubles-conflit-et-guerre,

terrorisme,

des médias sociaux,

culture internet,

information et communication,

gouvernement fédéral,

élections fédérales,

élections,

Gouvernement et politique,

élection fédérale,

Australie

D'abord posté
    
      18 avril 2019 06:19:05

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Revoir l'actu récente

Copyright © All rights reserved. | YikYakForum