Google exploite l’intelligence artificielle pour combattre les trolls

Perspective

Liste de tags

Un nouvel API exploitant l’apprentissage automatique pour combattre le cyberharcèlement et les comportements abusifs en ligne est désormais à la portée de tous.

Jigsaw, une entreprise née de l’incubateur de Google, lance aujourd’hui Perspective, un API conçu en collaboration avec le géant de la recherche qui rassemble une collection d’outils visant à faciliter la vie des développeurs devant composer avec des trolls et des comportements abusifs sur leurs plateformes.

On estime que 72% des internautes américains ont déjà été témoins de cyberharcèlement, et près de la moitié en aurait été la cible. Le phénomène pousserait d’ailleurs un peu moins du tiers à s’autocensurer par crainte de représailles.

L’initiative est décrite par Jigsaw comme un nouveau pas lui permettant de se rapprocher de son objectif : offrir un environnement favorisant la discussion en ligne en éliminant le risque d’intimidation pouvant nuire aux plus vulnérables. En d’autres mots, mettre à mal les trolls. Le tout en se basant sur des décisions d’algorithmes.

«Imaginez que vous tentez d’avoir une conversation avec vos amis sur les nouvelles que vous avez lues ce matin, mais qu’après chaque fois que vous dites quelque chose, quelqu’un vous crie au visage, vous insulte, ou vous accuse d’un crime horrible», explique le président de Jigsaw, Jared Cohen, sur le blogue The Keyword de Google. «Probablement que vous quitteriez la conversation. Malheureusement, cela se produit trop fréquemment en ligne, alors que des gens essaient de discuter d’idées sur leurs sites d’actualité préférés, seulement pour se faire bombarder de commentaires toxiques.»

Selon les statistiques citées par Cohen, 72% des internautes américains ont déjà été témoins de cyberharcèlement, et près de la moitié en aurait été la cible. Le phénomène pousserait d’ailleurs un peu moins du tiers à s’autocensurer par crainte de représailles. Aux États-Unis seulement, on estime de 140 millions de personnes sont affectées par la cyberintimidation.

Afin de s’attaquer à ce problème, Perspective offre des outils permettant d’évaluer ce que l’entreprise décrit comme «le niveau de toxicité» d’un commentaire. L’API fonde ses décisions par un algorithme ayant été entraîné par une équipe humaine qui a analysé des centaines de milliers de commentaires en les classant sur une échelle de «très sain» à «très toxique». Dans ce contexte, un message jugé très toxique comprend des propos «grossier, irrespectueux ou déraisonnable qui risque de vous faire quitter une discussion.»

Un aperçu de l'information qui peut être transmise à l'auteur d'un commentaire abusif.

Un aperçu de l’information qui peut être transmise à l’auteur d’un commentaire abusif.

Bien entendu, le développeur exploitant les outils de l’API Perspective peut décider comment le jugement de l’algorithme sera appliqué. Il peut simplement choisir d’imposer la modération humaine sur les commentaires suspects. Mais surtout, il peut informer l’auteur du commentaire en question de l’impact potentiel de ses propos (lorsque celui-ci est détecté comme nuisible) au moment même de la rédaction – là où le nom «Perspective» prend tout son sens. Enfin, il est même possible de laisser aux visiteurs le soin de décider du niveau de toxicité auquel ils souhaitent être confrontés.

Parmi les médias partenaires ayant collaboré au développement de Perspective, on retrouve The New York Times, The Economist et The Guardian. L’encyclopédie communautaire Wikipédia a également participé à son élaboration.

Soulignons que le développement de Perspective s’inscrit dans le cadre de Conversation AI, un projet open source lancé par Jigsaw en septembre dernier.

  • Pierre Quimousse

    Quelle horreur ! C’est la fin de la liberté d’expression sur internet et l’avènement du règne absolu de la bien-pensance… du fascisme en somme…

    • Aurelien

      Ah c’est sûr qu’avec des propos de ce niveau (fascisme = bien-pensance) vous êtes en première ligne des robots chasseurs de trolls ! C’est plutôt une bonne nouvelle pour ceux dont la liberté d’expression est censurée par les gros lourds attachés à leur « liberté » de se défouler sur les autres :p :p

      • Porcher

        +1

    • Sandra Barjos

      Rien que l’expression « bien-pensance » fera qualifier votre commentaire de toxique, et ce, automatiquement. Elle est pas belle la vie ?

    • https://branchez-vous.com/ Laurent LaSalle

      Les correcteurs d’orthographes sont fascistes aussi. Le fait de limiter la communication à 26 caractères et quelques symboles également. De l’injustice, de l’injuste partout…

    • Frédéric Vachon

      Je serais surpris de voir Perspective implanté sur un site comme 4chan et autres, si ça vous inquiète tant.

  • Gumby

    Si ça peut réellement éliminer les trolls (qui sont généralement les mêmes sous divers comptes) des sections commentaires de plusieurs médias d’ici et d’ailleurs, je salue l’arrivé de cet API ! Ça laissera place à des opinions divergente sans que ces mêmes trolls intimident ces derniers. Je me doute bien par contre que ces trolls trouveront des contournements afin de polluer à nouveau; Ce sera donc toujours un peu le jeu du chat et de la souris… À suivre. :-)

    • https://branchez-vous.com/ Laurent LaSalle

      En fait, selon la façon dont l’algorithme pourrait fonctionner (en signalant l’alerte à l’auteur lors de la rédaction), les trolls pourraient techniquement réviser, réviser, et réviser leur réponse afin de conserver leurs attaques jusqu’à ce que celles-ci ne soient pas détectées.

      • Gumby

        C’est un début et ce sera déjà mieux que rien. Ça va évoluer au fil du temps…

  • Fourrow

    Enfin! Google comprend que des gens se suicide (ou sont dépressif) à cause de ces sortes de commentaires!

  • Porcher

    Une amende pédagogique pour les trolls au bout de 3 avertissements vous en pensez quoi? Toucher au porte feuille d’un connard s’avérerait productif en le dissuadant si il servait ensuite directement à améliorer le système anti troll, un cercle vicieux positif pour éduquer les enculés en gros.
    utiliser des trolls contre des trolls ce serait de bonne guerre qui plus est…

    • https://branchez-vous.com/ Laurent LaSalle

      En fait, j’ai l’impression que l’API permettra AU MOINS la prévention du trollage accidentel lors de certains débats. ¯_(ツ)_/¯

  • François Bélanger

    Dangereux… Le problème est que ce type d’outils est facilement reprogrammable pour de la censure politique ou idéologique. Le second problème est la mauvaise censure déja faite par des humains. La différence entre un commentaire de troll et un commentaire est parfois des le contexte de sa rédaction ou le but visé. Traité une personne pour l’insulter de ‘péripatéticienne’ n’a pas le même sens et la même porté que d’écrire un commentaire: ‘le ministre est mort dans les bras d’une péripatéticienne et cela cause un réel embarras pour le parti….’ Autre exemple, cité Nègre blanc d’Amérique, dire que l’auteur a eu recours à un Nègre littéraire ou trait son voisin de sale… Ça ne veux pas dire la même chose! Un logiciel ne peu usuellement pas faire une tel distinction.