Google’s denktank Jigsaw ontwikkelt tool die trolls tegen kan gaan

Jigsaw, de denktank van Google’s moederbedrijf Alphabet dat technologie inzet om minderheidsgroepen te helpen, heeft een systeem ontwikkeld dat middels kunstmatige intelligentie online trolling moet tegengaan. Daarover schrijft Wired. Met Conversation AI, zoals het project heet, moet het massale trollen gericht op één persoon of groep worden tegengehouden.

De kunstmatige intelligentie filtert berichten die bedoeld zijn om mensen bewust lastig te vallen. Het algoritme werd daarvoor onder andere getraind met data die werden aangeleverd door The New York Times. De krant leverde 17 miljoen online reacties op nieuwsberichten, waarvan een deel was aangemerkt als ongepast. De krant gaat Conversation AI nu gebruiken om nieuwe ongepaste reacties van tevoren te filteren.

Wired schrijft dat het algoritme zinnen beoordeelt en een score van 0 tot 100 toekent, waarbij 100 het meest kwetsend is. Conversation AI is al vrij goed in staat om context te herkennen en neemt zelfs emoji’s mee in zijn beoordeling. Toch is er nog werk aan de winkel. Volgens het blad weet de kunstmatige intelligentie nog niet dat een bedreiging niet per se direct aan een persoon gericht hoeft te zijn. Een zin als I’m going to rip each one of her hairs out and twist her tits clear off kreeg daardoor een score van 10, maar zodra ‘her’ wordt vervangen door ‘your’, scoort het een 62.

Begin dit jaar werd de naam van het bedrijf veranderd van Google Ideas naar Jigsaw. Het bedrijf is erop gericht om bijvoorbeeld censuur en indoctrinatie tegen te gaan. Het heeft daarbij het voordeel dat het gebruik kan maken van de enorme macht en kennis die Google in de loop der jaren heeft opgebouwd. Een eerdere dienst van Jigsaw was Project Project Shield, een dienst die websites beschermt tegen DDoS-aanvallen.