Het is niet enkel het scenario van een heleboel films, het is iets waar we volgens experts serieus rekening mee moeten houden: kunstmatige intelligentie die kwaadaardig wordt. Of in ieder geval: dingen gaat doen die wij kosten wat kost willen voorkomen. Een mogelijk middel om dat te voorkomen, zou een soort noodstop zijn om een systeem uit te zetten. DeepMind, het kunstmatige intelligentie-bedrijf van Alphabet, is daar mee bezig, schrijft Business Insider.
Het bedrijf werkt hiervoor samen met de Universiteit van Oxford. In het paper (pdf) dat uit het onderzoek is voortgekomen schrijven de onderzoekers:
Kunstmatige intelligentie-systemen zullen zich waarschijnlijk niet altijd optimaal gedragen. Al zo’n systeem opereert onder de supervisie van een mens, dan kan het soms nodig zijn dat hij hij/zij op een grote rode knop drukt om te voorkomen dat het systeem doorgaat met een schadelijke reeks acties – schadelijk voor zichzelf of voor zijn omgeving – en zorgt dat het systeem in een veiligere situatie terechtkomt.
Een belangrijk onderdeel van het framework dat de onderzoekers hebben bedacht, is dat het kunstmatige intelligentie-systeem niet kan leren hoe hij de noodstop kan omzeilen/voorkomen. Aan de andere kant is het ook niet de bedoeling om het kunstmatige intelligentie-systeem, wat zowel een robot als software op een server kan zijn, kapot te maken. De controle moet veilig kunnen worden overgenomen door mensen, maar het moet ook weer zelfstandig verder kunnen met waar het voor gemaakt is.
De onderzoekers hebben onderzocht hoe hun framework werkt bij bestaande algoritmes. Bij veelgebruikte algoritmes werkt het direct of na een kleine aanpassing. Maar de onderzoekers geven ook toe dat het niet duidelijk is of het uiteindelijk voor alle algoritmes werkt.