Quartz heeft samen met Leon Chen, mede-oprichter van de medische kunstmatige intelligentie start-up MD.ai, en radioloog Luke Oakden-Rayner twee algoritmes getraind. Een van de twee algoritmes detecteert de aanwezigheid van een tumor, de tweede bepaald of de tumor gevaarlijk is of niet.
Quartz wilde met het project onderzoeken of het trainen van een algoritme overeenkomt met de training van een medische professional, en hoe dan. Medische professionals gaan immers jaren naar school, lezen stapels boeken en oefenen talloze uren. Een kunstmatige intelligentie (AI) doet dat anders.
De AI herkent met name patronen. Een algoritme ziet stapels medische scans van organen met en zonder tumoren en leert de patronen die de twee categorieën onderscheiden te herkennen. In dit geval kregen de algoritmes bijna 200.000 CT-scans van gevaarlijke tumoren, ongevaarlijke tumoren en zonder tumoren te zien. De beelden waren zowel in 2D als 3D gemaakt.
Recall
Om te zien hoe accuraat het detectie-algoritme is, wordt er gebruikgemaakt van een metriek die ze ‘recall’ noemen. Dat vertelt hoeveel procent van de tumoren het algoritme detecteert, maar ook hoevaak hij een vals alarm mag geven. “60 procent voor Recall@1 geeft bijvoorbeeld aan dat het 60 procent van de tumoren herkent, waarbij 1 vals alarm per scan is toegestaan”, aldus Quartz.
Theoretisch gezien kun je aanpassen hoe vaak het systeem een vals alarm mag afgeven. Dat heeft echter wel impact op hoeveel tumoren er gedetecteerd worden. Mogen er bijvoorbeeld vier valse alarmen gegeven worden, dan gaat het percentage omhoog. Maar meer valse alarmen betekenen ook onnodige testen voor patiënten.