Om wijs te kunnen uit een gigantische hoeveelheid data heb je goede data-wetenschappers nodig om patronen te ontdekken die waardevol kunnen zijn. Voor veel bedrijven is dit nu al ontzettend belangrijk en daarom zegt bijvoorbeeld Brabant hoog in op een big data-opleiding. Maar wat gebeurt er als een algoritme beter is in het ontdekken van patronen dan de meeste wetenschappers?
Big data-analyses worden nu ook voornamelijk uitgevoerd door machines, door de hoeveelheid data is het onmogelijk voor mensen om de berekeningen te maken. Maar toch is de analyse gebaseerd op input van een mens, zij kiest namelijk uit op wat de data beoordeeld moeten worden. In andere woorden, waar moet de machine naar zoeken?
Volgens wetenschappers van MIT wordt deze keuze vaak gemaakt op basis van intuïtie: maar dat is niet persé de beste keuze. Zij ontwikkelden een algoritme dat niet alleen de data doorzoekt, maar ook besluit waar het naar moet zoeken. De eerste resultaten van de machine zijn hoopgevend.
Verspreid over drie wedstrijden met 906 deelnemende (menselijke) teams deed de big data-machine het verrassend goed: gemiddeld scoorde de machine beter dan 615 teams. Daar komt nog eens bij dat de machine vele malen sneller was dan de menselijke teams. Zij besteedden maanden per analyse, terwijl de machine er twee tot twaalf uur over deed om hetzelfde te bereiken. Volgens Max Kanter, één van de wetenschappers, is het een ideale manier om het menselijke vermogen te verbeteren:
We zien de ‘Data Science Machine’ als een neutrale aanvulling op de menselijke intelligentie. Er is zoveel data om te analyseren. En nu zit [de machine] daar en doet het niets. Dus misschien kunnen we op deze manier een oplossing bedenken waarmee we vooruit kunnen.
Volgens de onderzoekers gaat de machine er niet voor zorgen dat datawetenschappers zonder baan komen te zitten. Wel laten ze weten dat de machine veel beter in staat is om bepaalde verbanden te leggen.