Altijd al willen kunnen liplezen, net als spionnen of dove mensen? Een team van de University of Oxford’s Department of Computer Science gaat dit mogelijk maken. Zij hebben LipNet ontwikkeld, software waarmee je kunt liplezen. Dit schrijven ze in een paper.
Voor het project van het team had de beste liplees-software een accusatie van 79,6 procent. Dat was al flink beter dan een gemiddeld mens, die het in 52,3 procent van de gevallen bij het juiste eind had. Maar LipNet gaat nog een stap verder en verhoogt die drempel met 13,8 procent. Astronomisch hoog dus.
Het grote verschil? “Alle bestaande lipleesaanpakken classificeren alleen woorden, geen voorspellingen over zinnen. Voor zo ver wij weten is LipNet het enige model dat op zinniveau werkt”, schrijven de wetenschappers in hun paper. De software werd dus effectiever door dichter bij de manier waarop onze hersenen dit soort data verwerken te komen. Voor het model wordt een video van een spreker gepakt, en in plaats van ieder woord te herkennen, plaatst het dankzij deep-learning de woorden in een grotere context. Daardoor weet het dus beter wat er gezegd wordt.
Het project kreeg dan ook ondersteuning van DeepMind, en wetenschapper bij DeepMind en Oxford-professor Nando de Freitas werkte er aan mee. Op social media legt hij meer over de toepassingen uit. “We zijn opgewonden om dit onderzoek te gebruiken om betere interfaces voor computers te bouwen en betere hoortoestellen te maken”, tweette hij. Daarnaast kan de software ook gebruikt worden voor mensen die afhankelijk zijn van gebarentaal en liplezen. Communicatie is voor hen vaak ingewikkelder, maar LipNet kan het een stuk gemakkelijker maken.
Thanks to CIFAR's support for ambitious research. Note this is still restricted to a simple dataset, but a significant improvement. https://t.co/lHJFfpqyBa
— Nando de Freitas (@NandoDF) November 8, 2016
We're excited to use this research to build better human-computer interfaces and hearing aids. https://t.co/lHJFfpqyBa
— Nando de Freitas (@NandoDF) November 8, 2016