Een nieuwe app van Huawei, StorySign, moet dove kinderen helpen met leren lezen. De app zet tekst om in gebarentaal en is vanaf vandaag te downloaden voor Android.
Volgens Huawei hebben dove kinderen meer moeite met leren lezen dan leeftijdsgenootjes die wel kunnen horen. Dove en slechthorende kinderen kunnen klanken namelijk niet aan geschreven woorden koppelen, waardoor ze al vroeg een taalachterstand oplopen.
StorySign moet een oplossing bieden. De app vertaalt tekst aan de hand van kunstmatige intelligentie naar gebarentaal. Het idee is dat een kind een telefoon boven een boek houdt en een avatar de woorden een voor een vertaalt naar gebarentaal. Op die manier leert een kind lezen door naar woorden in kinderboekjes te kijken.
Star
De tekst wordt vertaalt door een avatar genaamd Star in het kinderboek ‘Waar is Dribbel’. “We hebben de exacte gezichtsuitdrukkingen van gebarentolken gekopieerd om Star tot leven te brengen”, vertelt Neil Pymer, creative director bij Aardman Animations, verantwoordelijk voor de animatie van Star.
De app gebruikt beeldherkenning en Optical Character Recognition. De manier waarop de telefoon boven het boek gehouden wordt, moet weinig uitmaken voor de gebruikerservaring dankzij de AI in Huawei-telefoons. Dat moet ook wel, want een kind zal de telefoon niet altijd helemaal recht boven een boek houden.
De app is echter niet alleen voor Huawei-telefoons beschikbaar, maar ook voor andere Android-toestellen. Ook moeten er in de toekomst meer boeken toegevoegd worden aan de app. De app is in tien talen beschikbaar, waaronder Nederlands, Belgisch, Duits, Engels en Spaans.