Rijk van Nijmegen
Doorbraak Radboud Universiteit: hersensignalen omgezet naar spraak
29 augustus, 18:46 • 3 minuten leestijd
NIJMEGEN - Onderzoekers van de Nijmeegse Radboud Universiteit en het UMC Utrecht zijn erin geslaagd hersensignalen om te zetten in hoorbare spraak. Door signalen uit de hersenen te decoderen met een combinatie van implantaten en kunstmatige intelligentie konden ze met een nauwkeurigheid van 92 tot 100 procent voorspellen welke woorden mensen wilden zeggen. Dat kan een uitkomst bieden voor mensen met locked-in-syndroom, die verlamd zijn en niet kunnen praten.
De onderzoeksresultaten van de Radboud Universiteit en het UMC Utrecht zijn deze maand gepubliceerd in het wetenschappelijke tijdschrift Journal of Neural Engineering.
Mensen weer een stem geven
Het onderzoek wijst op een veelbelovende ontwikkeling op het gebied van brein-computerinterfaces, zegt hoofdauteur Julia Berezutskaya, onderzoeker aan het Donders Instituut voor Brein, Cognitie en Gedrag van de Radboud Universiteit en het UMC Utrecht. Berezutskaya en collega’s hebben hersenimplantaten bij patiënten met epilepsie gebruikt om na te gaan wat mensen zeiden.
Berezutskaya: “Uiteindelijk hopen we deze technologie beschikbaar te maken voor patiënten met het locked-in-syndroom, die verlamd zijn en niet kunnen communiceren. Deze mensen verliezen het vermogen om hun spieren te bewegen, en dus om te spreken. Door een brein-computerinterface te ontwikkelen, kunnen we hersenactiviteit analyseren en ze weer een stem geven."
Begrijpelijke verstaanbare geluiden
In het nu gepubliceerde nieuwe onderzoek vroegen de onderzoekers niet-verlamde mensen met tijdelijke hersenimplantaten om een aantal woorden hardop uit te spreken terwijl hun hersenactiviteit werd gemeten. Berezutskay: “We konden toen een directe vergelijking maken tussen hersenactiviteit en spraak. We hebben ook geavanceerde AI-modellen gebruikt om die hersenactiviteit rechtstreeks om te zetten in hoorbare spraak.”
Zo konden de onderzoekers dus niet alleen raden wat mensen zeiden, maar konden ze die woorden ook meteen omzetten in begrijpelijke, verstaanbare geluiden. “Bovendien klonk de gereconstrueerde spraak zelfs als de oorspronkelijke spreker wat betreft toon en manier van spreken”, vertelt Berezutskay.
Net als een echte stem
Over de hele wereld werken onderzoekers aan manieren om woorden en zinnen in hersenpatronen te herkennen. Het lukte de onderzoekers om begrijpelijke spraak te reconstrueren met relatief kleine datasets, waaruit blijkt dat hun modellen de complexe ‘mapping’ tussen hersenactiviteit en spraak kunnen onthullen met beperkte gegevens.
Essentieel daarbij was dat ze ook luistertests uitvoerden met vrijwilligers om te evalueren hoe goed de kunstmatig gevormde woorden te verstaan waren. De positieve resultaten van die tests wijzen erop dat de technologie niet alleen woorden juist weet te identificeren, maar dat ze die woorden hoorbaar en begrijpelijk kan overbrengen, net als bij een echte stem.
Beperkingen
“Er zijn nog wel een aantal beperkingen”, waarschuwt Berezutskaya. Bij deze experimenten moesten de deelnemers twaalf woorden hardop zeggen. Over het algemeen is het voorspellen van individuele woorden minder ingewikkeld dan het voorspellen van hele zinnen. In de toekomst kunnen grote taalmodellen die worden gebruikt bij AI-onderzoek nuttig zijn.
Berezutskaya: “Ons doel is om volledige zinnen en alinea’s te voorspellen van wat mensen proberen te zeggen, uitsluitend op basis van hun hersenactiviteit. Om dat te bereiken, zijn er meer experimenten, geavanceerdere implantaten, grotere datasets en geavanceerde AI-modellen nodig. Dit zal nog wel een aantal jaar duren, maar het ziet ernaar uit dat we op de goede weg zijn.”
