Deep learning alapú agyi jel feldolgozás és beszédszintézis előkészítő munkálatai
Ebben a cikkben bemutatjuk a nem invazív, elektorenkefalográfián (EEG) alapuló kommunikációs agy-gép interfész (BCI) rendszerekkel kapcsolatos kutatásunk kezdeti eredményeit. Az agyi jelből akusztikus jelbe átalakító konverziós módszer célja, hogy az idegsejtek elektromos aktivitása alapján szinteti...
Elmentve itt :
| Szerzők: | |
|---|---|
| Testületi szerző: | |
| Dokumentumtípus: | Könyv része |
| Megjelent: |
2022
|
| Sorozat: | Magyar Számítógépes Nyelvészeti Konferencia
18 |
| Kulcsszavak: | Beszédszintézis, Beszédtechnológia, Nyelvészet - számítógép alkalmazása, Elektorenkefalográfia |
| Tárgyszavak: | |
| Online Access: | http://acta.bibl.u-szeged.hu/75874 |
| Tartalmi kivonat: | Ebben a cikkben bemutatjuk a nem invazív, elektorenkefalográfián (EEG) alapuló kommunikációs agy-gép interfész (BCI) rendszerekkel kapcsolatos kutatásunk kezdeti eredményeit. Az agyi jelből akusztikus jelbe átalakító konverziós módszer célja, hogy az idegsejtek elektromos aktivitása alapján szintetizáljunk beszédet. A kutatás során a "Kara One" adatbázis beszélőivel végeztünk kísérleteket, melyből párhuzamos EEG és beszédfelvételeket használtunk fel. A cikkben részletesen bemutatjuk az agyi jel előfeldolgozásának lépéseit (szűrés, csatorna választás, zajok és műtermékek (artifact) eltávolítása, független komponens analízis, és szegmentálás). Az előfeldolgozott EEG jelből mély neuronhálóval becsüljük meg a beszéd mel-spektrális paramétereit. Végül egy neurális vokóderrel állítjuk elő a szintetizált beszédet. Az így szintetizált beszéd ugyan nem érthető, de emlékeztet az eredeti jelre, így a kezdeti eredményeket biztatónak tartjuk. A kutatás hosszú távú jelentősége, hogy a beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára. |
|---|---|
| Terjedelem/Fizikai jellemzők: | 185-198 |
| ISBN: | 978-963-306-848-9 |