Thesis supervisor: Klára Vicsi
Location of studies (in Hungarian): Távközlési és Médiainformatikai Tanszék Abbreviation of location of studies: TMIT
Description of the research topic:
Az emberi kommunikáció legáltalánosabb eszköze a beszéd. A beszéd feldolgozása több szinten történik. A jelen téma az akusztikai-fonetikai információk feldolgozására koncentrál, melyek megalapozzák a beszéd által közvetített üzenet dekódolását. Az akusztikai-fonetikai szint maga is összetett, és a modern elképzelések szerint az emberi agy párhuzamosan több idői tartományban elemzi a beszédhangokat. A szakirodalomban két megközelítés alakult ki a folyamatos beszéd hangfeldolgozását időben követő agyi működés vizsgálatára: a folyamatos beszéd 1) beszédhang egységű akusztikai-fonetikai eseményeit (segmentális szint) illetve 2) több beszédhangot átfogó dinamikai lefolyását (supra-segmentális szint) követő agyi jelek azonosítása és elemzése. Az előbbi inkább a beszéd mikrostruktúrájáról ad információt, mely elvezet a beszédhangok majd a szavak azonosításához. Az utóbbi inkább a beszélő, mint hangforrás követését és a beszéd prozódiai jellemzőinek kiemelését teszi lehetővé. A beszédfeldolgozás folyamatainak idői követése elsősorban az agy működéséből származó elektromágneses jelek (elektro- és magnetoenkefalográfia [EEG, MEG]), valamint újabban a NIRS (near infrared spectroscopy) technológia segítéségével jó idő felbontással mérhető vér-oxigenizáció változások elemezésével lehetséges.
A kutatási projekt célja, hogy a folyamatos beszéd feldolgozásának egy olyan leírását adja, amely hasonlít ahhoz, ahogyan az emberi agy kezeli a beszédjelet. A folyamatos beszédben ezért olyan eseményeket keresünk (szegmentáció), amelyek az agyi feldolgozásban kitüntetett szerepet töltenek be. Mivel várhatóan az események egyes csoportjai különböző agyi feldolgozó folyamatokhoz köthetők, az eseményeket ez alapján klasszifikáljuk.
A folyamatos beszéd jel elemzése során mindvégig vizsgáljuk a lehetséges agyi korrelátumokkal való kapcsolatot egyrészt az eseményekhez kötött agyi potenciálok (EAP), az EEG-ből kiemelhető, szenzoros események által kiváltott agyi válaszok módszerével, másrészt a beszédesemények és dinamikai változások és az EEG egyes sávjaiban mért jelek közötti korreláció vizsgálatával. A beszéd és az EEG/EAP jelek közötti idői kapcsolat segíthet az agyi feldolgozási lépések azonosításában. Az EEG és NIRS jelek és a beszédhang események/dinamika közötti kapcsolat agyi források szerinti elemzése segítségével pedig eljuthatunk a beszédhangok feldolgozásában szerepet játszó funkcionális agyi hálózatok feltérképezéséhez.
Elvégzendő feladatok:
1. A témába vágó irodalom áttekintése
2. Áttekinteni és összehasonlítani a beszéd spektrotemporális és fonetikai tulajdonságain alapuló, illetve az hangfeldolgozásra alkotott neurális modellek által nyújtott esemény-kiemelő eljárásokat.
3. Egy minimális magyar nyelvi korpusz által kiváltott EEG és NIRS jelek felvétele kb. 20 személlyel.
4. A beszédből kiemelt akusztikai-fonetikai események agyi korrelátumainak meghatározása EAP technikával. Az események klasszifikációja az agyi korrelátumok figyelembe vételével.
5. A beszéd dinamikai jellemzőivel (burkológörbe, stb.) illetve az akusztikai-fonetikai események sorozatával korreláló EEG/NIRS paraméterek meghatározása.
6. A beszédhangokkal korreláló agyi jelek lokalizálása, funkcionális hálózatok meghatározása.
Further requirements: beszédjel feldolgozásában való jártasság, különböző statisztikai feldolgozási módszerek ismerete
Number of students who can be accepted: 1
Deadline for application: 2015-01-05
2024. IV. 17. ODT ülés Az ODT következő ülésére 2024. június 14-én, pénteken 10.00 órakor kerül sor a Semmelweis Egyetem Szenátusi termében (Bp. Üllői út 26. I. emelet).
Login
