Mikä on McGurk -efekti?

McGurk -vaikutus on periaate, joka liittyy ihmisen puheen ymmärtämiseen. Vaikutuksen ydin on, että visuaalisilla vihjeillä on tärkeä rooli kuulijan ymmärryksessä puhutusta sanasta. Ihmiset ovat riippuvaisia ​​suun ja kasvojen muodosta sekä kuulosta ymmärtääkseen puhujan tarkoituksen; ilman näitä tietoja väärinkäsitys on todennäköisempää. Vaikutuksen dokumentoivat ensimmäisen kerran tutkijat Harry McGurk ja John MacDonald vuonna 1976. Sitä kutsutaan joskus McGurk-MacDonald-ilmiöksi.

McGurk -ilmiö oli ilmeistä joillekin ihmisille kauan ennen kuin se todella nimettiin. Kuurot ja huonokuuloiset ovat kommunikoineet huulilta lukemalla vuosisatojen ajan. Kokenut huultenlukija havaitsee suurimman osan puhujan merkityksestä katsomalla suun ja kasvojen liikkeitä. Puheterapeutit ja tutkijat, jotka tutkivat tätä ilmiötä, huomasivat pian, että se koskee myös normaalin kuulon omaavia henkilöitä. Toisin sanoen kaikki ihmiset harjoittavat tiedostamattomasti huulten lukemista jokapäiväisen keskustelun aikana.

McGurk -ilmiö on helposti havaittavissa. Normaalissa keskustelussa kuuntelija katselee puhujan kasvoja. Jos kuuntelija katsoo pois, puhujan sanojen noudattaminen vaatii enemmän keskittymistä, ja jotkut lauseet on ehkä toistettava. Kun puhujan kasvot ovat näkyvissä, kuuntelija on riippuvainen kasvojen ja suun liikkeistä sekä puhujan kontekstista ja aikomuksesta ymmärtää puhetta täysin. Tämä käsite, joka on yleinen kaikille puhutuille kielille, on maailman kuurojen yhteisön hyvin tuntema ja sillä on rooli myös viittomakielellä.

Tutkijat voivat osoittaa McGurk -vaikutuksen perusteellisemmin tietokoneen puhesimulaattoreilla. Nämä ohjelmat heijastavat ihmisen kasvojen kuvan, joka on koordinoitu esiohjelmoitujen puhuttujen lauseiden kanssa. Ne voidaan myös ohjelmoida toisin kuin ihmiskaiuttimet ottamaan visuaalisen muodon eri äänestä kuin puhuttu. Kun näin tapahtuu, kuuntelijat havaitsevat todennäköisesti kolmannen äänen kokonaan. Tämä on havaittu silloinkin, kun kuuntelijat tietävät, mitä simulaattori tekee, mikä viittaa siihen, että McGurk -vaikutus on juurtunut syvälle ihmisen tietoisuuteen.

Äänentunnistusohjelmistolla työskentelevät tietokoneasiantuntijat ovat tutkineet McGurk-vaikutusta. Näyttää todennäköiseltä, että tällaisten ohjelmien on ymmärrettävä täysin ihmisen puheen suuret vivahteet, ja siinä on otettava huomioon McGurk -ilmiö. Kehitettävät ohjelmat käyttävät pientä kameraa tarkkailemaan henkilön kasvojen liikkeitä, kun hän sanoo käskyn. Tietokone integroi nämä tiedot tallennettuun ääneen, jotta puhekomento ymmärretään tarkemmin.