Modaliteettivaikutus on termi, jota käytetään kokeellisessa psykologiassa selittämään tiedon esittämisen vaikutusta muistiin ja oppimiseen. Swellerin ym. Vuonna 1988 ja Morenon ja Mayerin vuonna 1999 tekemät tutkimukset ovat osoittaneet, että muistikuormitus vähenee, kun tiedot esitetään kuulovalla tavalla visuaalisen sijasta. Erityisesti on havaittu, että luettelon viimeisten kohtien muistaminen on parantunut, kun luettelo puhuttiin eikä luettu.
Esitystapa ja sen vaikutus oppimiseen on kiinnostanut psykologeja jo vuosia. McGeochin vuonna 1942 tekemässä kirjallisuuden varhaisessa katsauksessa todettiin, että modaliteettivaikutusta ei ole. Myöhemmät tutkimukset tukevat kuitenkin yleistä näkemystä, jonka mukaan auditoivasti esitetyt materiaalit muistetaan paremmin kuin visuaalisesti esitetyt materiaalit, kun mitataan lyhytaikaista muistia. Tämä koskee enemmän luettelon neljää tai viittä viimeistä kohdetta, joiden modaalitehosteet vaikuttavat näennäisesti vähäisiltä.
Yksi selitys tälle ilmiölle on kaikumuisti, joka on kuulo -aistirekisteri tai kuulovarasto, joka säilyttää äänitulon kaksi tai viisi sekuntia sen jälkeen, kun se on lausuttu tai kuultu. Tämän aistimuistin avulla oppija voi muistaa luettelon viimeiset kohteet, mutta koska tietoja ei ole käsitelty tai tutkittu, pitkäaikainen muistaminen ei usein ole mahdollista. Pitkäaikainen muisti vaatii fyysisiä muutoksia aivoissa, jotka tapahtuvat tietojenkäsittelyn avulla.
Vuonna 1969 Crowder ja Morton ehdottivat, että ihmisillä olisi esikielinen kuulo, PAS, joka tallentaa puheäänet enintään kahden sekunnin ajan. Nämä tiedot ovat erittäin helposti palautettavia ja helposti kierrätettävissä, mutta huonosti käsiteltyjä. Jotta PAS -kohteet palautettaisiin muistiin myöhemmin, ne on ensin koodattava aivoihin toistojen ja harjoitusten kaltaisilla menetelmillä.
Sekä Sweller ym. Että Moreno ja Mayer väittävät, että kun multimediaopetus koostuu tekstistä ja kuvasta, työmuistille asetetaan suuri kysyntä, koska oppijan on integroitava visuaalinen ja paikkatieto. Työmuisti on toinen termi lyhytaikaiselle muistille. Muistikuormituksen havaittiin pienenevän, kun oppijan oli käsiteltävä vain kuulotietoja. Baddeleyn (1992) esittämän työmuistimallin mukaan tietojen käsittelyssä on kaksi modaalisuuskohtaista orjajärjestelmää. Ensimmäinen on visuaalisen ja paikkatiedon käsittely ja toinen akustisen tiedon käsittely. Kun tiedot esitetään molemmissa muodoissa samanaikaisesti, työmuistin kokonaiskapasiteetti kasvaa.