Virtuaalitodellisuutta käytetään joka päivä monilla aloilla fysioterapiasta viihteeseen. Niin paljon kuin tekniikan mahdolliset hyödyt jonain päivänä ovat, on otettava huomioon myös virtuaalitodellisuuden haitat. Jotkin näkökohdat, kuten käytetty tekniikka, aiheuttavat kehittäjille merkittäviä ongelmia ja aiheuttavat rajoituksia laajassa käytössä ja jakelussa. Muita huolenaiheita ovat virtuaalisten ympäristöjen ohjelmistototeutus ja rajoitukset sille, mitä voidaan saavuttaa ja mitä ei. Lopuksi huolestuttavat immersiivisten ympäristöjen sosiaaliset vaikutukset ihmisiin sekä pitkäaikaisen käytön psykologiset vaikutukset.
Yksi virtuaalitodellisuuden suurimmista haitoista on, että mukaansatempaavan tai luonnollisen kokemuksen edellyttämä tekniikka on pysynyt vaikeana. Haptiset järjestelmät, jotka antavat fyysistä palautetta tai mahdollistavat täysin artikuloidun läsnäolon ympäristössä, ovat kömpelöitä ja voivat aiheuttaa ongelmia käytön aikana. Laitteistotyyppi, jota jopa yksinkertaiset päähän asennetut näytöt käyttävät, voi rikkoa upotuksen tunteen, koska laitetta on säädettävä ja komponentit, kuten johdot ja kuulokkeet, muuttuvat esteiksi luonnolliselle liikkeelle.
Jopa alkeellisimmat virtuaalitodellisuuslaitteistot ja -ohjelmistot korostavat toista virtuaalitodellisuuden haittoja, nimittäin kustannuksia. Kaikki järjestelmät, jotka yrittävät tarjota mukaansatempaavan kokemuksen, vaativat jonkinlaista näyttöä, joka yrittää huijata ihmisen aisteja. Nämä järjestelmät ovat erittäin kalliita ja niiden käyttö voi olla ongelmallista, lähinnä siksi, että niin harvalla ihmisellä on teknistä tietämystä korjata tai huoltaa niitä. Lisäksi useimmat virtuaalitodellisuusjärjestelmät eivät ole helposti vaihdettavissa eri laitteistoihin, mikä lisää kustannuksia ja pienentää tällaiseen järjestelmään tehtävän alkuinvestoinnin arvoa.
Sosiaalisesti jotkut haitat virtuaalitodellisuuden käyttämisestä viihteenä ovat jo alkaneet ilmaantua, jopa ilman kokemusta, joka poistaa ihmisen kokonaan ympäröivistä ärsykkeistä. Yksi ongelma on sosiaalinen eristäytyminen, jossa virtuaalitodellisuuden käyttäjä luottaa enemmän virtuaalimaailmassa tapahtuvaan vuorovaikutukseen kuin todellisen maailman kokemuksiin. Tämä todellisen, fyysisen vuorovaikutuksen puute voi luoda vääriä assosiaatioita, jotka eivät ole osa todellisia sosiaalisia asetuksia. Eristys voi lopulta aiheuttaa masennusta, irtautumista ja muita tiloja, jos se on tarpeeksi vakava.
Toinen virtuaalitodellisuuden mahdollisista psykologisista ja sosiaalisista haitoista on herkistyminen. Jos jotkut käyttäjät käyttävät virtuaalitodellisuutta laajasti viihteeseen, he voivat vaarassa olla tunnistamatta todellisia seurauksia toiminnoille, joihin he osallistuvat tai joita he katsovat. Kun se käännetään todelliseen maailmaan, se voi äärimmäisessä tapauksessa aiheuttaa ymmärryksen puutteen joidenkin toimintojen vaikutuksista, kun ne suoritetaan virtuaalisen ympäristön ulkopuolella.