Pieni käyttöjärjestelmä on sellainen, joka koostuu suhteellisen pienestä määrästä taustalla olevaa koodia. Tämän vuoksi se vaatii yleensä vähemmän resursseja koneelta, jolla se toimii.
Hyvin yleisenä sääntönä useimmat pieneksi käyttöjärjestelmäksi kuvatut järjestelmät perustuvat Linux -ytimeen. Ydin on käytännössä tietokoneen aivot ja päättää tarkalleen, mitä sen pitäisi tehdä tiettynä hetkenä. Linuxia käytetään yleensä avoimen lähdekoodin järjestelmissä, jotka vaihtelevat suuresti ja jotkut ovat pienempiä kuin toiset. Microsoftin Windowsia ja Applen OSX: ää pidetään yleensä erittäin suurina käyttöjärjestelminä.
Koska ajatus pienestä käyttöjärjestelmästä on vertaileva eikä ehdoton, on olemassa Windows -versioita, joita voidaan kuvata pieniksi. Tunnetuin näistä on Windows CE, joka on suunniteltu erittäin heikkolaatuisille tietokoneille ja erillislaitteille. Jälkimmäisen kanssa järjestelmä on yleensä rakennettu suoraan itse laitteeseen. Jotkin Windows CE -käyttöjärjestelmää käyttävät laitteet sisältävät vuorovaikutteisia tietonäyttöjä ja joidenkin lentoyhtiöiden selkänojan viihdejärjestelmiä.
Pienen käyttöjärjestelmän tärkein etu on se, että se voi toimia heikosti määritellyllä tietokoneella eikä yleensä vaadi yhtä nopeaa tietokonetta tai yhtä paljon muistia kuin suuret järjestelmät. Tämä jättää enemmän resursseja sovellusten suorittamiseen. Sen avulla voidaan myös käyttää vanhempia tietokoneita pidempään, ennen kuin niitä pidetään vanhentuneina.
Toinen etu on, että pienellä käyttöjärjestelmällä on määritelmän mukaan vähemmän mahdollisuuksia sisällyttää vikoja. Tämä pätee kuitenkin vain absoluuttisesti. Huonosti kirjoitettu pieni käyttöjärjestelmä aiheuttaa todennäköisesti yhtä monta tai enemmän ongelmia kuin hyvin kirjoitettu suuri.
Jotkin käyttöjärjestelmät ovat niin pieniä, että ne voidaan tallentaa kannettavaan laitteeseen tai jopa käyttää sitä. Tämä voi sisältää USB -muistitikun. Tämä tarkoittaa, että käyttöjärjestelmä voidaan käynnistää heti tietokoneessa ilman, että sitä tarvitsee asentaa. Tämä voi olla erityisen hyödyllistä käsiteltäessä tietokonetta, jossa asennettu järjestelmä on vioittunut.
Pienen käyttöjärjestelmän haitat riippuvat siitä, miksi se on pieni. Se voi esimerkiksi ajaa vain komentoriviltä, mikä tarkoittaa, että tiedot syötetään ja näytetään puhtaasti tekstimuodossa eikä graafisesti, mikä voi tuottaa tulosta monille käyttäjille. Pieni järjestelmä voi myös säästää tilaa, koska se tukee rajoitetummin laitteistolaitteita, kuten tulostimia tai modeemeja.