Tietojen deduplikointi on tekniikka tietojen pakkaamiseen, jossa päällekkäiset tiedot poistetaan, säilyttäen yksi kopio kustakin tietoyksiköstä järjestelmässä sen sijaan, että moninkertaistumiset voisivat menestyä. Säilytetyissä kopioissa on viittauksia, joiden avulla järjestelmä voi hakea ne. Tämä tekniikka vähentää tallennustilan tarvetta ja voi pitää järjestelmät käynnissä nopeammin sekä rajoittaa tietojen tallennukseen liittyviä kuluja. Se voi toimia useilla tavoilla ja sitä käytetään monentyyppisissä tietokonejärjestelmissä.
Tiedostotietojen päällekkäisyyksissä järjestelmä etsii päällekkäisiä tiedostoja ja poistaa lisäominaisuudet. Lohkotason deduplikointi tarkastelee tiedostoissa olevia datalohkoja vieraiden tietojen tunnistamiseksi. Ihmiset voivat saada kaksinkertaisen datan monista eri syistä, ja tietojen poistamisen avulla voidaan virtaviivaistaa järjestelmää ja helpottaa sen käyttöä. Järjestelmä voi ajoittain selata tietoja tarkistaakseen kaksoiskappaleet, poistaakseen lisäominaisuuksia ja luodakseen viittauksia jäljellä oleviin tiedostoihin.
Tällaisia järjestelmiä kutsutaan joskus älykkäiksi pakkausjärjestelmiksi tai yhden esiintymän tallennusjärjestelmiksi. Molemmat termit viittaavat ajatukseen, että järjestelmä toimii älykkäästi tietojen tallentamiseen ja tallentamiseen järjestelmän kuormituksen vähentämiseksi. Tietojen poistaminen voi olla erityisen arvokasta suurissa järjestelmissä, joissa on tallennettu tietoja useista lähteistä ja tallennuskustannukset kasvavat jatkuvasti, koska järjestelmää on laajennettava ajan myötä.
Nämä järjestelmät on suunniteltu osaksi suurempaa järjestelmän pakkaamista ja hallintaa. Tietojen poistaminen ei voi suojata järjestelmiä viruksilta ja vikoilta, ja on tärkeää käyttää riittävää virustentorjuntajärjestelmää, jotta järjestelmä pysyy turvassa ja rajoitetaan tiedostojen virusten saastumista, ja varmuuskopioidaan myös erilliseen paikkaan, jotta voidaan käsitellä katkoksia, laitteet ja niin edelleen. Tietojen pakkaaminen ennen varmuuskopiointia säästää aikaa ja rahaa.
Järjestelmät, jotka hyödyntävät datan päällekkäisyyttä tallennuksessaan, voivat toimia nopeammin ja tehokkaammin. Ne vaativat edelleen säännöllistä laajentamista uusien tietojen sisällyttämiseksi ja turvallisuusongelmien ratkaisemiseksi, mutta niiden pitäisi olla vähemmän alttiita täyteytymään nopeasti päällekkäisistä tiedoista. Tämä on erityisen yleinen huolenaihe sähköpostipalvelimissa, joissa palvelin voi tallentaa suuria tietomääriä käyttäjille ja merkittävä osa niistä voi koostua päällekkäisyyksistä, kuten samat liitteet, joita toistetaan yhä uudelleen; Esimerkiksi monet ihmiset, jotka lähettävät sähköpostia töistä, ovat liittäneet alatunnisteen, jossa on sähköpostiviestien vastuuvapauslauseke ja yrityksen logot, ja nämä voivat syödä palvelintilaa nopeasti.