Hakukone on tietokoneohjelma, joka toimii keinona noutaa tietoja tietokannasta tiettyjen käyttäjän määrittämien kriteerien perusteella. Nykyaikaiset etsivät tietokantoja, jotka sisältävät valtavia määriä tietoja, jotka on kerätty World Wide Webistä, uutisryhmistä ja hakemistoprojekteista.
Ennen World Wide Webin olemassaoloa, mutta Internetin tulon ja siitä seuranneen suosion jälkeen yliopistopiirissä luotiin ensimmäinen hakukone. Tässä historian vaiheessa – 1980 -luvun lopulla ja 1990 -luvun alussa – yksi tärkeimmistä Internetissä käytetyistä protokollista oli tiedostonsiirtoprotokolla (FTP). FTP -palvelimia oli kaikkialla maailmassa, yleensä yliopistokampuksilla, tutkimuslaitoksilla tai valtion virastoilla. Jotkut Montrealin McGill -yliopiston opiskelijat päättivät, että eri suosittujen FTP -palvelimien tiedostojen keskitetty tietokanta säästää aikaa ja tarjoaa erinomaista palvelua muille. Tämä oli Archien hakukoneen alkuperä.
Archie, joka oli lyhenne sanoista archive, oli ohjelma, joka kirjautui säännöllisesti luettelossaan oleville FTP -palvelimille ja teki indeksin palvelimessa olevista tiedostoista. Koska prosessorin aika ja kaistanleveys olivat edelleen varsin arvokas hyödyke, Archie tarkisti päivitykset vain kerran kuukaudessa. Aluksi Archien rakentama hakemisto oli tarkoitus tarkistaa Unix-komennolla grep, mutta pian kehitettiin parempi käyttöliittymä indeksin helpon haun mahdollistamiseksi. Archien jälkeen kourallinen hakukoneita ryhtyi etsimään samanlaista Gopher -protokollaa – kaksi tunnetuimmista ovat Jughead ja Veronica. Archie tuli suhteellisen vanhentuneeksi World Wide Webin ja sitä seuraavien hakukoneiden myötä, mutta Archie -palvelimia on edelleen olemassa.
Vuonna 1993, pian WWW: n luomisen jälkeen, Matthew Gray kehitti World Wide Web Wandererin, joka oli ensimmäinen web -robotti. World Wide Web Wanderer indeksoi kaikki Internetissä olevat verkkosivustot tallentamalla niiden URL -osoitteet, mutta ei seurannut verkkosivustojen varsinaista sisältöä. Wandereriin liittyvää hakemistoa, joka oli varhainen hakukone, kutsuttiin Wandexiksi.
Muutama muu pieni projekti kasvoi Wandererin jälkeen, joka alkoi lähestyä nykyaikaista hakukonetta. Näitä olivat World Wide Web Worm, Repository-Based Software Engineering (RBSE) -hämähäkki ja JumpStation. Kaikki nämä kolme käyttivät verkkorobottien keräämiä tietoja palauttaakseen tiedot käyttäjille. Silti tiedot palautettiin suurelta osin suodattamattomina, vaikka RBSE yritti luokitella sivujen arvon.
Vuonna 1993 eräiden Stanfordin opiskelijoiden perustama yritys nimeltä Excite julkaisi epäilemättä ensimmäisen hakukoneen, joka sisälsi analyysin sivun sisällöstä. Tämä alkuperäinen tarjous oli tarkoitettu hakuun sivustosta, mutta ei hakuun verkosta kokonaisuudessaan.
Vuonna 1994 hakukoneen maailma oli kuitenkin merkittävä läpimurto. WebCrawler -niminen yritys aloitti hakukoneen, joka ei vain kaapannut Internetin sivujen otsikkoa ja otsikkoa, vaan tarttui myös koko sisältöön. WebCrawler oli erittäin onnistunut – niin onnistunut, että suurimman osan ajasta sitä ei edes voitu hyödyntää, koska kaikki sen järjestelmäresurssit olivat käytössä.
Hieman myöhemmin samana vuonna julkaistiin Lycos, joka sisälsi monia samoja ominaisuuksia kuin WebCrawler ja niiden pohjalta. Lycos sijoitti tulokset osuvuuden perusteella ja antoi käyttäjälle mahdollisuuden säätää useita asetuksia saadakseen paremmin sopivia tuloksia. Lycos oli myös valtava – sen sisällä sillä oli arkistoitu reilusti yli miljoona verkkosivustoa ja kahden vuoden aikana se oli saavuttanut 60 miljoonaa.