Web -indeksointirobotti on suhteellisen yksinkertainen automatisoitu ohjelma tai komentosarja, joka skannaa tai “indeksoi” Internet -sivujen kautta luodakseen hakemiston etsimistään tiedoista. nämä ohjelmat on yleensä tehty käytettäväksi vain kerran, mutta ne voidaan ohjelmoida myös pitkäaikaiseen käyttöön. Ohjelmalla on useita käyttötarkoituksia, ehkä suosituimpia ovat hakukoneet, jotka käyttävät sitä tarjotakseen verkkosivuilla surffaajille asiaankuuluvia verkkosivustoja. Muita käyttäjiä ovat kielitieteilijät ja markkinatutkijat tai kaikki, jotka yrittävät etsiä tietoja Internetistä järjestelmällisesti. Vaihtoehtoisia nimiä web -indeksointirobotille ovat verkkohämähäkki, verkkobotti, botti, indeksoija ja automaattinen indeksoija. Indeksointiohjelmia voi ostaa Internetistä tai monilta tietokoneohjelmistoja myyviltä yrityksiltä, ja ohjelmat voidaan ladata useimpiin tietokoneisiin.
Tavallisia käyttötarkoituksia
Verkkoindeksoijille on useita käyttötarkoituksia, mutta kuka tahansa, joka haluaa kerätä tietoja Internetistä, voi käyttää web -indeksoijaa. Hakukoneet käyttävät usein indeksointirobotteja kerätäkseen tietoja julkisista verkkosivuista. Niiden ensisijainen tarkoitus on kerätä tietoja, jotta Internet -surffaajat kirjoittavat hakutermin sivustoonsa ja voivat tarjota surffaajalle nopeasti asiaankuuluvia verkkosivustoja. Kielitieteilijät voivat käyttää tekstin analysointiin Internet -indeksoijaa; toisin sanoen he voivat kammata Internetiä määrittääkseen, mitä sanoja käytetään nykyään yleisesti. Markkinatutkijat voivat käyttää indeksointirobottia määrittämään ja arvioimaan trendejä tietyillä markkinoilla.
Verkkoindeksointi on tärkeä tapa kerätä tietoja nopeasti kasvavasta Internetistä ja pysyä sen mukana. Suuri määrä verkkosivuja lisätään jatkuvasti joka päivä, ja tiedot muuttuvat jatkuvasti. Verkkoindeksointi on tapa hakukoneille ja muille käyttäjille varmistaa säännöllisesti, että heidän tietokantansa ovat ajan tasalla. Verkkoindeksointirobotteja käytetään lukuisia laittomasti, kuten palvelimen hakkerointi saadakseen enemmän tietoa kuin mitä vapaasti annetaan.
Miten se toimii
Kun hakukoneen indeksointirobotti vierailee verkkosivulla, se “lukee” näkyvän tekstin, hyperlinkit ja sivustossa käytettyjen eri tagien, kuten avainsanarikkaiden sisällönkuvauskenttien, sisällön. Hakukone määrittää indeksoijalta kerättyjen tietojen perusteella, mistä sivustosta on kyse, ja indeksoi tiedot. Verkkosivusto sisällytetään sitten hakukoneen tietokantaan ja sen sivun sijoitusprosessiin.
Web-indeksoijat voivat toimia vain kerran, esimerkiksi tietyn kertaluonteisen projektin yhteydessä. Jos sen tarkoitus on pitkäaikainen, kuten hakukoneiden tapauksessa, web-indeksointirobotit voidaan ohjelmoida selaamaan Internetiä säännöllisesti sen määrittämiseksi, onko tapahtunut merkittäviä muutoksia. Jos sivustolla on vilkasta liikennettä tai teknisiä vaikeuksia, hämähäkki voidaan ohjelmoida huomioimaan se ja palaamaan sivustoon uudelleen, toivottavasti teknisten ongelmien poistuttua.