Näin tarkistat tekoälyn vastauksen: viisi käytännön askelta

Tekoälyn vastausta ei tarkisteta lukemalla se toiseen kertaan. Uudelleenlukeminen mittaa vain sitä, kuulostaako teksti järkevältä, ja juuri siinä kielimalli on hyvä silloinkin, kun sisältö on väärä. Tarkistus tarkoittaa jotain muuta: vastaus pilkotaan väitteisiin, väitteet asetetaan tärkeysjärjestykseen sen mukaan mitä virheestä seuraisi, ja tärkeät väitteet viedään alkuperäiselle lähteelle.

Tässä artikkelissa on menettely, ei periaatejulistus. Se, miksi malli ylipäätään keksii asioita ja missä kysymystyypeissä riski on suurin, on selitetty erikseen artikkelissa miksi tekoäly keksii asioita. Tässä oletetaan vastaus valmiiksi ja kysytään, mitä sille tehdään seuraavaksi.

Askel 1: mitoita tarkistus sen mukaan, mitä virhe maksaisi

Kaikkea ei tarkisteta. Se ei ole laiskuutta vaan välttämättömyys: jos jokainen vastaus tarkistettaisiin kokonaan, tekoälyn käyttö veisi enemmän aikaa kuin työn tekeminen ilman sitä. Mitoituksen ratkaisee yksi kysymys: mitä tapahtuu, jos tämä väite on väärä?

Kolme asiaa nostaa tarkistustason: virhe on peruuttamaton, vahinko kohdistuu johonkuhun muuhun kuin sinuun, tai et huomaisi virhettä myöhemmin. Viimeinen on aliarvioitu. Väärä sanamuoto paljastuu heti, väärä prosenttiluku raportissa ei paljastu koskaan.

Taulukko on tämän sivuston oma jäsennys, ei standardi. Sen tarkoitus on estää tavallisin virhe: tarkistetaan huolella se, mikä on helppo tarkistaa, ja jätetään tarkistamatta se, millä on seurauksia.

Askel 2: erottele tarkistettava väite muusta tekstistä

Vastaus ei ole yhtenäinen kokonaisuus vaan sekoitus neljää eri lajia, joilla on eri tarkistustapa.

Tarkistettava fakta

Luku, päivämäärä, nimi, pykälä, suora lainaus tai lähdeviite. Joko pitää paikkansa tai ei. Tarkistetaan alkuperäisestä lähteestä.

Tulkinta

Päätelmä, joka yhdistää faktoja. Ei tarkistettavissa yhdellä linkillä, vaan arvioidaan perustelun kestävyyden kautta.

Suositus

Kannanotto siihen, mitä kannattaisi tehdä. Riippuu tavoitteista ja reunaehdoista, joita malli ei tunne, joten se on ehdotus eikä vastaus.

Muotoilu

Rakenne, sanavalinnat, otsikointi ja sävy. Ei sisällä tarkistettavaa väitettä, ja juuri tässä mallit ovat vahvimmillaan.

Käytännön ohje: merkitse vastauksesta ensin kaikki numerot, erisnimet, pykäläviittaukset ja linkit. Ne ovat tarkistuslistasi. Muu teksti käsitellään erikseen sisällön arviointina, ei faktantarkistuksena.

Tämä jako selittää myös, miksi vaikutelma pettää niin usein. Sujuvuus ja itsevarma sävy syntyvät muotoiluvaiheessa, ja ne ovat yhtä hyviä riippumatta siitä, oliko mallilla vahvaa tietoa asiasta. Kielimallin toimintaperiaate tekee tämän näkyväksi: teksti tuotetaan sana kerrallaan todennäköisyysjakaumasta, eikä jakauman terävyys näy lopputuloksessa mitenkään.

Askel 3: tarkista lähdeviitteet väitteen suunnasta

Yleisin tarkistusvirhe on klikata linkkiä, todeta että se aukeaa, ja siirtyä eteenpäin. Se ei tarkista mitään. Lähdeviitteissä on kolme erilaista vikaa, ja vain ensimmäinen paljastuu linkkiä avaamalla.

1. Keksitty lähde. Julkaisua, raporttia tai artikkelia ei ole olemassa. Osoite ei aukea tai johtaa väärään paikkaan. Tarkistus: hae otsikkoa hakukoneesta. Olematon julkaisu ei löydy millään hakusanalla.
2. Oikea lähde, väärä sisältö. Linkki vie aidolle sivulle, jolla ei lue sitä mitä vastauksessa väitetään. Tämä on selvästi yleisempi ja vaikeampi huomata. Tarkistus: etsi sivulta se kohta, jossa väite on. Selaimen tekstihaku on tähän nopein työkalu.
3. Oikea sisältö, vanhentunut versio. Väite oli totta, mutta säädös on muuttunut, ohje on korvattu tai luku on päivitetty. Tarkistus: katso sivun päiväys ja version numero. Säädöksistä luetaan ajantasainen versio, ei alkuperäistä säädöstekstiä.

Järjestys kannattaa pitää samana joka kerta: julkaisija, päiväys, väitteen kohta. Ensisijainen lähde on se, joka on tiedon alkupää. Säädökset luetaan Finlexistä tai EUR-Lexistä, viranomaisohjeet viraston omilta sivuilta, tutkimustulokset julkaisijan sivulta ja tilastot tilastoviranomaiselta. Uutisartikkeli on toisen käden lähde, jonka kautta mennään alkuperäiseen.

Kaksi sudenkuoppaa. Hakukoneen tuottama tiivistelmä on itsekin tekoälyn kirjoittama, joten se ei kelpaa tarkistuslähteeksi. Ja jos malli tarjoaa lainausmerkeissä olevaa sitaattia, tarkista se sanatarkasti: osittain oikea sitaatti, josta puuttuu rajaava sivulause, muuttaa merkityksen usein päinvastaiseksi.

Askel 4: tarkista luvut ja laskut kahdessa vaiheessa

Luvut ovat vastausten heikoin kohta, koska kielimalli ei laske vaan tuottaa laskun näköistä tekstiä. Osa palveluista ohjaa laskutoimitukset erilliselle laskimelle tai koodin suoritukseen, jolloin tulos on luotettavampi, mutta et yleensä näe kummalla tavalla vastaus syntyi.

Ensimmäinen vaihe on suuruusluokka. Kysy, onko luku ylipäätään mahdollinen: onko se samaa kokoluokkaa kuin jokin tuntemasi vertailuluku, ovatko yksiköt järkeviä, täsmääkö osien summa kokonaisuuteen. Tämä vaihe vie sekunteja ja poimii kiinni suurimman osan pahimmista virheistä.

Toinen vaihe on lähde. Jokainen luku, jolla on merkitystä, haetaan alkuperäisestä tilastosta tai raportista. Suomea koskevat luvut löytyvät yleensä Tilastokeskuksen tietokannoista tai kyseisen viranomaisen omista tilastoista.

Toistuvat virhetyypit kannattaa tuntea, koska ne eivät näytä virheiltä:

• Prosentti ja prosenttiyksikkö sekaisin. Nousu 4 prosentista 5 prosenttiin on yksi prosenttiyksikkö mutta 25 prosentin kasvu.
• Vanha luku esitetään nykyisenä. Malli antaa aineistossaan usein esiintyneen luvun, joka voi olla vuosien takaa. Kysy aina, minkä vuoden luvusta on kyse.
• Keskiarvo ja mediaani sekoittuvat. Palkoissa ja hinnoissa ero on suuri ja johtopäätös muuttuu.
• Valuutta- ja yksikkömuunnokset. Muunnos tehdään sujuvasti mutta usein väärällä kertoimella.
• Päivämäärälaskenta. Määräajat, viikkojen määrä ja arkipäivien laskenta menevät säännöllisesti pieleen.

Jos vastaus sisältää monivaiheisen laskun, pyydä välivaiheet näkyviin ja laske itse taulukkolaskennalla. Pyynnön muotoilussa auttaa hyvän promptin rakenne: kun pyydät välivaiheet ja lähteet erikseen, virheet on helpompi paikantaa.

Askel 5: ristiinkysely paljastaa heikot kohdat halvalla

Ristiinkysely on tarkistuksen halvin osa. Se ei todista mitään oikeaksi, mutta se osoittaa, mihin kannattaa käyttää aikaa.

Kysy sama kysymys uudessa keskustelussa ilman aiempaa kontekstia. Jos vastaus muuttuu olennaisesti, malli ei nojaa vahvaan signaaliin vaan arvaa. Pyydä sitten mallia luettelemaan, mitkä sen omista väitteistä ovat kiistanalaisia tai vaikeasti todennettavia. Tämä toimii selvästi paremmin kuin kysymys ”onko tämä varmasti oikein”, koska jälkimmäinen kutsuu myötäilemään.

Kolmas keino on vastakkainen toimeksianto: pyydä perustelemaan päinvastainen johtopäätös. Jos malli kirjoittaa yhtä vakuuttavan perustelun molempiin suuntiin, väite lepää muotoilun eikä aineiston varassa.

Toisen palvelun käyttäminen vertailuun on hyödyllistä mutta rajallista. Eri tekoälyassistentit on opetettu pitkälti samasta julkisesta verkkoaineistosta, joten sama yleinen väärinkäsitys voi toistua molemmissa. Erimielisyys on informatiivista, yksimielisyys ei ole todiste.

Viiden minuutin tarkistuslista

1. Päätä ensin, mihin vastausta käytetään ja mitä virheestä seuraisi.
2. Alleviivaa luvut, päivämäärät, nimet, pykälät ja lainaukset.
3. Avaa jokainen lähdeviite ja etsi sivulta se kohta, jossa väite lukee.
4. Tarkista säädökset ja viranomaisohjeet niiden ajantasaisesta alkuperäisversiosta.
5. Arvioi lukujen suuruusluokka ja hae tärkeät luvut tilastolähteestä.
6. Laske monivaiheiset laskut itse.
7. Kysy sama kysymys uudessa keskustelussa ja vertaa vastauksia.
8. Merkitse valmiiseen tekstiin, mikä on tarkistettu ja mikä jäi epävarmaksi.

Kahdeksas kohta on se, joka yleensä unohtuu. Epävarmuuden kirjaaminen näkyviin on halvempaa kuin sen selvittäminen jälkikäteen, kenen vastuulla tarkistamatta jäänyt kohta oli.

Milloin tekoälyä ei kannata käyttää lainkaan

Osassa tilanteita tarkistuslista ei auta, koska ongelma on tehtävän valinnassa.

Ensimmäinen tilanne on aineisto, jota ei saa luovuttaa ulkopuoliselle. Silloin kysymys ei ole vastauksen laadusta vaan siitä, mitä syötteelle tapahtuu. Tätä käsitellään erikseen artikkelissa tekoäly työpaikalla.

Toinen on tilanne, jossa et pystyisi tunnistamaan virhettä etkä tarkistamaan sitä kohtuullisessa ajassa. Vastaus tuntemattomasta erikoisalasta näyttää yhtä uskottavalta oli se oikein tai väärin, ja ilman omaa arviointikykyä tekoäly ei nopeuta työtä vaan siirtää riskin näkymättömiin.

Kolmas on aihe, jossa oikea vastaus riippuu yksittäistapauksen tiedoista: hoitopäätökset, oikeudelliset määräajat, verotus, rakenteiden turvallisuus. Neljäs on kiireellinen tilanne, jossa tarkistamiseen ei ole aikaa. Silloin oikea työkalu on viranomaisen ohje, päivystysnumero tai asiantuntija.

Mitä tarkistaminen ei korjaa

Tarkistus löytää väärät väitteet. Se ei löydä puuttuvia. Poisjätöt ovat vastausten vaikein virhelaji: malli kertoo kolme edellytystä viidestä, ja teksti näyttää täydelliseltä, koska puuttuvat kohdat eivät jätä jälkeä. Tämän huomaa vain, jos tuntee aiheen ennestään tai lukee alkuperäisen ohjeen kokonaan.

Tarkistus ei myöskään korjaa kehystystä. Vastaus voi olla faktoiltaan oikea ja silti painottaa asioita tavalla, joka ohjaa väärään päätelmään. Kolmas raja on inhimillinen: kun yhdeksän kymmenestä väitteestä on tarkistettu oikeaksi, kymmenes menee läpi ilman tarkistusta. Juuri siksi tarkistus kannattaa kohdistaa seurauksen mukaan eikä jakaa tasaisesti koko tekstille.

Jos huomaat, että tarkistaminen vie enemmän aikaa kuin tekstin kirjoittaminen alusta itse, tehtävä oli väärä tekoälylle. Tämä on hyödyllinen mittari: se erottaa tehtävät, joissa malli säästää aikaa, niistä, joissa se vain siirtää työn tarkistamiseen. Työkalupuolella samaa ajattelua jatkaa promptin rakentaja, ja käsitteiden määritelmät löytyvät digisanastosta.