Kun tekoäly on väärässä ja varma: varmuuden lukeminen

Tekoälyn vastaus tulee aina samalla äänellä. Se on rauhallinen, jäsennelty ja täsmällisen kuuloinen riippumatta siitä, onko kyseessä asia, joka esiintyi opetusaineistossa tuhansia kertoja, vai asia, jonka malli joutuu kokoamaan sirpaleista. Ihminen lukee tuosta äänestä varmuutta, koska toisen ihmisen kanssa se on yleensä toimiva vihje: epävarma puhuja epäröi, korjaa itseään ja jättää lauseita kesken.

Kielimallilla tätä vihjettä ei ole. Tämä artikkeli käsittelee sitä, mistä varma sävy syntyy, mitä kalibraatio tarkoittaa ja miten kysymyksen muodolla saa esiin sen, mitä sävy ei kerro. Itse tarkistustyö, eli se mitä teet kun väite pitää varmistaa, on kuvattu erikseen artikkelissa näin tarkistat tekoälyn vastauksen.

Miksi jokainen vastaus kuulostaa yhtä varmalta

Kielimalli laskee jokaisessa kohdassa jakauman siitä, mikä tekstinpala eli token tulisi seuraavaksi, ja poimii siitä yhden. Joskus jakauma on terävä, eli yksi vaihtoehto on selvästi muita todennäköisempi. Joskus se on lattea, eli kymmenen vaihtoehtoa on lähes yhtä hyviä. Ulos tulee kummassakin tapauksessa yksi sujuva lause. Jakauman muoto ei siirry tekstiin millään tavalla, koska mallilla ei ole erillistä kanavaa, jolla se kertoisi valinnan vaikeudesta. Perusmekanismi on avattu tarkemmin artikkelissa miten kielimalli toimii.

Tähän tulee päälle toinen kerros. Sävy on opittu aineistosta, ja aineisto on täynnä varmaa asiaproosaa: tietosanakirjoja, käyttöohjeita, oppikirjoja, standardeja. Niissä asiat todetaan. Harvassa tekstissä kirjoittaja pysähtyy kesken kappaleen toteamaan, ettei muista yksityiskohtaa varmasti. Malli on siis oppinut jäljittelemään tyylilajia, jossa epäröinti on poikkeus.

Kolmas kerros syntyy koulutuksen viimeisessä vaiheessa, jossa ihmisarvioijat vertailevat vastauksia keskenään. Suora ja täydellisen oloinen vastaus voittaa vertailussa varauksellisen vastauksen useammin kuin päinvastoin, koska se näyttää hyödyllisemmältä. Palautteesta oppiminen on kuvattu artikkelissa näin kielimalli koulutetaan. Lopputulos on malli, joka on kolmesta eri syystä taipuvainen kuulostamaan varmalta.

Kalibraatio on eri asia kuin osumatarkkuus

Arjessa nämä menevät sekaisin, mutta ero on tämän aiheen ydin. Osumatarkkuus kertoo, kuinka usein vastaus on oikein. Kalibraatio kertoo, vastaako ilmoitettu tai vihjattu varmuus sitä, kuinka usein vastaus on oikein.

Hyvin kalibroitu vastaaja saa olla usein väärässä, kunhan hän on epävarma juuri silloin kun hän on väärässä. Huonosti kalibroitu vastaaja voi olla useimmiten oikeassa mutta silti vaarallinen, koska hänen erehdyksiään ei erota mistään. Kielimallien käytännön ongelma on tätä jälkimmäistä lajia. Yksittäisen vastauksen virhe on odotettavissa oleva asia, mutta se että virhe tulee samalla sävyllä kuin oikea vastaus, siirtää koko erottelutyön käyttäjälle.

Kalibraatiota voi mitata vain sarjoista, ei yhdestä vastauksesta. Siksi lause "malli on tässä asiassa luotettava" on aina väite, joka perustuu useaan tarkistettuun tapaukseen, ei siihen miltä vastaus tuntui.

Miksi mallin ilmoittama prosentti ei ole mittaus

Jos kysyt mallilta, kuinka varma se on, saat usein numeron. Numero näyttää mittaustulokselta, mutta se on tuotettu täsmälleen samalla tavalla kuin muukin teksti: valitsemalla todennäköisiä sanoja peräkkäin. Malli ei lue sitä mistään sisäisestä mittarista, koska mitään sellaista mittaria ei ole olemassa siinä muodossa, jossa se voisi vastauksen kohdalla tarkoittaa väitteen totuutta.

Mallin sisällä on kyllä todennäköisyyksiä. Ne koskevat kuitenkin seuraavaa tokenia, eivät kokonaisen väitteen paikkansapitävyyttä. Korkea todennäköisyys tarkoittaa, että sana sopii tekstiin hyvin, ei sitä että väite vastaa maailmaa. Näitä lukuja ei myöskään näytetä tavallisissa keskustelukäyttöliittymissä. Tämä liittyy selitettävyyden rajoihin yleisemmin: mallin sisäistä perustelua ei voi lukea suoraan ulos, koska päätös syntyy miljardien parametrien yhteisvaikutuksesta eikä missään ole erillistä kohtaa, jossa lukisi miksi juuri tämä väite valittiin.

Numeroista on silti vähäistä hyötyä. Jos pyydät samassa keskustelussa arviot useaan väitteeseen, järjestys voi olla suuntaa antava: mikä väitteistä on mallin oman tuotoksen mukaan heikoin. Sitä kannattaa käyttää tarkistusjärjestyksen valintaan, ei todisteena. Älä kirjaa lukua raporttiin tai muistioon sellaisenaan. Se on tekstiä, joka näyttää tilastolta.

Millaisissa kysymyksissä varmuus ja oikeellisuus eroavat eniten

Riskiä ei ole tasaisesti kaikkialla. Ero varman sävyn ja todellisen osumatarkkuuden välillä kasvaa järjestelmällisesti tietyissä kysymystyypeissä.

Tuoreus on oma erillinen ansansa, koska malli ei tiedä mitä se ei ole nähnyt. Tästä kertoo tiedon katkaisupäivä. Yksityiskohdat ovat vaarallisia siksi, että tarkka muoto on helppo tuottaa vaikka sisältö olisi arvaus, ja tämä on sama mekanismi kuin hallusinaatioissa yleensä. Kun kysymys koskee viranomaisasiaa, kannattaa muistaa, että lopullinen vastaus löytyy palvelusta itsestään: viranomaisasiointi verkossa kertoo mikä asia hoituu missä, ja sieltä tiedon voi tarkistaa muutamassa minuutissa.

Kuusi kehotetta, jotka pakottavat epävarmuuden näkyviin

Nämä eivät mittaa mitään. Ne muuttavat vastauksen muotoa niin, että epävarmuus saa paikan, johon se voi ilmestyä. Se on eri asia kuin mittaus, mutta käytännössä hyödyllinen.

1. Pyydä merkintä jokaiseen väitteeseen: varma, todennäköinen tai arvaus. Vaadi, että merkintä on rivin lopussa eikä erillisenä kappaleena, jolloin sitä ei voi ohittaa lukiessa.
2. Pyydä erottelemaan, mikä osa vastauksesta on aineistosta muistettua ja mikä päättelyä. Raja on karkea, mutta se paljastaa kohdat, joissa malli rakentaa siltaa aukon yli.
3. Kiellä täydentäminen suoraan: "Jos et tiedä, kirjoita että et tiedä, äläkä täytä aukkoa." Tämä kannattaa laittaa pysyväksi ohjeeksi järjestelmäkehotteeseen, jotta sitä ei tarvitse toistaa joka kerta erikseen.
4. Pyydä luettelo asioista, jotka pitäisi tarkistaa ennen kuin vastaukseen voi luottaa. Tämä tuottaa usein osuvamman riskilistan kuin suora kysymys varmuudesta.
5. Pyydä kolme vaihtoehtoista vastausta ja selitys siitä, mikä niitä erottaa. Jos vaihtoehdot ovat keskenään kaukana toisistaan, aihe on mallille epävakaa.
6. Kysy, mikä yksittäinen tieto muuttaisi vastauksen toiseksi. Vastaus kertoo, mihin oletukseen koko rakennelma nojaa.

Rehellisyyden vuoksi: malli voi myös epäröidä väärässä kohdassa. Se voi merkitä arvaukseksi asian, jonka se tietää hyvin, jos kehote painottaa varovaisuutta. Merkinnät ovat siis suodatin, joka kertoo mihin katsoa, ei tuomio.

Milloin kannattaa kysyä sama asia kahdesti

Toisto on halvin käytettävissä oleva luotettavuustesti, mutta se toimii vain jos toinen kysely on aidosti erilainen. Saman kysymyksen toistaminen samassa keskustelussa tuottaa yleensä saman vastauksen, koska aiempi vastaus on kontekstissa ja malli pitäytyy siinä.

Tee toinen kysely näin. Avaa uusi keskustelu, jotta aiempi vastaus ei ohjaa. Muotoile kysymys ilman omaa oletustasi, koska oletus vuotaa vastaukseen helposti: siitä kertoo tarkemmin tekoälyn mielistely. Käännä asetelma toisin päin ja pyydä perustelut vastakkaiselle kannalle. Jos aihe on kansainvälinen, kysy sama asia myös englanniksi, koska aineiston määrä eri kielillä on eri.

Tulkinta on suoraviivainen. Jos vastaukset eroavat olennaisesti, kyse ei ole tulkintaerosta vaan siitä, että malli ei pidä asiaa vakaana, ja tarkistus on pakollinen. Jos vastaukset ovat samat, se ei ole todiste oikeellisuudesta. Malli voi olla johdonmukaisesti väärässä, jos aineistossa on ollut sama virhe monessa paikassa. Yhdenmukaisuus poistaa siis satunnaisuuden, ei virhettä.

Vastausten vaihtelu riippuu myös asetuksista. Lämpötila ja muut asetukset säätävät sitä, kuinka paljon malli poikkeaa todennäköisimmästä jatkosta. Matala arvo tuottaa toistettavampaa tekstiä, mikä helpottaa vertailua mutta myös piilottaa sen, kuinka epävakaa aihe on.

Miksi varmuus tuntuu kasvavan keskustelun edetessä

Pitkässä keskustelussa syntyy vaikutelma, että malli tuntee aiheen yhä paremmin. Vaikutelma on harhaa, ja sille on kaksi syytä.

Ensinnäkin malli näkee omat aiemmat vastauksensa osana keskustelua. Ne ovat sille samanlaista tekstiä kuin sinun kirjoittamasi, ja todennäköisin jatko aiemmalle väitteelle on sen kanssa yhdenmukainen väite. Malli siis nojaa omaan aiempaan arvaukseensa kuin lähteeseen. Kolmannen vastauksen jälkeen alkuperäinen epävarma kohta on kirjoitettu keskusteluun jo kolmesti, ja se alkaa näyttää vahvistetulta.

Toiseksi tarkennukset lisäävät yksityiskohtia, ja yksityiskohdat lisäävät uskottavuutta riippumatta siitä, mistä ne tulevat. Kun pyydät esimerkin, saat esimerkin. Kun pyydät perustelun, saat perustelun. Kumpikaan pyyntö ei tuo mukanaan tarkistusta, joten tarkkuus kasvaa nopeammin kuin luotettavuus.

Käytännön seuraus on yksinkertainen. Jos haluat toisen mielipiteen, sitä ei kannata pyytää samassa keskustelussa. Aloita uusi keskustelu, jossa aiempi vastaus ei ole näkyvissä, ja kirjoita kysymys itse alusta asti. Sama koskee tilannetta, jossa epäilet vastausta: kysymys "oletko varma" samassa ketjussa tuottaa yleensä joko kohteliaan perääntymisen tai saman väitteen uudelleen, eikä kumpikaan kerro asiasta mitään.

Näin luet varmuutta ilman että luotat sävyyn

Käytännön ohje on lyhyt, ja se kannattaa pitää samana joka kerta.

1. Lue vastaus kerran läpi ja alleviivaa jokainen tarkka yksityiskohta: luvut, päivämäärät, nimet, pykälät, tuotenimet. Nämä ovat riskikohdat riippumatta siitä, miltä teksti kuulostaa.
2. Kysy itseltäsi, mitä tapahtuu jos kohta on väärin. Jos seuraus on raha, terveys, sopimus tai viranomaisasia, älä etene ilman tarkistusta.
3. Pyydä mallilta erittely varmasta ja arvatusta ja katso, osuvatko merkinnät samoihin kohtiin, jotka itse alleviivasit.
4. Tee toinen kysely uudessa keskustelussa ilman omaa oletusta ja vertaa.
5. Tarkista jäljelle jäävät kohdat alkuperäisestä lähteestä. Vain tämä askel tuottaa varmuutta, muut vain kohdistavat sen oikeaan paikkaan.

Sävy on tässä ketjussa hyödytön tieto. Sen ainoa käyttö on muistuttaa, että kaikkein jämäkin kappale ansaitsee saman kohtelun kuin varovaisin.