Tekoälytunnistimet: miksi ne antavat vääriä syytöksiä

Tekoälytunnistin on ohjelma, johon liitetään teksti ja joka palauttaa luvun. Luku näyttää mittaustulokselta, ja juuri siksi se on vaarallinen. Ohjelma ei ole nähnyt kirjoitustilannetta, ei tiedä kuka kirjoitti eikä sillä ole pääsyä mihinkään todisteeseen. Se arvioi vain tekstin tilastollisia ominaisuuksia ja vertaa niitä siihen, millaista tekstiä kielimalli tyypillisesti tuottaa.

Tässä artikkelissa käydään läpi, mihin tunnistimet perustuvat, miten virheet syntyvät, keihin ne osuvat ja mitä epäilytilanteessa kannattaa tehdä sen sijaan. Tekstin omista tunnusmerkeistä ja niiden rajoista kerrotaan erikseen artikkelissa tekoälytekstin tunnistaminen.

Mitä tunnistin oikeasti mittaa

Kielimalli tuottaa tekstiä valitsemalla kerrallaan yhden sananpalan eli tokenin niistä, jotka ovat todennäköisimpiä jatkoja. Tämä mekanismi on kuvattu tarkemmin artikkelissa miten kielimalli toimii. Tunnistin kääntää sen ympäri. Se ajaa valmiin tekstin oman vertailumallinsa läpi ja kysyy jokaisen sanan kohdalla: kuinka yllättävä tämä sana oli tässä kohdassa?

Jos teksti on kauttaaltaan vähän yllättävää, tunnistin tulkitsee sen koneen tuottamaksi. Jos yllättävyys vaihtelee, välillä paljon ja välillä vähän, tunnistin tulkitsee sen ihmisen kirjoittamaksi. Taustalla on havainto siitä, että ihmisen teksti nykii: siinä on omaperäisiä sanavalintoja, epätasaisia lauseita ja kohtia, joissa kirjoittaja vaihtaa suuntaa kesken kaiken.

Vertailumalli on tässä ratkaiseva yksityiskohta. Tunnistimella on oma mallinsa, joka ei ole sama kuin se, jolla teksti mahdollisesti tuotettiin, eikä se ole sama kuin ne mallit, joita ihmiset ensi viikolla käyttävät. Tunnistin siis vertaa tekstiä omaan käsitykseensä tavanomaisuudesta. Jos vertailumalli on opetettu pääosin englanniksi, sen käsitys suomen tavanomaisuudesta on huomattavasti epätarkempi.

Havainto pitää keskimäärin paikkansa, ja siinä on ongelma. Keskimääräinen ero ryhmien välillä ei kerro mitään yksittäisestä tekstistä. Suomalaisten keskipituus eroaa monen muun maan keskipituudesta, mutta yhden ihmisen pituudesta ei voi päätellä hänen kansalaisuuttaan. Tunnistin tekee tarkalleen tämän päätelmän.

Kaksi tapaa rakentaa tunnistin

Käytännössä työkalut jakautuvat kolmeen ryhmään, joilla on eri rajoitteet.

Kaksi ensimmäistä arvaavat. Kolmas ei arvaa, mutta se ei myöskään ole yleinen tunnistin: se lukee merkinnän, jonka joku on tarkoituksella lisännyt. Tätä mekanismia käsitellään artikkelissa vesileimat ja C2PA. Merkinnän puuttuminen ei tarkoita, että teksti olisi ihmisen kirjoittama, koska valtaosa työkaluista ei merkitse tekstiä mitenkään.

Opetettuun luokittimeen liittyy erityinen vanhentumisongelma. Se on opetettu tunnistamaan tietyn mallisukupolven jälkiä. Kun mallit vaihtuvat tai kun käyttäjä säätää tyyliä kehotteella ja asetuksilla, luokittimen oppima kuvio ei enää vastaa todellisuutta. Tunnistin ei kerro sinulle vanhentuneensa. Se antaa yhtä varman näköisen luvun kuin ennenkin.

Miksi mittari osuu ihmiseen

Väärä positiivinen tarkoittaa, että ihmisen kirjoittama teksti merkitään koneen tuottamaksi. Se ei ole satunnainen kömmähdys vaan seuraa suoraan siitä, mitä tunnistin mittaa. Ennustettava teksti saa korkean pistemäärän, ja ennustettavuus on monen ihmisen kirjoitustyylin ominaisuus.

Erityisen alttiita ovat seuraavat ryhmät.

Vieraalla kielellä kirjoittavat. Rajallisempi sanavarasto ja varovaiset, tavanomaiset rakenteet tuottavat juuri sellaista tekstiä, jota mittari pitää koneen tekstinä. Tästä on myös julkaistua tutkimusnäyttöä englannin osalta, ja lähdeluettelossa on viite tutkimukseen, jossa yleiset tunnistimet luokittelivat järjestelmällisesti väärin muiden kuin äidinkielisten kirjoittajien tekstejä.

Selkeästi ja yksinkertaisesti kirjoittavat. Se, mitä hyvässä asiatekstissä tavoitellaan, on lyhyt lause, tavallinen sana ja looginen eteneminen. Mittarille tämä näyttää koneelta.

Mallipohjaa noudattavat. Hakemukset, raportit, lausunnot ja tieteelliset abstraktit kirjoitetaan vakiintuneen rakenteen mukaan. Rakenne on tarkoituksella ennustettava.

Nuoret ja kokemattomat kirjoittajat. Aloitteleva kirjoittaja käyttää turvallisia rakenteita. Kokenut kirjoittaja rikkoo niitä. Mittari palkitsee rikkomisesta.

Näiden ryhmien yhteinen piirre on, että ne ovat jo valmiiksi heikommassa asemassa epäilytilanteessa. Sama järjestelmä, jonka piti tuoda objektiivisuutta, siirtää epäilyn niihin, joilla on vähiten keinoja puolustautua.

Väärä positiivinen ja väärä negatiivinen käytännössä

Tunnistimien tarkkuudesta esitetyt luvut ovat valmistajien omia, mitattu heidän valitsemallaan aineistolla, eikä niitä voi siirtää sinun tilanteeseesi. Mekanismin ymmärtää kuitenkin ilman lukuja, kun katsoo mitä pieni virheprosentti tarkoittaa isossa joukossa.

Ajattele opettajaa, jolla on satakunta palautusta ja jossa osa on tehty tekoälyllä. Jos tunnistin merkitsee virheellisesti vaikkapa joka kahdennenkymmenennen ihmisen kirjoittaman tekstin, syytettyjä syyttömiä on kurssia kohti useita. Nämä luvut ovat havainnollistus, eivät mittaustulos, mutta suhde on se joka ratkaisee: mitä harvinaisempi vilppi on ryhmässä, sitä suurempi osa merkinnöistä osuu syyttömiin. Sama logiikka tunnetaan sairauksien seulonnasta, jossa harvinaista tautia etsivä testi tuottaa enemmän vääriä hälytyksiä kuin löytöjä.

Suomen kielessä epävarmuus on vielä suurempi. Suurin osa tunnistimista on kehitetty ja arvioitu englanniksi, ja monessa työkalussa muut kielet ovat sivutuote. Kun mittarin perustana oleva käsitys tavanomaisesta tekstistä on hataralla pohjalla, myös sen antama luku on hataralla pohjalla, vaikka se näytetään yhtä täsmällisen näköisenä.

Väärä negatiivinen on toinen puoli samasta asiasta. Kun mallilta pyytää mutkikkaampaa tekstiä, kun tekstiä muokkaa käsin tai kun sen kierrättää käännöksen kautta, ennustettavuus laskee ja pistemäärä romahtaa. Tunnistin siis läpäisee sen, joka yrittää kiertää, ja merkitsee sen, joka kirjoitti itse mutta selkeästi. Mittari toimii tarkalleen väärään suuntaan.

Miksi prosenttiluku johtaa harhaan

Kun ohjelma näyttää tuloksen "97 prosenttia tekoälyä", lukija tekee kolme oletusta, joista yksikään ei pidä paikkaansa.

1. Luku ei ole todennäköisyys. Se on pisteytys jollain valmistajan asteikolla. Se ei tarkoita, että sadasta samanlaisesta tekstistä 97 olisi koneen kirjoittamia.
2. Raja on valittu, ei löydetty. Valmistaja päättää, mikä pistemäärä muuttuu merkinnäksi. Rajan siirtäminen vaihtaa väärien positiivisten ja väärien negatiivisten suhdetta, eikä käyttäjä näe missä raja on.
3. Luku ei koske kirjoittajaa. Vaikka luku olisi täydellinen mittaus tekstin ominaisuuksista, se ei kerro syntytapaa. Ihminen voi kirjoittaa ennustettavaa tekstiä ja malli epätavallista.

Lisäksi tulos ei ole vakaa. Sama teksti saa eri luvun eri työkalussa, ja pitkän tekstin sisällä korostetut lauseet vaihtelevat ajokerrasta toiseen. Jos mittari ei toista omaa tulostaan, sitä ei voi käyttää perusteena. Ohjelman kyky esittää epävarma arvio varmalta näyttävässä muodossa on sama ongelma, joka vaivaa kielimalleja itseään ja jota käsitellään artikkelissa kun tekoäly on väärässä ja varma.

Mitä väärästä syytöksestä seuraa

Vilppiepäily ei ole tekninen kysymys vaan ihmistä koskeva päätös. Opiskelijalle se voi tarkoittaa hylättyä suoritusta tai kurinpitomenettelyä, työntekijälle luottamuksen menetystä ja hakijalle karsiutumista jo hakemusvaiheessa, mitä käsitellään artikkelissa tekoäly rekrytoinnissa. Näissä tilanteissa syytetyn ainoa puolustus olisi todistaa, ettei ole käyttänyt työkalua, eikä sitä voi tehdä.

Epäsymmetria näkyy myös siinä, kuka joutuu selittämään. Merkintä syntyy sekunnissa ja ilman perusteluja, mutta sen kumoaminen vaatii ihmiseltä aikaa, sanavalmiutta ja usein rohkeutta asettua auktoriteettia vastaan. Osa jättää valittamatta ja hyväksyy seurauksen, koska se on helpompaa. Siksi virheiden määrä ei näy tilastoissa vaan yksittäisten ihmisten kokemuksissa.

Jos päätös tehdään merkittävässä määrin automaattisen käsittelyn perusteella, kyse on myös tietosuojakysymyksestä. Ihmisellä on oikeus saada tietää, mihin häntä koskeva päätös perustuu, ja oikeuksien käyttöä käsitellään artikkelissa GDPR ja rekisteröidyn oikeudet. Käytännön johtopäätös on yksinkertainen: jos et pysty selittämään ihmiselle, miten luku syntyi, älä perusta päätöstä siihen.

Tunnistimen tulos voi olla syy katsoa asiaa tarkemmin. Se ei voi olla syy tehdä päätös.

Menettely epäilytilanteessa ilman tunnistinta

Tämä järjestys toimii sekä oppilaitoksessa että työpaikalla, ja se tuottaa perusteluja, jotka kestävät tarkastelun.

1. Älä aloita syytöksestä. Aloita kysymyksellä siitä, miten teksti syntyi. Sanamuoto ratkaisee, koska syytöksen jälkeen keskustelu ei enää tuota tietoa.
2. Kysy sisällöstä. Pyydä selittämään yksi kohta tarkemmin ja perustelemaan yksi valinta. Ymmärretty teksti kestää jatkokysymyksen.
3. Pyydä työn jäljet. Luonnokset, muistiinpanot, lähdeluettelo ja asiakirjan versiohistoria kertovat prosessista enemmän kuin lopputulos.
4. Tarkista tarkistettavat asiat. Avaa viitteet ja katso, ovatko ne olemassa ja sanovatko ne sen mitä teksti väittää. Keksitty lähde on konkreettinen havainto, toisin kuin tyylivaikutelma.
5. Erota kaksi kysymystä. Onko teksti tehtävänannon vastainen, vai onko se huono? Nämä käsitellään eri tavalla ja eri seuraamuksilla.
6. Kirjaa mihin arviosi perustuu. Jos perusteluksi jää vain vaikutelma tai ohjelman luku, asiaa ei viedä eteenpäin.
7. Katso tehtävänantoa. Jos tehtävä on sellainen, että malli ratkaisee sen kokonaan, ongelma on osittain tehtävässä. Suullinen perustelu, oma aineisto tai välivaiheiden palautus siirtää painon prosessiin.

Näin säännön kirjaa niin että se kestää

Toimiva sääntö kohdistuu käyttöön ja ilmoittamiseen, ei tekstin tyyliin. Kirjaa siis mitä saa käyttää, mihin vaiheeseen, mitä pitää kertoa ja kuka vastaa lopputuloksesta. Näin rajanveto on etukäteen tiedossa eikä jälkikäteen arvattava. Oppilaitosten näkökulmasta aihetta käsitellään artikkelissa tekoäly opiskelussa ja työpaikan ohjeen laatimista artikkelissa tekoälyn käyttöohje työpaikalle.

Kolme asiaa kannattaa kirjata näkyviin:

• Tunnistimen tulos ei ole näyttö eikä sitä käytetä päätöksen perusteena.
• Epäily käsitellään keskustelemalla, ja henkilöllä on oikeus kertoa oma versionsa.
• Vastuu tekstin sisällöstä on aina sillä, joka sen palauttaa tai lähettää, riippumatta siitä millä välineellä se on tehty.

Viimeinen kohta on tärkein, koska se ratkaisee ongelman kiertämättä sitä. Jos vastuu on kirjoittajalla, virheellinen sisältö, keksitty lähde ja ymmärtämättä jätetty kohta johtavat seuraukseen ilman, että kenenkään tarvitsee arvata kirjoitusvälinettä.