Tekoälyn vinoumat: mistä syrjivät ja vinot vastaukset syntyvät

Vinoumasta puhutaan usein kuin mallilla olisi asenne. Näin ei ole. Kielimallilla ei ole näkemystä ammateista, nimistä tai kansallisuuksista, vaan se tuottaa todennäköisintä jatkoa tekstille. Jos aineistossa tietyt sanat esiintyivät tietyissä yhteyksissä useammin kuin toisissa, tuo epätasapaino siirtyy vastauksiin. Se näyttää mielipiteeltä, koska se tulee ulos kokonaisina lauseina.

Tämä artikkeli seuraa ketjua aineistosta vastaukseen ja kertoo, missä kohdissa vinouma pääsee sisään, miltä se näyttää käytännössä ja miten sen voi itse todeta. Aineiston alkuperä ja sen sokeat pisteet on käsitelty erikseen artikkelissa mistä tekoäly on opetettu, ja sääntelyn puoli artikkelissa korkean riskin tekoäly.

Mitä vinouma tarkoittaa, kun puhutaan mallista

Arkikielessä vinouma tarkoittaa ennakkoluuloa. Koneoppimisessa se tarkoittaa järjestelmällistä poikkeamaa: malli erehtyy toistuvasti samaan suuntaan tietyssä ryhmässä tai tietyssä tilanteessa. Ero on olennainen. Satunnainen virhe jakautuu tasaisesti ja korjaantuu keskiarvossa. Järjestelmällinen poikkeama ei korjaannu, koska se toistuu joka kerta samalla tavalla.

Vinouma ei myöskään tarkoita, että malli olisi keskimäärin huono. Malli voi olla suurimmalle osalle käyttäjistä hyvä ja silti selvästi heikompi jollekin ryhmälle tai jollekin kielelle. Keskiarvo piilottaa tämän tehokkaasti. Juuri siksi vinoumaa etsitään vertailemalla ryhmiä, ei katsomalla kokonaistarkkuutta.

Ketju aineistosta vastaukseen

Vinouma ei tule yhdestä paikasta. Se kertyy vaiheittain, ja jokainen vaihe voi joko lisätä tai vähentää sitä.

Ketjun alkupäätä ei voi tarkastaa jälkikäteen kysymällä mallilta. Malli ei säilytä tietoa siitä, mistä mikäkin taipumus tuli, koska mitään yksittäistä lähdettä ei ole tallennettu erillisenä tietueena. Kun kysyt mallilta, miksi se vastasi näin, saat uuden tekstin etkä selvitystä. Sama rajoite koskee kaikkea mallin sisäistä toimintaa, ja siitä kertoo tarkemmin mallin koko ja parametrit.

Huomaa myös ketjun viimeinen rivi. Kysymyksen muotoilu on osa syytä. Jos kysyt "miksi tämä ryhmä on huonompi jossakin", malli lähtee rakentamaan perusteluja oletukselle sen sijaan että kyseenalaistaisi sen. Aukko kysymyksessä ja oletus kysymyksessä ovat kaksi eri asiaa, ja molemmat ohjaavat vastausta.

Aineiston edustavuus ja kielijakauma

Suurin osa mallien opetusaineistosta on englanniksi. Suomi on pieni kieli, ja suomenkielistä tekstiä on verkossa murto-osa siitä mitä englanniksi. Tästä seuraa kolme käytännön asiaa.

Ensinnäkin suomalaisia yksityiskohtia koskevat vastaukset ovat ohuemmalla pohjalla. Malli voi tuottaa sujuvaa suomea ja silti kuvata käytännön, joka on lainattu toisesta maasta. Toiseksi käännöksen kautta tulee näkökulma mukana: jos aihetta on käsitelty pääosin yhdessä maassa, sen oletukset ovat mukana vastauksessa vaikka teksti olisi suomeksi. Kolmanneksi kielen tekninen käsittely on epätasaista, koska suomen taivutusmuodot pilkkoutuvat useampaan tokeniin kuin englannin sanat. Tämä on selitetty artikkelissa tokenit ja suomen kieli.

Edustavuus ei tarkoita samaa kuin määrä. Aineisto voi olla valtava ja silti vino, jos se on kerätty paikoista, joissa tietyt ihmisryhmät kirjoittavat ja toiset eivät. Verkkoteksti painottuu niihin, joilla on ollut pääsy verkkoon, aikaa kirjoittaa ja syy julkaista.

Miten hienosäätö ja palaute muuttavat kuvaa

Esiopetuksen jälkeen mallia muokataan kahdella tavalla, ja molemmat vaikuttavat vinoumaan. Ohjatussa hienosäädössä sille näytetään esimerkkivastauksia. Palautevaiheessa ihmiset asettavat vastauksia paremmuusjärjestykseen, ja vertailuista opetetaan palkkiomalli. Vaiheet on kuvattu artikkelissa näin kielimalli koulutetaan.

Nämä vaiheet voivat vähentää vinoumaa, ja niitä käytetään juuri siihen. Malli voidaan opettaa kieltäytymään yleistämästä ihmisryhmistä ja huomauttamaan, kun kysymys nojaa oletukseen. Samalla vaiheet voivat siirtää vinouman uuteen paikkaan. Arvioijajoukko on rajallinen, sillä on oma kielensä ja kulttuurinsa, ja sen ohjeistus on kirjoitettu jostain näkökulmasta. Tuloksena on malli, joka on varovainen niissä asioissa, jotka ohjeistuksessa tunnistettiin, ja huoletonta muissa.

Käytännön seuraus näkyy usein siinä, että ilmeisen räikeät yleistykset on saatu pois, mutta hienovaraiset painotukset ovat jäljellä. Ne eivät näy yksittäisessä vastauksessa vaan sarjassa.

Missä vinouma näkyy käytännössä

Neljä aluetta tulee vastaan tavallisessa käytössä.

• Ammatit ja roolit. Kun pyydät tarinaa tai esimerkkihenkilöä ilman määrittelyä, malli täyttää tyhjän kohdan tavallisimmalla vaihtoehdolla. Aineiston tavallisin ei ole sama kuin todellisuuden tasajakauma.
• Nimet ja tausta. Sama teksti voi saada eri sävyisen arvion, jos siihen vaihtaa nimen toisen kielialueen nimeksi. Tämä on helpoiten testattava vinouman muoto.
• Kielialueet ja maat. Vastaus kysymykseen käytännöistä, laista tai palveluista nojaa siihen maahan, josta aineistoa oli eniten. Suomalainen käytäntö tulee mukaan vain jos siitä on kirjoitettu.
• Terveystieto. Oireiden kuvaukset ja hoitokäytännöt vaihtelevat maittain ja ryhmittäin. Vastaus voi kuvata valtaväestön tyypillisen oirekuvan ja ohittaa sen, että sama sairaus näyttäytyy toisenlaisena eri ryhmissä.

Näissä kaikissa pätee sama asia: vinouma ei näy siitä, että vastaus olisi outo. Vastaus on tavallinen, ja juuri se on ongelma. Outo vastaus herättää epäilyksen ja tulee tarkistetuksi. Tavallinen vastaus menee läpi, koska se vastaa sitä mitä lukija odotti, ja odotus on syntynyt samasta ympäristöstä kuin aineistokin.

Toinen yhteinen piirre on, että vinouma vahvistuu ketjuissa. Jos mallin tuottamaa tekstiä käytetään seuraavan tehtävän lähtötietona, alkuperäinen painotus siirtyy eteenpäin ilman että kukaan on sitä enää arvioinut. Pitkässä työnkulussa tämä on merkittävämpi riski kuin yksittäinen vastaus.

Näin testaat vinouman itse

Testi perustuu yhden muuttujan vaihtoon. Se on sama periaate kuin missä tahansa kokeessa: muuta yhtä asiaa ja pidä muut ennallaan.

1. Kirjoita kysymys tai lyhyt teksti, jossa on yksi henkilöön liittyvä muuttuja: nimi, sukupuoli, ikä, kotimaa tai äidinkieli.
2. Tee siitä kaksi tai kolme versiota, joissa vaihdat vain tuon yhden asian. Kaikki muu pysyy sanasta sanaan samana.
3. Kysy jokainen versio erikseen uudessa keskustelussa, jotta aiemmat vastaukset eivät vaikuta seuraaviin.
4. Vertaa vastauksia rakenteen tasolla: pituus, sävy, varaukset, kysytäänkö lisätietoja, annetaanko suositus vai kehotetaanko kääntymään ammattilaisen puoleen.
5. Toista sarja muutaman kerran, koska yksittäinen ero voi olla satunnaisvaihtelua. Vasta toistuva ero samaan suuntaan on merkki vinoumasta.
6. Kirjaa havainnot ylös. Jos käytät mallia työssä, tämä on se aineisto, jolla asiasta voi keskustella hankinnan tai tietosuojan kanssa.

Testi ei kerro syytä eikä laajuutta. Se kertoo, että ero on olemassa juuri tässä tehtävässä ja juuri tällä mallilla. Se riittää päätökseen siitä, käytätkö mallia tähän tehtävään.

Milloin vinouma on vaaraton ja milloin ei

Rehellisyyden nimissä: suuressa osassa arkikäyttöä vinoumalla ei ole merkitystä. Jos pyydät mallia tiivistämään kokousmuistion, muotoilemaan sähköpostin tai selittämään käsitteen, tilastollinen painotus ei johda kenenkään vahingoksi.

Tämä kannattaa sanoa ääneen, koska vinoumakeskustelu ajautuu helposti siihen, että mallia pidetään joko puolueettomana työkaluna tai kelvottomana kaikkeen. Kumpikaan ei pidä paikkaansa. Kysymys on aina siitä, mihin tehtävään mallia käytetään.

Merkitys syntyy silloin, kun vastaus vaikuttaa ihmisen asemaan. Rajanveto on karkeasti tämä: koskeeko lopputulos jonkun pääsyä johonkin, kohtelua jossakin tai arviota hänestä. Työnhaku, luotto, vuokra-asunto, opiskelijavalinta, sosiaalietuudet ja terveydenhuollon ohjaus kuuluvat tähän joukkoon. Näissä yksittäinen hienovarainen painotus toistuu jokaisen hakijan kohdalla samaan suuntaan, ja pieni ero muuttuu järjestelmälliseksi.

Tähän liittyy myös oikeus saada tietää, miten sinua koskeva päätös on tehty. Automaattista päätöksentekoa koskevat rajat kuuluvat tietosuojasääntelyn puolelle, ja niistä kerrotaan artikkelissa GDPR ja rekisteröidyn oikeudet.

Mitä tekoälyasetus vaatii korkean riskin käytössä

EU:n tekoälyasetus jakaa velvoitteet käyttötarkoituksen riskin mukaan. Kun järjestelmä luokitellaan korkean riskin järjestelmäksi, vinouman hallinta ei ole hyvä käytäntö vaan vaatimus. Asetus edellyttää muun muassa aineiston hallintaa ja sen arviointia mahdollisten vinoumien varalta, riskienhallintajärjestelmää, teknistä dokumentaatiota, lokitietoja, ihmisen tekemää valvontaa sekä riittävää tarkkuutta ja luotettavuutta koko elinkaaren ajan. Työhön ja koulutukseen liittyvät valintajärjestelmät kuuluvat asetuksen korkean riskin alueisiin, joten kyse ei ole harvinaisesta erikoistapauksesta.

Käyttäjän kannalta olennaista on vastuunjako. Jos työnantaja ottaa käyttöön mallin, joka vaikuttaa hakijoiden käsittelyyn, velvoitteet kohdistuvat organisaatioon eivätkä yksittäiseen käyttäjään. Sama asia toisin päin: se että käyttäjä huomaa vinouman testaamalla, ei siirrä vastuuta hänelle. Rekrytoinnin erityiskysymykset on käsitelty artikkelissa tekoäly rekrytoinnissa.

Mitä teet, kun huomaat vinouman

Havainto kannattaa käsitellä samalla tavalla kuin mikä tahansa laatupoikkeama.

1. Varmista, että kyse on toistuvasta erosta eikä yhdestä sattumasta. Aja testisarja uudelleen.
2. Rajaa, mitä tehtävää havainto koskee. Vinouma yhdessä tehtävässä ei tarkoita, että malli olisi käyttökelvoton kaikkeen.
3. Poista malli siitä kohdasta työnkulkua, jossa se vaikuttaa ihmistä koskevaan päätökseen. Tiivistäminen ja luonnostelu voivat jatkua.
4. Kerro havainto siellä, missä käyttöönotosta on päätetty. Jos käytössä on korkean riskin järjestelmä, ilmoitusvelvollisuudet ja valvonta kuuluvat organisaatiolle.
5. Kirjoita kehotteeseen se, minkä malli muuten oletti: ala, maa, lainsäädäntö, kohderyhmä. Tämä ei poista vinoumaa, mutta se vähentää tyhjiä kohtia, jotka malli täyttää tavallisimmalla vaihtoehdolla.

Viimeinen kohta on tärkeä myös siksi, että se paljastaa oletukset sinulle itsellesi. Suuri osa vinoista vastauksista syntyy siitä, että kysymyksessä oli aukko, ja aukon täytti tilasto.