Mikä tekoäly osaa suomea parhaiten? Näin testaat sen itse

Kysymys esitetään usein niin kuin siihen olisi pysyvä vastaus. Mikä tekoäly osaa suomea parhaiten? Ongelma on, että vastaus muuttuu. Palvelut päivittävät mallejaan jatkuvasti, usein ilman että käyttäjä näkee mitään versionumeroa, ja sama palvelu voi ohjata sinut eri malliin eri päivinä. Kolme kuukautta vanha paremmuuslista kertoo lähinnä siitä, mikä tilanne oli silloin.

Toinen ongelma on, että "osaa suomea" ei ole yksi taito. Malli voi kirjoittaa täysin luontevaa yleiskieltä mutta taivuttaa erisnimiä väärin. Se voi hallita taivutuksen mutta käyttää termejä, joita suomalaisessa hallinnossa ei käytetä. Se voi tiivistää suomenkielisen tekstin oikein mutta tuottaa käännöksen, joka haisee englannilta joka lauseessa.

Siksi tämä artikkeli ei anna järjestystä vaan menetelmän. Alla on ensin selitys siitä, mistä suomen taito rakentuu, sitten viisi testitehtävää, joilla erot tulevat näkyviin, ja lopuksi tapa arvioida tulokset niin ettet huijaa itseäsi. Testi vie noin vartin ja sen voi ajaa uudelleen aina kun epäilet tilanteen muuttuneen.

Mistä mallin suomen taito rakentuu

Kolme tekijää selittää suurimman osan eroista.

Aineiston määrä. Verkossa oleva teksti on valtaosin englantia, ja suomen osuus mallien opetusaineistosta on pieni. Malli oppii kielen tilastollisista säännönmukaisuuksista, joten harvinaisemmasta kielestä opitaan vähemmän ja karkeammin. Tämä ei näy niinkään kieliopin perusteissa vaan reunoilla: harvinaisissa sanoissa, erikoisalojen termeissä, murteissa ja vanhemmassa kielessä.

Tokenointi. Malli ei käsittele sanoja vaan niiden paloja. Suomen taivutusmuodot pilkkoutuvat useampaan palaan kuin englannin sanat, mikä tekee suomenkielisestä tekstistä mallille sekä kalliimpaa että hankalammin hahmotettavaa. Asia on selitetty tarkemmin artikkelissa tokenit ja suomen kieli. Käytännön seuraus on, että pitkät yhdyssanat ja harvinaiset taivutusmuodot ovat juuri ne kohdat, joissa virheitä syntyy.

Hienosäätö ja palaute. Esikoulutuksen jälkeen mallia ohjataan vastaamaan halutulla tavalla. Jos tässä vaiheessa on käytetty suomenkielistä aineistoa ja suomenkielistä palautetta, tyyli ja rekisteri osuvat paremmin. Jos ei, malli osaa suomea mutta vastaa niin kuin englanninkielinen ohje olisi käännetty suomeksi. Koulutuksen vaiheet on kuvattu artikkelissa näin kielimalli koulutetaan.

Neljännen tekijän huomaa harvemmin: mallin taustaohje. Palvelun oma järjestelmäkehote määrää muun muassa sen, kuinka muodollisesti malli vastaa ja kuinka pitkiä vastaukset ovat. Osa siitä, mikä tuntuu kömpelöltä suomelta, on itse asiassa käännösmäistä ohjeistusta, ei mallin kielitaidon puutetta. Sen erottaa kokeilemalla: jos pyydät samaa asiaa selkeällä suomenkielisellä ohjeella ja jälki paranee heti, kyse ei ollut osaamisesta.

Viides, pienempi tekijä on mallin koko. Isommat mallit pärjäävät pienissä kielissä yleensä paremmin, koska kapasiteettia riittää myös harvinaisemmille ilmiöille. Tämä ei kuitenkaan ole sääntö, johon voisi luottaa yksittäistapauksessa.

Miksi paremmuuslista vanhenee nopeasti

Kielimallien nimet pysyvät, mutta niiden takana oleva malli vaihtuu. Palvelu voi päivittää mallia, vaihtaa järjestelmäkehotettaan, ottaa käyttöön uuden tokenisaattorin tai ohjata ruuhkassa kevyempään malliin. Käyttäjälle mikään näistä ei näy, mutta suomen laatu voi muuttua kumpaankin suuntaan.

Julkiset vertailutestit eivät korjaa tätä. Ne mittaavat usein englantia, ja siltä osin kuin ne mittaavat suomea, testiaineisto voi olla päätynyt mallien koulutusaineistoon, jolloin tulos mittaa muistamista eikä osaamista. Lisäksi testit painottavat sitä, mitä on helppo pisteyttää automaattisesti. Sinun työsi luonteva sävy ei ole sellainen asia.

Tästä ei seuraa, että vertailu olisi turhaa. Siitä seuraa, että vertailun pitää olla sinun, tehtäviesi näköinen ja toistettava. Kun testi on tallessa, sen ajaminen uudelleen vie muutaman minuutin.

Viisi testitehtävää, jotka paljastavat erot

Anna jokainen tehtävä sanatarkasti samanlaisena jokaiselle vertailtavalle palvelulle. Aloita uusi keskustelu joka kerta, jotta aiempi konteksti ei vaikuta.

1. Taivutus ja rektio. Pyydä mallia kirjoittamaan viisi lausetta, joissa esiintyy sama harvinaisehko sana eri sijamuodoissa, ja lisäksi muutama lause, joissa on tunnettuja rektiovirheiden paikkoja. Katso, osuvatko sijapäätteet ja käyttääkö malli oikeaa sijaa verbin jäljessä.
2. Yhdyssanat ja sanaliitot. Anna listaus käsitteitä ja pyydä mallia kirjoittamaan niistä lyhyt kappale. Ota mukaan pitkiä yhdyssanoja ja pareja, joissa oikea muoto on erikseen kirjoitettu sanaliitto. Yhdyssanavirhe on suomen tavallisin konekielinen virhe.
3. Viranomais- ja ammattisanasto. Pyydä selittämään jokin suomalainen hallinnollinen asia lyhyesti ja käyttämään siinä oikeita termejä. Katso, käyttääkö malli Suomessa käytössä olevaa sanaa vai englannista käännettyä vastinetta. Tässä tehtävässä paljastuu myös se, sekoittaako malli Suomen käytännön toisen maan käytäntöön.
4. Tiivistys suomenkielisestä tekstistä. Ota noin sivun mittainen suomenkielinen teksti, jonka sisällön tunnet. Pyydä siitä viiden kohdan tiivistelmä. Katso, säilyvätkö varaukset ja ehdot vai muuttuvatko ne ehdottomiksi väitteiksi, ja pysyvätkö numerot ja nimet muuttumattomina.
5. Käännös englannista suomeen. Anna lyhyt englanninkielinen kappale ja pyydä käännös luontevaksi yleiskieleksi. Käännöstehtävä paljastaa tyylin nopeimmin, koska siinä alkuperäisen rakenne houkuttelee mallia jäljittelemään englannin lauseoppia.

Tallenna kaikki viisi kehotetta samaan tiedostoon. Se on nyt sinun testisi, ja sen arvo kasvaa joka kerta kun ajat sen uudelleen.

Mitä virheitä vastauksesta katsotaan

Sujuvuus on huono mittari, koska kielimalli on rakennettu tuottamaan sujuvaa tekstiä. Katso sen sijaan virheiden lajia.

Kaksi viimeistä riviä ovat tärkeimmät. Termivirhe on vaarallisin, koska se näyttää asiantuntevalta. Sisältövirhe taas muistuttaa siitä, että kielen taito ja tiedon oikeellisuus eivät kulje käsi kädessä: hyvin suomea kirjoittava malli tuottaa yhtä lailla virheellisiä väitteitä kuin muutkin.

Näin pisteytät testin huijaamatta itseäsi

Arviointi menee helposti pieleen, koska tiedät kumman palvelun vastauksen luet. Muutama yksinkertainen sääntö riittää.

Kopioi kaikki vastaukset yhteen tiedostoon ilman palvelun nimeä ja merkitse ne kirjaimin. Sekoita järjestys. Lue ne vasta seuraavana päivänä, jolloin ensivaikutelma on haihtunut. Merkitse jokaisesta vastauksesta virheet lajeittain sen sijaan että antaisit yleisarvosanan.

Aja jokainen tehtävä vähintään kaksi kertaa. Mallien vastauksissa on satunnaisuutta, joten yksi vastaus ei kerro tasoa. Jos kaksi ajokertaa eroavat selvästi, se on itsessään tulos: palvelun laatu on epävakaa juuri siinä tehtävässä.

Pidä kehote vakiona. Jos parannat kehotetta kesken testin, mittaat kehotteen muutosta etkä mallia. Kehotteen muotoilulla on suuri vaikutus lopputulokseen, ja se kannattaa hioda erikseen ennen testiä hyvän promptin rakenteen mukaisesti.

Muista lopuksi, mitä testasit. Tulos koskee sinun tehtäviäsi, ei suomen kieltä yleisesti. Jos kirjoitat markkinointitekstiä, testisi mittaa markkinointitekstiä. Se on juuri se, mitä haluat tietää, mutta älä yleistä tulosta toisenlaiseen työhön.

Englanniksi kysyminen ja suomeksi vastaaminen

Joissakin tilanteissa englanti kannattaa, vaikka lopputuloksen pitäisi olla suomea. Tyypillisiä tilanteita on kolme: kysymys koskee kapeaa erikoisalaa, jonka aineisto on englanniksi; syötettävä teksti on pitkä ja haluat säästää käsittelymäärässä; tai malli tuottaa suomeksi selvästi laimeampaa jälkeä kuin englanniksi.

Käytännön tapa on kaksivaiheinen. Kysy sisältökysymys englanniksi ja pyydä vastaus suomeksi samassa kehotteessa. Tämä on yleensä parempi kuin kääntää valmis englanninkielinen vastaus jälkikäteen, koska erillisessä käännösvaiheessa lauserakenne jää helposti englannin muottiin.

Kaksivaiheisuudessa on yksi hinta. Kun kysymys on englanniksi, malli hakee sisältönsä englanninkielisestä maailmasta, ja Suomea koskevat yksityiskohdat voivat muuttua toisen maan käytännöiksi. Suomalaisissa hallinto-, sopimus- ja käytäntökysymyksissä kysy siis suomeksi ja mainitse Suomi erikseen. Tarkista silti tulos alkuperäisestä lähteestä samalla tavalla kuin muutkin väitteet, ja käytä siihen tekoälyn vastauksen tarkistuksen askeleita.

Milloin suomen taito ei ole ratkaiseva

Kaikkeen käyttöön suomen taso ei vaikuta. Jos pyydät mallilta rakennetta, luokittelua, koodia tai laskennan välivaiheita, kieli on vain kuori. Sama koskee tilanteita, joissa teksti menee joka tapauksessa ihmisen muokattavaksi: silloin riittää, että malli tuottaa käyttökelpoisen raakaversion.

Suomen taito ratkaisee silloin, kun teksti menee ulos sellaisenaan tai kun termin pitää olla täsmälleen oikea. Asiakasviestit, hakemukset, ohjeet ja kaikki viranomaisten kanssa tehtävä sähköinen asiointi kuuluvat tähän luokkaan. Näissä kannattaa myös tarkistaa sanamuoto lähteestä eikä mallilta, ja mallien väliset erot on hyvä tietää etukäteen. Ominaisuuseroja käsittelee laajemmin tekoälyassistenttien vertailu.

Toista testi, kun jokin muuttuu

Testin arvo on siinä, että se on toistettavissa. Pidä kehotteet ja vanhat vastaukset tallessa yhdessä tiedostossa ja aja testi uudelleen näissä tilanteissa:

• Palvelu ilmoittaa uudesta mallista tai huomaat vastausten tyylin muuttuneen.
• Vaihdat maksullisen ja ilmaisen tason välillä, jolloin käytössä oleva malli voi vaihtua.
• Otat käyttöön uuden palvelun ja haluat verrata sitä nykyiseen.
• Aloitat uudenlaisen tehtävän, jossa sanasto on eri kuin aiemmin.
• Edellisestä ajokerrasta on kulunut muutama kuukausi etkä tiedä, mikä on muuttunut.

Kirjaa jokaiselle ajokerralle päivämäärä ja käytetyn palvelun nimi. Kun samat viisi tehtävää on ajettu muutaman kerran, sinulla on jotain arvokkaampaa kuin mikään julkinen paremmuuslista: aineisto siitä, miten työkalusi pärjää juuri sinun teksteissäsi ja mihin suuntaan se on kehittynyt.