Tekoälyassistenttien erot: näin valitset itsellesi sopivan

Tekoälyassistenttien vertailut vanhenevat nopeammin kuin ne ehditään julkaista. Uusi malliversio ilmestyy, järjestys kääntyy, ja edellisen kuukauden suositus on väärä. Siksi tämä artikkeli ei kerro, mikä assistentti on paras.

Sen sijaan se kertoo, mitkä ominaisuudet oikeasti erottavat assistentit toisistaan, miksi ne erottavat, ja miten testaat ehdokkaat itse omalla työlläsi. Nämä asiat pysyvät, vaikka mallien nimet ja versionumerot vaihtuvat.

Miksi "paras assistentti" on väärä kysymys

Assistentit rakentuvat samojen perusteiden päälle: iso kielimalli, joka ennustaa tekstiä, ja sen ympärille rakennettu tuote. Mallien tasoerot yleisissä tehtävissä ovat kaventuneet, ja ne vaihtelevat julkaisusykleittäin. Tuotteiden ympärillä olevat erot ovat sen sijaan rakenteellisia ja muuttuvat hitaammin.

Kysymys "mikä on paras" olettaa myös, että käyttötapaukset ovat samanlaisia. Ne eivät ole. Assistentti, joka on erinomainen pitkien dokumenttien tiivistämiseen, voi olla kelvoton reaaliaikaiseen tiedonhakuun, ja päinvastoin. Sama assistentti voi olla käyttökelvoton työpaikallasi siksi, että työnantaja ei ole hyväksynyt sen ehtoja.

Valitse assistentti sen mukaan, mihin se pääsee käsiksi ja millä ehdoilla, älä sen mukaan kuka voitti viimeisimmän testin.

Ominaisuudet, jotka oikeasti erottavat assistentit

Konteksti-ikkuna on se määrä tekstiä, jonka malli voi pitää mielessään yhdellä kertaa: keskusteluhistoria, liitetyt tiedostot ja vastaus yhteensä. Pieni ikkuna näkyy siinä, että assistentti unohtaa keskustelun alun tai vastaa vain osaan pitkästä dokumentista. Ikkunan koko ilmoitetaan tokeneina, ja karkea suhdeluku suomessa on huonompi kuin englannissa, koska suomen sanat pilkkoutuvat useampaan osaan. Perusmekanismi on selitetty artikkelissa miten kielimalli toimii.

Hakuyhteys verkkoon ratkaisee, voiko assistentti kertoa asioista, jotka ovat tapahtuneet sen opetusaineiston keräämisen jälkeen. Ilman hakua vastaukset perustuvat muistiin, jolloin tuoreet luvut, hinnat ja aikataulut ovat epäluotettavia. Haun kanssakin kannattaa tarkistaa, näyttääkö assistentti lähdelinkit vai vain väittää hakeneensa.

Tiedostojen ja kuvien käsittely vaihtelee paljon. Toiset lukevat PDF:n tekstinä, toiset ymmärtävät myös taulukot ja kaaviot kuvana. Skannattu paperi, jossa ei ole tekstikerrosta, on hyvä testi: se erottaa aidon kuvan ymmärtämisen pelkästä tekstin poiminnasta.

Koodin suorittaminen tarkoittaa, että assistentti kirjoittaa ohjelman ja ajaa sen eristetyssä ympäristössä. Tämä muuttaa laskutehtävät ja tiedostomuunnokset luotettaviksi, koska tulos syntyy laskennasta eikä ennustamisesta. Ilman sitä numeeriset vastaukset ovat arvauksia.

Agenttitoiminnot tarkoittavat, että assistentti tekee monivaiheisia tehtäviä itsenäisesti: selaa sivuja, täyttää lomakkeita, käyttää muita ohjelmia. Hyöty on suuri ja riski myös, koska virhe monistuu ilman välitarkistusta.

Muisti tarkoittaa tietoja, jotka säilyvät keskustelujen välillä. Se säästää toistoa mutta myös kerää sinusta profiilin. Tarkista, näetkö tallennetut muistot listana ja voitko poistaa niitä yksitellen.

Tunnettuja tuotteita tästä joukosta ovat esimerkiksi OpenAI:n ChatGPT, Anthropicin Claude, Googlen Gemini, Microsoftin Copilot, Mistralin Le Chat ja Perplexity. Lisäksi on avoimin painoin julkaistuja malleja, joita voi ajaa omalla koneella tai omalla palvelimella. Tämä on luettelo, ei suositus.

Datan käsittely: opetuskäyttö, sijainti ja yritysehdot

Tärkein ero assistenttien välillä ei näy käyttöliittymässä. Se on ehdoissa.

Kysy kolme asiaa. Käytetäänkö keskustelujani mallin opettamiseen, ja voinko kieltää sen. Missä data käsitellään ja säilytetään. Kuinka kauan se säilyy, ja mitä tapahtuu kun poistan keskustelun.

Vastaukset eroavat usein enemmän saman toimittajan tuoteversioiden välillä kuin eri toimittajien välillä. Ilmaisissa ja kuluttajaversioissa keskustelut käytetään tavallisemmin opetukseen, ja kieltäminen on asetus, joka pitää käydä kytkemässä. Yritys- ja työtilaversioissa opetuskäyttö on tyypillisesti oletuksena pois päältä ja mukana on sopimusehdot henkilötietojen käsittelystä. Jos käsittelet asiakastietoja, tämä ero ratkaisee koko valinnan.

Sama koskee sijaintia. Osa palveluista tarjoaa EU-alueen käsittelyn, osa ei. Aihetta käsitellään laajemmin artikkelissa tekoäly ja omat tietosi, ja pilvipalvelujen perusrakenne on selitetty artikkelissa pilvipalvelu.

Suomen kielen taso ja miksi se vaihtelee

Suomenkielinen laatu vaihtelee assistenttien välillä enemmän kuin englanninkielinen. Syitä on kolme, ja ne ovat rakenteellisia.

Ensinnäkin aineiston määrä. Suomea on internetissä murto-osa siitä mitä englantia, joten malli on nähnyt vähemmän esimerkkejä suomalaisesta virkerakenteesta ja termistöstä. Toiseksi pilkkominen: malli käsittelee tekstiä tokeneina, ja suomen taivutusmuodot pilkkoutuvat useampaan tokeniin kuin englannin sanat. Sama teksti maksaa siis enemmän ja vie enemmän tilaa konteksti-ikkunassa. Kolmanneksi jälkiviimeistely: se palaute, jolla malli opetetaan vastaamaan hyödyllisesti, kerätään pääosin englanniksi, joten tyylin ja sävyn hienosäätö siirtyy suomeen epätäydellisesti.

Käytännön oireet ovat tunnistettavia: englannista käännetyn kuuloinen sanajärjestys, väärät yhdyssanat, viranomaisnimien ja lakitermien sekoittuminen sekä sujuvasti kirjoitettu mutta väärä suomalainen konteksti. Viimeinen on vaarallisin, koska se on kaikkein vaikeinta huomata.

Suomen kieltä varten on tehty myös kohdennettua työtä. Esimerkiksi TurkuNLP:n ja kumppaneiden LUMI-supertietokoneella opettamat avoimet suomea sisältävät mallit ovat julkisesti dokumentoituja. Ne eivät kilpaile suurten kaupallisten assistenttien kanssa kaikessa, mutta ne osoittavat, että kielikohtainen aineisto vaikuttaa tulokseen.

Hinnoittelu, saatavuus ja alustariippuvuus

Hinnoittelumalleja on kolme, ja ne vastaavat eri käyttöä.

Kiinteä kuukausimaksu käyttäjää kohti on tavallisin kuluttajakäytössä. Se on ennustettava, mutta rajat piilottavat todellisen kapasiteetin: nopeusrajoitukset, viestikiintiöt ja se, että kalleimmat toiminnot ovat vain ylemmissä tasoissa. Käyttöperusteinen hinnoittelu tokenien mukaan on rajapintakäytön malli. Se on halpa satunnaiseen käyttöön ja kallis jatkuvaan. Yrityssopimus lisää hallinnan, lokituksen ja käsittelysopimukset, ja maksaa enemmän käyttäjää kohti.

Kolme kustannusta jää usein huomaamatta. Suomenkielinen teksti kuluttaa enemmän tokeneita kuin englanninkielinen, joten käyttöperusteinen lasku on suomeksi suurempi samasta työstä. Pitkä keskustelu lähettää koko historian uudelleen joka viestillä, joten kustannus kasvaa keskustelun pituuden mukana. Agenttitoiminnot tekevät useita kierroksia yhden pyynnön aikana.

Alustariippuvuus on oma erillinen kysymyksensä. Jos assistentti on rakennettu tiiviisti yhden toimisto-ohjelmiston tai käyttöjärjestelmän sisään, sen arvo on suuri niille jotka ovat siinä ekosysteemissä ja pieni muille. Tarkista myös, onko palvelu saatavilla Suomessa ja sillä kielellä, jolla työskentelet: kaikkia toimintoja ei julkaista kaikilla markkinoilla samaan aikaan.

Miksi vertailutestit vanhenevat ja mittaavat väärää asiaa

Julkiset vertailutestit eli benchmarkit ovat kiinteitä kysymyskokoelmia, joilla malleja pisteytetään. Ne ovat hyödyllisiä tutkimuksessa ja huonoja ostopäätöksissä. Syitä on neljä.

Aineiston vuotaminen. Kun testi on julkinen, sen kysymykset ja vastaukset päätyvät ennen pitkää opetusaineistoon. Malli voi tällöin muistaa vastauksen sen sijaan että ratkaisisi tehtävän, ja pistemäärä nousee ilman että kyky paranee.

Optimointi mittariin. Kun jokin testi on tarpeeksi arvostettu, siitä tulee kehityksen tavoite. Mittarista tulee tavoite ja se lakkaa mittaamasta sitä, mitä sen piti mitata.

Kapea otos. Testit koostuvat useimmiten monivalinnoista ja lyhyistä tehtävistä englanniksi. Sinun työsi on todennäköisesti pitkää, sotkuista, suomenkielistä ja sidoksissa omiin tiedostoihisi. Korkea pistemäärä ei kerro tästä mitään.

Tuotteen ja mallin ero. Testit mittaavat mallia, mutta sinä käytät tuotetta. Käyttöliittymä, hakuyhteys, tiedostotuki ja rajoitukset vaikuttavat lopputulokseen usein enemmän kuin mallin pistemäärä.

Vertailutesteistä on silti hyötyä yhteen asiaan: ne kertovat karkean tason siitä, ovatko ehdokkaat samassa sarjassa. Jos ero on valtava, se on todellinen. Jos ero on muutama prosenttiyksikkö, se on kohinaa.

Oma vertailutesti kymmenessä minuutissa

Tämä on artikkelin tärkein osio. Idea on yksinkertainen: älä lue vertailuja, tee omasi. Ota viisi tehtävää omasta työstäsi, anna täsmälleen sama teksti jokaiselle ehdokkaalle ja pisteytä tulokset. Kymmenen minuuttia riittää kolmen assistentin karsintaan.

Valitse tehtävät näin. Kaikkien pitää olla oikeaa työtäsi, ei keksittyjä koekysymyksiä, ja sinun pitää pystyä itse arvioimaan vastauksen oikeellisuus.

1. Tiivistä pitkä oma dokumentti. Liitä mukaan aito PDF tai muistio, vähintään kymmenen sivua. Pyydä tiivistelmä ja kolme päätöstä, jotka dokumentista seuraa. Testaa tiedostojen käsittelyä ja konteksti-ikkunaa.
2. Kysy jotain, mikä on muuttunut hiljattain. Esimerkiksi jonkin viranomaisohjeen tai hinnaston nykyinen sisältö. Vaadi lähdelinkit. Testaa hakuyhteyttä ja sitä, myöntääkö assistentti kun ei tiedä.
3. Anna sotkuinen suomenkielinen teksti muokattavaksi. Oikea sähköposti tai muistiinpanot puhekielellä. Pyydä siistiä asiatekstiä, joka säilyttää merkityksen. Testaa suomen kielen tasoa ja sitä, keksiikö malli asioita lisää.
4. Anna laskutehtävä oikeilla luvuilla. Esimerkiksi hinnastosi kate eri alennusprosenteilla, tai budjetin jakauma. Testaa, laskeeko assistentti oikein ja näyttääkö se välivaiheet vai arvaako se.
5. Pyydä jotain, mitä se ei voi tietää. Esimerkiksi yrityksesi sisäinen lukema tai eilinen tapahtuma ilman lähdettä. Testaa rehellisyyttä. Oikea vastaus on kieltäytyminen, ei vakuuttava arvaus. Ilmiö on selitetty artikkelissa miksi tekoäly keksii asioita.

Pisteytä jokainen tehtävä nollasta kahteen: 0 = väärin tai käyttökelvoton, 1 = käyttökelpoinen korjausten jälkeen, 2 = käyttökelpoinen sellaisenaan. Laske summa, mutta katso myös jakaumaa. Assistentti, joka saa 2 pistettä neljästä tehtävästä ja 0 rehellisyystehtävästä, on huonompi valinta kuin tasaisesti ykkösiä saava, koska yksi vakuuttava keksitty vastaus maksaa enemmän aikaa kuin neljä hyvää säästää.

Käytä täsmälleen samaa tekstiä jokaiselle ehdokkaalle. Jos muotoilet kehotetta uudestaan, testaat omaa kirjoittamistasi etkä assistenttia. Kehotteiden rakentamisesta kerrotaan artikkelissa hyvän promptin rakenne ja valmis tarkistuslista on työkalussa promptin tarkistuslista.

Ominaisuustaulukko

Toista testi noin puolen vuoden välein tai kun vaihdat työtehtäviä. Se on nopeampaa kuin uusien vertailuartikkeleiden lukeminen, ja tulos koskee sinua eikä keskivertokäyttäjää. Läpinäkyvyysvelvoitteet, jotka koskevat assistenttien tarjoajia, on käsitelty artikkelissa EU:n tekoälyasetus.