Päättelymallit: mitä tapahtuu kun malli miettii ennen vastausta

Kun käytät tekoälyassistenttia, voit useimmissa palveluissa valita mallin, joka vastaa heti, tai mallin, joka jää ensin "miettimään". Jälkimmäinen näyttää tekevän jotain laadullisesti erilaista. Se ei kuitenkaan tee mitään, mitä tavallinen malli ei tekisi. Se tekee samaa asiaa enemmän.

Väärinkäsitys on ymmärrettävä, koska käyttöliittymä puhuu ajattelusta ja pohdinnasta. Hyödyllisempi tapa katsoa asiaa on kysyä, missä kohtaa laskenta tehdään. Tavallinen malli tekee lähes kaiken laskennan etukäteen opetuksessa ja vastaushetkellä vain vähän. Päättelymalli siirtää osan työstä siihen hetkeen, jolloin kysyt. Perusmekanismi on kummassakin sama, ja se on kuvattu artikkelissa miten kielimalli toimii.

Ajatteluketju alkoi kehotteesta ja siirtyi koulutukseen

Ilmiö havaittiin ensin kehotetekniikkana. Kun mallia pyydettiin kirjoittamaan välivaiheet auki ennen vastausta, vastaukset paranivat monivaiheisissa tehtävissä. Syy on suoraan mekanismissa: malli tuottaa yhden tokenin kerrallaan ja jokainen tuotettu token tulee osaksi sitä tekstiä, jota se seuraavaksi lukee. Välivaiheiden kirjoittaminen antaa mallille lisää laskenta-askelia ja tuo osatulokset näkyviin, jolloin niitä voi käyttää seuraavassa askeleessa.

Päättelymalleissa sama on siirretty kehotteesta itse malliin. Niitä koulutetaan jälkivaiheessa tuottamaan pitkä sisäinen ketju, kokeilemaan useampaa lähestymistapaa, huomaamaan oma virheensä ja palaamaan takaisin. Palaute kohdistuu erityisesti tehtäviin, joissa lopputuloksen oikeellisuus voidaan tarkistaa koneellisesti, kuten laskutoimituksiin ja ajettavaan koodiin. Siksi hyöty painottuu juuri niihin.

Käytännössä tämä tarkoittaa, että et enää tarvitse erillistä pyyntöä "ajattele askel kerrallaan". Päättelymalli tekee sen joka tapauksessa, ja pyyntö vain pidentää vastausta. Kehotteen muut osat, kuten tehtävä, konteksti ja muotovaatimus, ovat edelleen yhtä tärkeitä, ja niistä kerrotaan artikkelissa hyvän promptin rakenne.

Piilotettu päättely ja se, mitä sinulle näytetään

Useimmat palvelut eivät näytä koko ketjua. Sinulle näytetään joko tiivistelmä siitä tai pelkkä ilmoitus, että malli työskentelee. Syitä on useita: ketju on pitkä ja sekava, se voi sisältää keskeneräisiä ja vääriä väitteitä, ja palveluntarjoajat suojaavat sillä omaa työtään.

Tästä seuraa käyttäjälle kolme asiaa. Ensinnäkin näkemäsi tiivistelmä ei ole sama asia kuin varsinainen päättely, joten siitä ei voi päätellä, mitä malli oikeasti teki. Toiseksi päättely kuluttaa tokeneita, vaikka et näe niitä, ja ne lasketaan mukaan sekä hintaan että konteksti-ikkunaan. Kolmanneksi pitkä ketju voi täyttää ikkunaa niin, että pitkässä keskustelussa tilaa jää vähemmän muulle.

Mitkä tehtävät hyötyvät ja mitkä eivät

Hyöty ei myöskään kasva rajatta. Ketjun pidentäminen parantaa tulosta johonkin pisteeseen asti, minkä jälkeen lisäaika tuottaa lähinnä lisää tekstiä. Raja tulee eri kohdassa eri tehtävissä, ja se on syytä testata omalla työllä eikä päätellä asetuksen nimestä.

Yksinkertainen sääntö: päättely auttaa silloin, kun vastaus rakentuu vaiheista, joita voi tarkistaa. Se ei auta silloin, kun kysymys on tiedosta, mausta tai muodosta.

Matematiikka on tässä oma erikoistapauksensa. Päättely vähentää laskuvirheitä mutta ei poista niitä, koska malli laskee edelleen tekstiä ennustamalla eikä laskimena. Ero ja sen syyt on avattu tarkemmin artikkelissa miksi tekoäly laskee väärin.

Viive ja hinta: mistä oikeasti maksat

Päättely maksaa kahdella tavalla. Aikaa kuluu, koska vastausta ei ala näkyä ennen kuin ketju on valmis, ja rahaa kuluu, koska ketjun tokenit laskutetaan tyypillisesti samalla tavalla kuin vastauksen tokenit. Kysymys voi olla lyhyt ja vastaus lyhyt, mutta lasku silti moninkertainen, koska väliin jäi paljon tekstiä jota et nähnyt.

Viive ei johdu verkosta vaan laskennasta. Se ei siis parane nopeammalla nettiyhteydellä. Jos ajat mallia omalla koneellasi, sama näkyy vielä selvemmin, koska päättely vaatii pidemmän ajan samalla laitteistolla ja prosessorin ja muistin rajat tulevat vastaan nopeammin.

Kannattaa myös huomata, mihin viive osuu työskentelyssä. Pitkä odotus katkaisee ajatuksen, ja jos tehtävä vaatii useita kierroksia, odotukset kasautuvat. Yksi hidas mutta hyvä vastaus voi silti olla nopeampi kokonaisuutena kuin viisi nopeaa vastausta, joita joudut korjaamaan. Vertaa siis koko työn kestoa, älä yhden vastauksen kestoa.

Monissa palveluissa päättelyn määrää voi säätää. Asetus voi olla nimeltään päättelyn taso tai vastaava, ja se säätää sitä, kuinka pitkän ketjun malli saa tuottaa. Matala taso on usein hyvä kompromissi: se antaa osan hyödystä murto-osalla viiveestä. Hinnoittelun rakenne yleisemmin on selitetty artikkelissa tekoälypalvelun hinnoittelu.

Päättely, työkalut ja haku ovat eri asioita

Päättelymalli sekoitetaan helposti kahteen muuhun asiaan, jotka näyttävät käyttöliittymässä samalta odottamiselta.

Ensimmäinen on hakuyhteys. Kun malli hakee tietoa verkosta tai omista dokumenteistasi, se hankkii puuttuvaa tietoa. Päättely ei hanki mitään, se järjestelee sitä mikä on jo käytettävissä. Jos vastaus vaatii tuoretta tai organisaatiokohtaista tietoa, päättelymalli ei ratkaise ongelmaa, vaan lähde pitää tuoda mukaan.

Toinen on työkalujen käyttö. Malli voi ajaa koodia, laskea laskimella tai kutsua rajapintaa, ja silloin tulos on oikeasti laskettu eikä ennustettu. Tämä on eri luokan varmuus kuin pisinkään pohdinta. Laskutehtävässä työkalun käyttö on lähes aina parempi ratkaisu kuin päättelyn lisääminen.

Kolmas ero on ajallinen. Päättely tapahtuu yhden vastauksen sisällä, kun taas sinun tekemäsi tarkistus tapahtuu vastausten välissä. Näistä jälkimmäinen on ainoa, joka tuo mukaan ihmisen arvion. Se kannattaa pitää mukana silloinkin, kun malli näyttää tekevän työn perusteellisesti.

Miksi välivaiheet eivät ole todiste

Tämä on päättelymallien tärkein varaus. Ketju, jonka näet tai jonka malli kirjoittaa auki, on tekstiä, joka on tuotettu samalla tavalla kuin kaikki muukin: ennustamalla todennäköistä jatkoa. Se ei ole tallenne siitä, mitä mallin sisällä tapahtui.

Käytännössä tämä tarkoittaa kolmea asiaa:

• Ketju voi olla loogiselta rakenteeltaan moitteeton ja sisältää silti virheellisen välituloksen, joka kuljetetaan loppuun asti.
• Malli voi päätyä oikeaan vastaukseen väärää reittiä, jolloin selitys näyttää vakuuttavalta ilman että se selittää mitään.
• Selitys voi olla jälkikäteinen perustelu vastaukselle, jonka malli olisi antanut joka tapauksessa.

Pitkä ja siisti perustelu lisää siis lukijan luottamusta enemmän kuin se lisää vastauksen luotettavuutta. Sama vinouma koskee mallin ilmaisemaa varmuutta, ja siitä kerrotaan artikkelissa kun tekoäly on väärässä ja varma. Päättelymalli ei myöskään poista sepitettyjä väitteitä. Se voi vähentää niitä tehtävissä, joissa virhe on löydettävissä päättelemällä, mutta puuttuvaa tietoa se ei korvaa.

Jos vastaus on tärkeä, tarkista lopputulos itse. Käyttökelpoinen tapa on pyytää malli tarkistamaan oma vastauksensa erillisessä vaiheessa tai jakaa tehtävä osiin, jolloin jokainen välitulos on tarkistettavissa. Tämä on promptien ketjutuksen perusidea, ja se toimii myös päättelymallien kanssa.

Milloin nopea malli riittää

Nopea malli on oletusvalinta useimpaan arkikäyttöön. Valitse päättelymalli vain, kun tunnistat tehtävässä nämä piirteet:

1. Vastaus rakentuu vaiheista. Tarvitaan välituloksia, joita seuraava askel käyttää.
2. Virhe olisi kallis. Sopimusehto, lasku tai koodi, joka menee tuotantoon.
3. Ehtoja on monta yhtä aikaa. Useita rajoitteita, jotka voivat olla ristiriidassa keskenään.
4. Voit itse tarkistaa lopputuloksen. Muuten et hyödy siitä, että oikeellisuuden todennäköisyys kasvoi.

Pysy nopeassa mallissa, kun kirjoitat luonnoksia, muokkaat tekstiä, käännät, tiivistät, ideoit tai kysyt jotain sellaista, minkä oikeellisuuden näet yhdellä silmäyksellä. Näissä päättely tuottaa lähinnä odotusaikaa. Nopea malli myös tekee vuorovaikutuksesta sujuvampaa: kun vastaus tulee heti, voit korjata kysymystäsi useita kertoja siinä ajassa, jonka yksi päättelyvastaus veisi.

Rehellisyyden nimessä: ero mallityyppien välillä kapenee. Sama palvelu voi valita päättelyn määrän automaattisesti kysymyksen perusteella, jolloin jako nopeaan ja päättelevään malliin hämärtyy. Käyttäjän kannalta olennainen kysymys pysyy silti samana, ja se on kysymys tehtävästä eikä mallin nimestä.

Näin valitset tehtävän mukaan

• Aloita nopealla mallilla. Vaihda päättelyyn vasta, jos vastaus meni pieleen tavalla, joka näyttää päättelyvirheeltä eikä tiedon puutteelta.
• Jos malli ei tiedä asiaa, vaihda lähdettä äläkä mallia. Liitä dokumentti mukaan tai anna haun tehdä työ.
• Katso kelloa. Jos odotat vastausta kauan toistuvasti, säädä päättelyn taso alemmas tai palaa nopeaan malliin.
• Älä lue pitkää perustelua todisteeksi. Tarkista numerot, päivämäärät ja lähteet erikseen.
• Pilko iso tehtävä osiin. Kaksi tarkistettavaa välivaihetta on luotettavampi kuin yksi pitkä ketju, jota kukaan ei tarkista.
• Kirjaa ylös, mitä mallia ja asetusta käytit, jos työ on sellaista, että se pitää voida toistaa myöhemmin.