RAG vai hienosäätö: näin tekoäly saa omat tietosi käyttöön

Yleinen väärinkäsitys on, että tekoäly pitää "opettaa" tuntemaan yrityksen ohjeet, oma tutkimusaineisto tai asiakastietokanta. Siitä seuraa turhia projekteja ja pettymyksiä, koska mallin opettaminen on kallista, hidasta ja huono tapa saada faktat kohdalleen.

Todellisuudessa käytössä on kolme eri menetelmää, ja ne ratkaisevat eri ongelmia. Yksi antaa mallille tiedon kysymyksen mukana. Toinen hakee tiedon automaattisesti isosta aineistosta. Kolmas muuttaa mallin käyttäytymistä. Kun tunnistat, kumpi ongelma sinulla on, valinta on yleensä helppo.

Kolme tapaa, ja mihin kysymykseen kukin vastaa

Kaikki menetelmät nojaavat samaan mekanismiin: malli lukee kehotteen ja tuottaa jatkoa. Ero on siinä, mistä teksti kehotteeseen tulee ja onko mallin omia lukuja muutettu.

Kehotteeseen liittäminen tarkoittaa, että kopioit tai lataat dokumentin keskusteluun. Malli näkee sen kuin minkä tahansa muun tekstin.

Haku eli RAG tarkoittaa, että ohjelmisto etsii kysymykseesi sopivat kohdat aineistosta ja liittää ne kehotteeseen automaattisesti ennen kuin malli näkee kysymyksen.

Hienosäätö tarkoittaa, että mallin parametreja muutetaan opettamalla sitä lisää esimerkeillä. Malli ei tämän jälkeen näe dokumenttejasi, vaan on oppinut niistä jotain hajautetusti. Opetuksen vaiheet kokonaisuutena käydään läpi artikkelissa näin kielimalli koulutetaan.

Nyrkkisääntö: jos vastauksesta puuttuu tieto, tarvitset hakua. Jos vastauksessa on tieto mutta väärässä asussa, tarvitset hienosäätöä.

Aloita yksinkertaisimmasta: liitä dokumentti kehotteeseen

Ennen kuin rakennat mitään, kokeile liittää aineisto suoraan keskusteluun. Nykyiset konteksti-ikkunat ovat niin suuria, että pitkäkin ohje, sopimus tai raportti mahtuu kerralla mukaan.

Tämä riittää yllättävän usein. Se on ilmainen, se ei vaadi ylläpitoa, ja se on läpinäkyvä: näet itse tarkalleen, mitä malli sai luettavakseen. Kun vastaus on väärä, tiedät heti johtuiko se aineistosta vai mallista.

Rajat tulevat vastaan kolmesta suunnasta. Aineisto ei mahdu, jos dokumentteja on satoja. Kustannus kasvaa, koska koko liitetty teksti maksaa tokeneina joka kysymyksellä. Ja pitkässä syötteessä keskellä oleva tieto jää helpommin huomaamatta kuin alussa tai lopussa oleva.

Kun jokin näistä rajoista tulee vastaan säännöllisesti, on aika harkita hakua.

Näin RAG toimii vaihe vaiheelta

Haku kuulostaa monimutkaiselta, mutta se on neljä melko yksinkertaista askelta. Kolme ensimmäistä tapahtuu ennen kuin kukaan kysyy mitään.

1. Pilkkominen. Dokumentit leikataan paloiksi, tyypillisesti muutaman kappaleen mittaisiksi. Palan pitää olla tarpeeksi pieni, että se on täsmällinen, ja tarpeeksi iso, että se on ymmärrettävä ilman ympäristöään.
2. Upotusten laskeminen. Jokainen pala muunnetaan lukujonoksi, joka kuvaa sen merkitystä. Samaa asiaa käsittelevät palat päätyvät lähelle toisiaan tässä lukuavaruudessa, vaikka niissä käytettäisiin eri sanoja.
3. Tallennus vektorikantaan. Lukujonot ja niitä vastaavat tekstipalat tallennetaan hakemistoon, josta lähimmät osumat löytyvät nopeasti.
4. Haku ja vastauksen kokoaminen. Kun esität kysymyksen, siitä lasketaan sama lukujono, kannasta poimitaan lähimmät palat ja ne liitetään kehotteeseen ohjeen kanssa: vastaa vain näiden katkelmien perusteella. Malli kirjoittaa vastauksen ja usein myös viittaukset käytettyihin kohtiin.

Käyttäjälle koko ketju näkyy yhtenä asiana: kysyt kysymyksen ja saat vastauksen, jonka perässä on viittauksia dokumentteihin. Taustalla tehdään kaksi erillistä työtä, joista vain jälkimmäinen on kielimallin osuus.

Olennaista on huomata, mitä tässä ei tapahdu. Mallia ei muuteta millään tavalla. Se on sama malli kuin ennen, ja se saa tietonsa samalla tavalla kuin jos olisit kopioinut katkelmat itse. Koko älykkyys on siinä, että oikeat katkelmat löytyvät.

Miksi haku onnistuu tai epäonnistuu

Kun RAG-järjestelmä antaa huonoja vastauksia, vika on lähes aina haussa eikä mallissa. Tavallisimmat syyt ovat mekaanisia.

Palat ovat väärän kokoisia. Liian pienestä palasta katoaa asiayhteys, liian isossa oikea lause hukkuu muun sekaan.

Kysymys ja dokumentti puhuvat eri kieltä. Käyttäjä kysyy arkikielellä, dokumentti on kirjoitettu virkakielellä, eikä merkityksen samankaltaisuus riitä yhdistämään niitä.

Vastaus vaatii koko dokumentin. Kysymykseen "mitä ohjeessa muuttui" ei voi vastata poimimalla viisi katkelmaa, koska vertailu edellyttää kokonaisuutta.

Haku palauttaa liikaa tai liian vähän. Jos katkelmia otetaan mukaan kymmeniä, olennainen hukkuu joukkoon ja kustannus kasvaa. Jos niitä otetaan kaksi, vastaus jää helposti vajaaksi.

Aineisto on ristiriitainen. Jos kannassa on kolme versiota samasta ohjeesta, haku löytää ne kaikki eikä malli tiedä, mikä on voimassa. Tämä on tyypillisin syy siihen, että hyvin rakennettu järjestelmä antaa väärän vastauksen täysin vakuuttavasti.

Miksi RAG vähentää mutta ei poista hallusinaatioita

Haku parantaa tilannetta paljon, koska malli ei enää joudu turvautumaan pelkkään opetuksessa syntyneeseen muistikuvaan. Se ei silti poista ongelmaa, ja syyt kannattaa tuntea.

Malli voi tulkita oikean katkelman väärin, esimerkiksi sekoittaa ehtolauseen tai yleistää yksittäistapauksen säännöksi. Se voi myös täydentää katkelmien väliin jäävää aukkoa omasta muististaan ilman että kertoo tekevänsä niin. Jos haku ei löydä mitään relevanttia, malli vastaa silti, ellei sitä ole erikseen ohjeistettu myöntämään tyhjää tulosta.

Lähdeviitteet ovat tässä sekä apu että ansa. Ne tekevät tarkistamisen mahdolliseksi, mutta vain jos joku oikeasti avaa ne. Malli osaa muotoilla viitteen uskottavasti myös silloin kun se ei tue väitettä, ja tätä ilmiötä käsitellään erikseen artikkelissa keksityt lähteet ja linkit. Hallusinaation mekanismi itsessään avataan artikkelissa miksi tekoäly keksii asioita.

Haku siirtää luottamuksen mallista aineistoon. Se on parannus vain, jos aineisto on ajan tasalla ja ristiriidaton.

Mihin hienosäätö oikeasti sopii

Hienosäädössä esiopetettua mallia opetetaan lisää omilla esimerkeillä. Se on tehokas silloin kun haluat muuttaa mallin tapaa vastata, ei sen tietoja.

Hyviä käyttökohteita on käytännössä neljä. Vakiomuotoinen tuloste, esimerkiksi aina saman rakenteen mukainen raportti tai koneluettava kenttäjoukko. Organisaation oma äänensävy ja termistö, jota ei jaksa toistaa jokaisessa kehotteessa. Kapea luokittelutehtävä, jossa esimerkkejä on paljon ja luokat ovat vakiintuneet. Ja erikoisalan kieli, jossa mallin pitää tottua tuntemattomiin ilmaisuihin.

Huono käyttökohde on faktojen opettaminen. Malli ei tallenna opetettuja lauseita sellaisenaan vaan sulattaa ne parametreihinsa. Lopputulos on, että se muistaa asiat suunnilleen, ei tarkasti, eikä voi kertoa mistä tieto on peräisin. Kun ohje muuttuu, korjaus vaatii uuden opetuskierroksen. Tässä haku on yksinkertaisesti oikea työkalu: yhden dokumentin päivittäminen kantaan kestää hetken.

Hienosäätöä voi tehdä myös kevyesti niin, että alkuperäisiä parametreja ei muuteta vaan niiden rinnalle opetetaan pieni lisäkerros. Se pienentää kustannusta ja tekee muutoksen peruttavaksi, mutta ei muuta perusasetelmaa: menetelmä opettaa tapoja, ei faktoja.

Kustannus, ylläpito ja se mikä vanhenee

Menetelmien ero näkyy selvimmin siinä, mitä ne vaativat käyttöönoton jälkeen.

Kertakustannus ja jatkuva kustannus kannattaa erottaa toisistaan. Hienosäätö maksaa etukäteen ja on sen jälkeen halpa ajaa, koska ohjeita ei tarvitse toistaa joka kysymyksessä. Haku on halpa rakentaa mutta maksaa vähän joka kerta, koska haetut katkelmat kulkevat kehotteessa tokeneina. Pienessä käytössä ero on merkityksetön, suuressa volyymissä se voi kääntää valinnan.

Ylläpito on se kohta, joka yleensä unohtuu suunnitteluvaiheessa. Hakujärjestelmä vaatii, että joku vastaa aineiston ajantasaisuudesta: poistaa vanhentuneet versiot, korjaa ristiriidat ja tarkistaa että uudet dokumentit päätyvät kantaan. Hienosäädetty malli vaatii, että joku ylläpitää opetusaineistoa ja toistaa opetuksen aina kun pohjamalli vaihtuu.

Kenen tiedot päätyvät kenen nähtäville

Kun aineistona ovat organisaation omat dokumentit, mukana on lähes aina henkilötietoja tai luottamuksellista tietoa. Kaksi asiaa ratkaisee riskin.

Ensimmäinen on käyttöoikeudet. Hakujärjestelmä on yhtä avoin kuin sen aineisto: jos kantaan on ladattu kaikki yhteinen levy, kuka tahansa käyttäjä voi kysymyksen muotoilulla saada näkyviin palkkatietoja tai henkilöstöasioita. Oikeuksien pitää seurata dokumenttia kantaan asti, ja saman ongelman arkinen versio on kuvattu artikkelissa jakolinkit ja käyttöoikeudet.

Toinen on aineiston sisältö kehotteessa. Haetut katkelmat lähetetään mallille, eli tyypillisesti ulkopuoliselle palveluntarjoajalle. Se, mitä työtiedoista saa syöttää mihinkin palveluun, riippuu sopimuksesta ja organisaation ohjeesta, ja aihetta käsitellään artikkelissa tekoäly työpaikalla.

Kolmas, helposti unohtuva riski koskee aineistoa itseään. Jos hakukantaan päätyy dokumentti, johon on kirjoitettu mallille suunnattuja ohjeita, malli saattaa noudattaa niitä. Tämä on kehoteinjektio, ja se on hakuun kytketyn järjestelmän tyypillinen heikko kohta.

Näin valitset menetelmän omaan tarpeeseesi

Käy kysymykset läpi järjestyksessä ja pysähdy ensimmäiseen, johon vastaat kyllä.

1. Mahtuuko aineisto kehotteeseen ja pysyykö se lähes samana? Liitä dokumentti mukaan. Älä rakenna järjestelmää, jota et tarvitse.
2. Onko aineistoa paljon tai muuttuuko se usein? Rakenna haku. Aloita pienestä osajoukosta ja mittaa, löytääkö haku oikeat kohdat.
3. Ovatko vastaukset asiallisesti oikeita mutta väärän muotoisia? Kokeile ensin järjestelmäkehotetta ja esimerkkejä. Hienosäätö vasta jos sama ongelma toistuu satojen kertojen jälkeen.
4. Vaatiiko tehtävä sekä omaa tietoa että kiinteää muotoa? Käytä molempia: haku tuo faktat, hienosäätö tai kehote hoitaa muodon.
5. Onko aineistossa henkilötietoja tai liikesalaisuuksia? Ratkaise käyttöoikeudet ja sopimusasiat ennen tekniikkaa, ei sen jälkeen.

Yksi mittari kannattaa ottaa käyttöön heti alussa: kokoa parikymmentä oikeaa kysymystä, joihin tiedät vastauksen, ja aja ne läpi aina kun muutat jotain. Ilman tätä et tiedä, paransiko muutos tilannetta vai heikensikö se sitä.