Tekoälyn energiankulutus: mihin sähkö ja vesi oikeasti kuluvat

Keskustelu tekoälyn energiankulutuksesta liikkuu kahdessa ääripäässä. Toisessa yksi kysymys kielimallille esitetään ympäristörikoksena, toisessa koko asia kuitataan olemattomana. Kumpikaan ei pidä paikkaansa, koska ne puhuvat eri asioista. Yksittäisen käyttäjän kysymys on pieni tapahtuma, mutta koko järjestelmän mittakaava syntyy siitä, että kysymyksiä on valtavasti ja mallin rakentaminen on ollut raskasta jo ennen ensimmäistäkään kysymystä.

Tämä artikkeli käy läpi mekanismin: mihin sähkö fysikaalisesti menee, missä kohtaa vettä kuluu ja miksi julkisuudessa esitetyt luvut eroavat toisistaan moninkertaisesti. Tarkkoja lukuja ei tässä anneta, koska luotettavia ja vertailukelpoisia lukuja ei ole julkisesti saatavilla. Suuruusluokka ja syy ovat kuitenkin ymmärrettävissä ilman niitäkin. Konesalin palvelumallit ja pilven perusrakenne on selitetty erikseen artikkelissa pilvipalvelu selitetty.

Kaksi erilaista kulutusta samassa keskustelussa

Kaikki tekoälyn sähkönkulutus jakautuu kahteen vaiheeseen, joita ei kannata sekoittaa.

Koulutus on kertaluontoinen urakka. Malli rakennetaan käymällä läpi valtava tekstimäärä ja säätämällä miljardeja parametreja. Työ tehdään suurella määrällä laskentapiirejä, jotka käyvät täydellä teholla viikkoja tai kuukausia. Kun malli on valmis, tätä ei tarvitse toistaa.

Käyttö eli päättely on jatkuva kustannus. Joka kerta kun joku kirjoittaa kysymyksen, malli laskee vastauksen tokeni kerrallaan. Yksittäinen laskenta on murto-osa koulutuksen työstä, mutta se toistuu niin monta kertaa, että summa kasvaa suureksi. Suositun mallin kohdalla käytön yhteenlaskettu kulutus ylittää koulutuksen kulutuksen jossain vaiheessa elinkaarta, ja mitä suositumpi malli on, sitä nopeammin.

Tästä seuraa yksi vastaintuitiivinen asia. Yksittäisen käyttäjän kannalta merkitystä on sillä, kuinka paljon ja millaisia kyselyjä hän tekee, ei sillä, kuinka raskas koulutus oli. Yhteiskunnan kannalta merkitystä on molemmilla, koska uusia malleja koulutetaan jatkuvasti ja koulutusten koko on kasvanut.

Mistä koulutuksen sähkö koostuu

Koulutuksen laskentatyö skaalautuu karkeasti kahden asian tulona: kuinka monta parametria mallissa on ja kuinka monta tokenia sille syötetään opetuksessa. Kaksinkertainen malli kaksinkertaisella aineistolla vaatii moninkertaisen työn. Tämä on syy siihen, miksi suurten mallien esikoulutus on rajattu käytännössä niille, joilla on pääsy suureen konesalikapasiteettiin.

Julkisissa keskusteluissa unohtuu usein, ettei lopullinen koulutusajo ole koko lasku. Sen lisäksi kuluu sähköä epäonnistuneisiin ajoihin, pienemmillä malleilla tehtyihin kokeisiin, aineiston käsittelyyn ja suodatukseen sekä valmiin mallin arviointiin ja hienosäätöön. Jos luvussa on mukana vain viimeinen ajo, se aliarvioi todellisen kulutuksen. Aineiston valmistelun laajuutta on kuvattu artikkelissa tekoälyn opetusaineisto.

Miksi yksi kysymys on halpa mutta ei ilmainen

Vastauksen tuottamisen energia riippuu siitä, kuinka monta laskutoimitusta tarvitaan jokaista tuotettua tokenia kohti ja kuinka monta tokenia vastaukseen tulee. Käytännössä neljä asiaa ratkaisee.

Erityisen selvä ero syntyy päättelymalleissa, jotka tuottavat ennen vastausta pitkän sisäisen ajatusketjun. Ne kuluttavat monikertaisesti enemmän kuin sama malli suorassa vastaustilassa, koska tokeneita syntyy paljon enemmän. Mekanismi on kuvattu artikkelissa päättelymallit.

Toiseen suuntaan vaikuttavat mallin kevennykset. Pienempi malli, tislattu versio ja karkeampi lukutarkkuus eli kvantisointi laskevat kulutusta merkittävästi, ja monissa arkitehtävissä pieni malli riittää täysin. Sitä, mitä koko oikeastaan kertoo, on käsitelty artikkelissa mallin koko ja parametrit. Palvelut myös niputtavat useita pyyntöjä samaan laskentaerään, mikä parantaa laitteiston hyötysuhdetta huomattavasti verrattuna siihen, että jokainen kysely laskettaisiin yksin.

Konesali ei ole pelkkä siru

Laskentapiirin ottama teho ei ole koko tarina. Koko konesalin sähkönkulutukseen lasketaan mukaan palvelinten muut osat, verkkolaitteet, tallennus, sähkönsyötön häviöt ja jäähdytys. Alan vakiintunut mittari tälle on PUE, joka kertoo koko laitoksen sähkönkulutuksen suhteessa pelkkien laitteiden kulutukseen. Mittarin määritelmä on standardoitu ISO/IEC 30134 -sarjassa, jotta luvut olisivat edes periaatteessa vertailukelpoisia.

Jäähdytys on tässä ratkaiseva erä. Laskennassa käytetty sähkö muuttuu käytännössä kokonaan lämmöksi, joka pitää siirtää pois. Tehotiheys on tekoälylaitteistoissa niin suuri, että pelkkä ilmajäähdytys ei aina riitä, ja siksi nestejäähdytys on yleistynyt. Ero näkyy myös siinä, miten laitetilat rakennetaan: kun yhteen räkkiin sijoitetaan aiempaa enemmän tehoa, jäähdytys on suunniteltava laitteen tasolle asti eikä pelkästään salin ilmanvaihtona. Kylmässä ilmastossa merkittävä osa vuodesta pärjätään ulkoilmalla, mikä on yksi syy siihen, että konesaleja on rakennettu Pohjoismaihin. Suomessa syntyvää hukkalämpöä on lisäksi ohjattu kaukolämpöverkkoihin, jolloin osa energiasta päätyy hyötykäyttöön talojen lämmitykseen.

Vesi: missä sitä oikeasti kuluu

Vedenkulutus jakautuu kahteen erilliseen reittiin, ja ne sekoittuvat julkisessa keskustelussa jatkuvasti.

Suora kulutus syntyy jäähdytystavasta. Haihdutusjäähdytyksessä vettä haihdutetaan ilmaan, koska se on energiatehokas tapa siirtää lämpöä. Sähköä säästyy, mutta vettä poistuu kierrosta. Suljetussa nestejäähdytyksessä sama vesi kiertää eikä sitä juuri kulu, mutta lämmön siirtäminen vaatii enemmän sähköä. Kyse on siis vaihtokaupasta veden ja sähkön välillä, ja järkevä valinta riippuu paikasta: vesipulasta kärsivällä alueella vettä haihduttava ratkaisu on ongelma, kylmässä ja vesirikkaassa maassa ei samalla tavalla.

Välillinen kulutus syntyy sähköntuotannosta. Lauhdevoimalaitokset ja ydinvoimalat käyttävät jäähdytysvettä, ja vesivoiman altaista haihtuu vettä. Siksi konesalin vesijalanjälki riippuu myös siitä, millä sähkö on tuotettu. Tästä seuraa, että pelkkä laitoksen oma vesimittari kertoo vain osan tarinasta.

Kolmas usein unohtuva erä on laitteiden valmistus. Piirien valmistus on energia- ja vesi-intensiivistä, ja laitteiden käyttöikä on konesalissa lyhyt. Laitteiston elinkaari ja kierrätys ovat oma kysymyksensä, jota sivutaan artikkelissa sähkölaiteromun kierrätys.

Miksi julkiset luvut eivät ole vertailukelpoisia

Kun näet väitteen siitä, että yksi kysely kuluttaa tietyn verran, kysy ensin mitä lukuun on laskettu. Erot eivät ole pieniä vaan moninkertaisia.

• Rajaus. Onko mukana vain laskentapiiri, koko palvelin vai koko laitos jäähdytyksineen?
• Kohde. Onko luku laskettu kyselyä, tokenia, käyttäjää vai vuorokautta kohti?
• Laitesukupolvi. Uusi laskentapiiri tekee saman työn selvästi vähemmällä energialla kuin edellinen sukupolvi.
• Käyttöaste. Niputettu tuotantokäyttö on tehokkaampaa kuin yksittäisen kyselyn mittaus testipenkissä, ja palvelun on lisäksi pidettävä kapasiteettia valmiudessa ruuhkahuippuja varten.
• Sähkön alkuperä. Sama kilowattitunti tarkoittaa eri päästöjä eri maissa ja eri vuorokaudenaikoina.
• Mittaus vai arvio. Suuri osa julkisista luvuista on ulkopuolisten arvioita, koska mitattua tietoa ei julkaista.

Sääntely on liikkumassa hitaasti kohti parempaa tietoa. EU:n energiatehokkuusdirektiivi velvoittaa tietyn kokoiset konesalit raportoimaan energiatehokkuuttaan ja vedenkäyttöään, ja tekoälyasetus edellyttää yleiskäyttöisten mallien tarjoajilta teknisessä dokumentaatiossa tietoa mallin koulutuksen tiedossa olevasta tai arvioidusta energiankulutuksesta. Nämä eivät vielä tuota käyttäjälle kyselykohtaisia lukuja, mutta ne parantavat vertailtavuutta laitostasolla.

Kun luku esitetään ilman rajausta, se ei ole mittaustulos vaan retorinen väline.

Miksi kokonaiskulutus kasvaa, vaikka yksi kysely halpenee

Laskennan hyötysuhde on parantunut nopeasti. Uudet piirit tekevät saman työn vähemmällä energialla, mallit tiivistetään pienemmiksi ja palvelut osaavat käsitellä useita pyyntöjä yhdessä erässä. Yhden vastauksen energia on siis laskenut selvästi siitä, mitä se oli suurten kielimallien alkuvaiheessa.

Kokonaiskulutus on silti kasvanut, ja syy on tuttu muualtakin tekniikasta. Kun jokin halpenee, sitä käytetään enemmän. Halvempi vastaus tarkoittaa, että malleja liitetään hakuun, sähköpostiin, asiakaspalveluun ja taustajärjestelmiin, joissa kyselyjä syntyy automaattisesti ilman että kukaan painaa nappia. Samalla mallit tuottavat pidempiä vastauksia ja päättelevät useammin ennen vastaamista, mikä nostaa kyselykohtaista kulutusta takaisin ylöspäin.

Käytännön seuraus on, ettei tehokkuuden paraneminen yksin ratkaise kysymystä. Konesalikapasiteetin rakentaminen näkyy sähköverkon suunnittelussa ja alueellisissa liittymishakemuksissa, ja juuri siellä ratkeaa, mistä uusi sähkö tulee ja mihin lämpö menee.

Mitä voit itse tehdä ja mikä ei muutu sinun valinnoillasi

Rehellisyyden nimissä kaksi asiaa kannattaa sanoa yhtä aikaa. Yksittäisen ihmisen tekoälykäyttö on kotitalouden sähkönkulutuksessa pieni erä verrattuna lämmitykseen, autoiluun tai lentämiseen. Samalla valinnoilla on merkitystä silloin, kun sama tapa toistuu työpaikan mittakaavassa päivittäin. Näin saat hyödyn ilman turhaa kulutusta:

1. Valitse tehtävään sopivan kokoinen malli. Käännös, tiivistys ja muotoilu onnistuvat kevyellä mallilla. Säästä raskas päättelytila niihin tehtäviin, joissa se oikeasti parantaa tulosta.
2. Kirjoita kehote kerralla kunnolla. Viisi epäonnistunutta yritystä kuluttaa viisinkertaisesti. Rakenne on käyty läpi artikkelissa hyvän promptin rakenne.
3. Rajaa vastauksen pituus. Pyydä lyhyt vastaus, kun et tarvitse pitkää. Energia kertyy tuotettujen tokenien mukaan.
4. Älä liitä turhaa aineistoa mukaan. Koko pitkän dokumentin liittäminen jokaiseen viestiin lisää käsiteltävää syötettä joka kierroksella.
5. Harkitse paikallista mallia toistuviin pikkutehtäviin. Omalla koneella pyörivä pieni malli riittää moneen, ja vaihtoehtoja on käyty läpi artikkelissa paikallinen tekoäly omalla koneella.
6. Muista raskaimmat muodot. Video ja suuret kuvaerät ovat aivan eri kokoluokassa kuin tekstivastaus, joten niissä turhan toiston välttäminen tuottaa eniten.

Isot ratkaisut tehdään kuitenkin muualla: siinä, missä konesalit sijaitsevat, millä sähköllä ne käyvät, miten ne jäähdytetään ja päätyykö hukkalämpö hyötykäyttöön. Kuluttajan tärkein vaikutuskeino ei ole yksittäisen kysymyksen välttäminen vaan sen vaatiminen, että palveluntarjoajat julkaisevat vertailukelpoista tietoa. Kulutuksen näkyvä puoli, eli hinta, on käsitelty erikseen artikkelissa tekoälypalvelun hinnoittelu.