Tekoäly puhelimessa: laitteen oma malli vai pilvipalvelu

Puhelimen tekoälytoiminnot näyttävät ulospäin samanlaisilta riippumatta siitä, missä laskenta tapahtuu. Sanelu muuttaa puheen tekstiksi, galleria löytää hakusanalla kuvat kuiteista ja näppäimistö ehdottaa seuraavaa sanaa. Osa näistä lasketaan puhelimen omalla piirillä, osa lähetetään palvelimelle ja tuodaan takaisin. Käyttöliittymä kertoo eron harvoin, ja juuri se ero ratkaisee, mitä syöttämällesi tiedolle tapahtuu.

Yleinen käsitys menee pieleen kumpaankin suuntaan. Osa käyttäjistä olettaa, että puhelin lähettää kaiken pilveen, mikä ei pidä paikkaansa: moni arjen toiminto on ollut vuosia kokonaan laitteessa. Osa taas olettaa, että puhelimen tekoälyominaisuudet ovat määritelmällisesti paikallisia, vaikka näkyvimmät avustajatoiminnot ovat palvelinkutsuja. Tämä artikkeli käsittelee nimenomaan puhelinta. Tietokoneella ajettavat suuret mallit ja niiden muistivaatimukset käydään läpi artikkelissa paikallinen tekoäly omalla koneella.

Miksi osa malleista mahtuu puhelimeen ja osa ei

Mallin ajaminen tarkoittaa sitä, että laite lukee mallin parametrit muistista ja tekee niillä valtavan määrän kertolaskuja jokaista tuotettua yksikköä kohti. Tästä seuraa kaksi rajaa. Mallin pitää mahtua laitteen muistiin, ja laskenta pitää tehdä energialla, joka mahtuu puhelimen akkuun ja jonka tuottama lämpö ehtii johtua pois kuoresta.

Puhelimissa on nykyään erillinen piirilohko koneoppimisen laskentaan. Se ei ole nopeampi kuin tietokoneen näytönohjain, mutta se tekee saman laskennan huomattavasti pienemmällä energialla, koska se on rakennettu vain tähän tehtävään. Siksi puhelin pystyy tunnistamaan puhetta jatkuvasti ilman että akku tyhjenee tunnissa.

Mallit pienennetään laitteeseen kahdella keinolla. Ensimmäinen on koon karsiminen: laitemallissa on murto-osa palvelinmallin parametreista, ja se on koulutettu kapeaan tehtävään kuten puheentunnistukseen tai kieliparin kääntämiseen. Toinen on kvantisointi, jossa parametrit tallennetaan karkeammalla tarkkuudella ja malli kutistuu murto-osaan alkuperäisestä. Kumpikin heikentää laatua jonkin verran, ja kapeassa tehtävässä heikennys jää pieneksi.

Palvelinpuolella näitä rajoja ei ole samalla tavalla. Siellä pyörii täysikokoinen kielimalli, jonka muistintarve on kertaluokkia suurempi kuin puhelimen koko keskusmuisti. Siksi jako menee tehtävän mukaan eikä merkin tai hintaluokan mukaan: sama valmistaja ajaa toisia toimintoja laitteessa ja toisia konesalissa.

Mitkä toiminnot toimivat yleensä ilman verkkoa

Alla oleva taulukko kuvaa tyypillistä jakoa. Se ei ole lupaus mistään yksittäisestä puhelimesta, koska valmistajat siirtävät toimintoja rajan yli ohjelmistoversioiden mukana. Tarkistusohje on seuraavassa osiossa.

Karkea sääntö toimii yllättävän hyvin: mitä kapeampi tehtävä ja mitä lyhyempi vastaus, sitä todennäköisemmin se lasketaan laitteessa. Mitä enemmän tehtävä vaatii yleistä tietoa maailmasta, sitä varmemmin se lähtee verkkoon.

Raja myös liikkuu, ja liikkuu molempiin suuntiin. Kun laitemallit paranevat, toimintoja siirretään palvelimelta laitteeseen, koska se on palveluntarjoajalle halvempaa ja käyttäjälle nopeampaa. Toisaalta kun toiminto muuttuu tunnistamisesta tuottamiseksi, eli mukaan tulee generatiivinen malli, joka kirjoittaa vapaata tekstiä tai luo kuvan, sama toiminto siirtyy usein takaisin palvelimelle. Siksi kerran tehty havainto ei päde ikuisesti, ja isomman päivityksen jälkeen kannattaa tarkistaa uudelleen ne toiminnot, joilla on sinulle merkitystä.

Näin tunnistat, lähteekö tieto verkkoon

Asetusten sanamuodot ovat epämääräisiä ja markkinointiteksti puhuu mielellään laitteessa tapahtuvasta käsittelystä silloinkin, kun osa työstä tehdään palvelimella. Testaa itse, se on nopeampi kuin ehtojen lukeminen.

1. Kytke lentokonetila päälle ja varmista, että myös wifi on pois. Kokeile toimintoa. Jos se toimii normaalisti, laskenta tapahtui laitteessa.
2. Katso mitä tapahtuu ensimmäisellä käyttökerralla. Jos sovellus lataa satojen megatavujen kielipaketin tai pyytää lataamaan puhelimen verkkovirtaan, kyseessä on paikallinen malli, joka asennetaan laitteeseen.
3. Mittaa vaste karkeasti. Paikallinen tunnistus alkaa käytännössä heti. Jos vastauksen alkua joutuu odottamaan ja odotus vaihtelee verkon mukaan, kyseessä on palvelinkutsu, jonka latenssi riippuu yhteydestä.
4. Katso asetuksista sovelluskohtainen mobiilidatan ja taustadatan kulutus. Toiminto, joka siirtää sisältöä palvelimelle, näkyy siellä kulutuksena silloinkin kun sovellus on ollut auki vain hetken.
5. Lue tietosuojaselosteesta se kohta, jossa kerrotaan käsittelyn sijainnista. Jos siinä mainitaan palvelinkäsittely tai kolmas osapuoli, oletus on, että ainakin osa pyynnöistä lähtee ulos.

Yksi tarkennus: hybridiratkaisu on tavallinen. Sovellus voi tunnistaa puheen laitteessa mutta lähettää valmiin tekstin palvelimelle vastausta varten. Silloin lentokonetilassa sanelu toimii mutta vastaus ei tule. Tämä on itse asiassa hyvä rakenne, koska raakaääni ei poistu laitteesta, mutta se ei tarkoita että keskustelu olisi paikallinen.

Akku ja lämpö: mitä laskenta maksaa laitteessa

Paikallinen laskenta ei ole ilmaista, se vain maksetaan eri valuutalla. Jokainen laitteessa tuotettu token kuluttaa akkua, ja pitkä paikallinen tehtävä lämmittää puhelinta. Kun lämpötila nousee, käyttöjärjestelmä laskee kellotaajuuksia ja siirtää työtä hitaammalle piirille. Tästä syystä sama toiminto voi olla nopea kylmällä puhelimella ja tuskastuttavan hidas silloin, kun laite on ollut aurinkoisella pöydällä tai latauksessa.

Palvelinkutsu taas kuluttaa akkua radion kautta. Datan lähettäminen mobiiliverkossa on energiaa vievä toimenpide, ja huonossa kentässä puhelin nostaa lähetystehoa. Käytännössä lyhyet ja tiheät paikalliset tehtävät ovat akun kannalta halvempia kuin verkkokutsut, ja pitkät raskaat tehtävät päinvastoin.

Lämpö kannattaa ymmärtää oikein, koska siitä syntyy turhaa huolta. Puhelin on suunniteltu hidastamaan itseään ennen kuin kuumuus vahingoittaa mitään, joten lämpeneminen tekoälytehtävässä ei ole vika eikä merkki siitä, että laite olisi rikkoutumassa. Ainoa pitkän aikavälin haitta liittyy akkuun, joka kuluu nopeammin kuumana, ja sekin merkitsee vasta jos laite on jatkuvasti kuuma. Akun kulumisen mekanismi on oma aiheensa, mutta käytännön johtopäätös on lyhyt: älä aja pitkiä tekoälytehtäviä samalla kun laite on pikalatauksessa auringossa.

Kaksi muuta asiaa kannattaa tietää. Ensimmäinen on taustaindeksointi: galleriakuvien läpikäynti tekoälyhaun tarpeisiin tehdään yleensä silloin, kun laite on latauksessa ja lukittuna, juuri siksi ettei se näy akussa. Toinen on akunsäästötila, joka voi lykätä tai estää näitä taustatöitä kokonaan. Jos toiminto ei tunnu koskaan valmistuvan, syy löytyy usein sieltä. Säästöasetusten vaikutukset on käyty tarkemmin läpi artikkelissa akun säästöasetukset.

Käyttöjärjestelmän tekoälyasetukset ja niiden rajaaminen

Puhelimen tekoälyominaisuudet eivät ole yhdessä paikassa, vaan hajallaan kolmella tasolla: käyttöjärjestelmän omat toiminnot, valmistajan lisäämä avustaja ja yksittäiset sovellukset. Rajaaminen kannattaa tehdä tässä järjestyksessä, koska ylempi taso ohittaa alemman.

Käyttöjärjestelmän asetuksista löytyy tyypillisesti kytkin sille, saako avustaja lähettää pyyntöjä ulkoiselle palvelulle, ja erikseen sille, saako se lukea ruudun sisältöä tai ilmoituksia. Näppäimistön kohdalla on oma asetuksensa sille, oppiiko se kirjoittamistasi sanoista ja synkronoidaanko sanasto tiliisi. Sanelun kohdalla voi usein valita laitteessa tapahtuvan tunnistuksen, mikä lataa kielipaketin ja katkaisee ääniyhteyden palvelimelle.

Sovellustasolla ratkaisevat käyttöoikeudet. Tekoälytoiminto pääsee vain siihen, mihin sovellus pääsee, joten mikrofonin, kuvien ja sijainnin oikeuksien rajaaminen rajaa myös sen. Tämä on sama työkalu kuin muussakin yksityisyydensuojassa, ja se on käsitelty artikkelissa sovellusten käyttöoikeudet.

Erikseen kannattaa etsiä asetus, joka koskee sisällön käyttöä mallien kehittämiseen. Se on eri asia kuin toiminnon päälle jättäminen, ja se on usein oletuksena päällä. Menettely vaihtelee palveluittain, ja se käydään läpi artikkelissa näin estät tietojesi käytön opettamiseen.

Mitä paikallisuus oikeasti muuttaa tietosuojan kannalta

Kun laskenta tapahtuu laitteessa, sisältö ei siirry palveluntarjoajalle. Se on aito ja merkittävä ero, eikä sitä pidä vähätellä. Kolme varausta kannattaa silti pitää mielessä.

Ensimmäinen on synkronointi. Paikallisesti tuotettu tulos, esimerkiksi litteroitu muistiinpano tai kuvasta poimittu teksti, tallentuu tiedostoksi, ja tiedosto voi mennä pilvivarmuuskopioon. Laskenta oli paikallista, sisältö ei jäänyt laitteeseen.

Toinen on telemetria. Toiminnon käytöstä voidaan lähettää tilastotietoa ja virheraportteja, joissa voi olla otoksia syötteestä. Määrä on yleensä pieni, mutta väite "mikään ei lähde laitteesta" on tarkkaan ottaen harvoin totta.

Kolmas on se, että henkilötietojen käsittelyn säännöt eivät katoa laitteen valinnan mukana. Jos käsittelet työssäsi asiakkaan tietoja, velvoitteet pysyvät samoina riippumatta siitä, tapahtuuko inference eli mallin ajo puhelimessa vai palvelimella. Työpaikan pelisäännöistä ja rekisterinpitäjän vastuusta kerrotaan tarkemmin artikkelissa tekoäly ja tietosuoja.

Vanhempi puhelin: mikä jää pois ja mikä ei

Uusien tekoälyominaisuuksien vaatimuksissa on kaksi erillistä asiaa, jotka menevät helposti sekaisin. Paikalliset toiminnot vaativat riittävästi muistia ja sopivan piirin, joten ne rajataan usein uudempiin malleihin. Palvelinpohjaiset toiminnot eivät vaadi laitteelta juuri mitään, koska laskenta tehdään muualla, mutta ne vaativat tuetun käyttöjärjestelmäversion ja usein tilin.

Käytännössä vanhemmalla puhelimella tapahtuu tyypillisesti näin. Sanelu ja käännös toimivat, mutta hitaammin ja mahdollisesti verkon kautta laitteessa tapahtuvan tunnistuksen sijaan. Kuvahaku toimii, mutta indeksoinnin valmistuminen kestää. Uusin avustaja ei asennu, vaikka sama toiminto olisi käytettävissä selaimessa tai erillisenä sovelluksena, koska pilvipalvelu ei välitä laitteen piiristä.

Tärkein raja ei kuitenkaan ole ominaisuuslista vaan tietoturvapäivitysten saatavuus. Puhelin, joka ei enää saa päivityksiä, on ongelma riippumatta siitä, mitä tekoälytoimintoja siinä on. Asia on käsitelty artikkelissa tuen päättyminen.

Kymmenen minuutin tarkistus omalle puhelimelle

Käy nämä läpi kerran, niin tiedät mitä laitteessasi tapahtuu.

1. Avaa asetuksista tekoälyä tai avustajaa koskeva osio ja lue, mainitaanko siellä käsittely palvelimella. Kytke pois ne toiminnot, joita et käytä.
2. Etsi erikseen asetus, joka koskee sisältösi käyttöä mallien kehittämiseen, ja tee siihen tietoinen valinta.
3. Valitse sanelulle laitteessa tapahtuva tunnistus, jos vaihtoehto on tarjolla, ja lataa tarvitsemasi kielet.
4. Käy läpi mikrofonin, kuvien ja sijainnin käyttöoikeudet sovelluksittain ja poista turhat.
5. Testaa lentokonetilassa ne kolme toimintoa, joita käytät eniten, ja merkitse itsellesi kumpaan luokkaan ne kuuluvat.
6. Katso sovelluskohtainen datankulutus, jos jokin toiminto yllätti sinut testissä.

Näistä neljä ensimmäistä on kertaluonteista työtä. Testi kannattaa toistaa isomman käyttöjärjestelmäpäivityksen jälkeen, koska rajaa siirretään päivitysten mukana kumpaankin suuntaan. Jos harkitset maksullista palvelua puhelimen omien toimintojen rinnalle, kannattaa lukea myös se, miten tekoälypalvelun hinnoittelu rakentuu, koska laitteessa tapahtuva laskenta on maksuton mutta rajallinen ja palvelinlaskenta päinvastoin.