Korkean riskin tekoäly: mitkä järjestelmät ja mitkä velvoitteet

Korkean riskin luokka herättää turhaa pelkoa ja liian vähän huomiota yhtä aikaa. Turhaa pelkoa siksi, että moni luulee luokituksen tarkoittavan käyttökieltoa. Liian vähän huomiota siksi, että moni organisaatio ostaa valmiin ohjelmiston ja olettaa vastuun jäävän myyjälle. Kumpikaan oletus ei pidä paikkaansa.

Asetuksen logiikka on tuoteturvallisuudesta tuttu. Kun tuote voi aiheuttaa vahinkoa, sitä ei kielletä vaan siltä vaaditaan todistettu turvallisuus: suunnittelun dokumentointi, testaus, käyttöohje ja jäljitettävyys. Tekoälyasetus siirtää saman mallin päätöksentekoon, joka vaikuttaa ihmisen työhön, opiskeluun, rahaan tai oikeuksiin. Riskiluokat kokonaisuutena ja aikataulu on käsitelty artikkelissa EU:n tekoälyasetus, ja ne käyttötavat, joita ei sallita ehdoillakaan, on koottu artikkeliin kielletyt tekoälykäytännöt. Tässä katsotaan luokkaa erityisesti sen organisaation kannalta, joka ottaa järjestelmän käyttöön.

Kaksi reittiä korkeaan riskiin

Ensimmäinen reitti kulkee tuoteturvallisuuden kautta. Jos tekoäly on turvallisuuskomponentti tuotteessa, jota EU:n olemassa oleva tuotelainsäädäntö sääntelee, tai jos se on itse tällainen tuote, se on korkean riskin järjestelmä. Kyse on esimerkiksi koneista, hisseistä, leluista, lääkinnällisistä laitteista ja ajoneuvoista. Lisäehtona on, että tuotteelle vaaditaan muutenkin kolmannen osapuolen tekemä vaatimustenmukaisuuden arviointi. Tämä reitti koskee lähinnä valmistajia, ja käytännössä tekoälyvaatimukset sulautuvat siihen sertifiointiin, joka tuotteelle jo tehdään.

Toinen reitti on käyttötarkoitusluettelo, asetuksen liite III. Se on se osa, joka koskee tavallista työnantajaa, oppilaitosta, rahoitusyhtiötä ja viranomaista.

Luettelo kertoo, että sääntely osuu sinne, missä kone vaikuttaa ihmisen pääsyyn johonkin: työhön, opiskelupaikkaan, rahaan, etuuteen tai oikeussuojaan. Hakijan näkökulma samaan asiaan on avattu artikkelissa tekoäly rekrytoinnissa.

Poikkeus, joka pudottaa järjestelmän pois luokasta

Liitteen III osuma ei automaattisesti tarkoita korkeaa riskiä. Asetuksessa on suodatin, joka koskee järjestelmiä, jotka eivät aiheuta merkittävää vahingon riskiä ihmisen terveydelle, turvallisuudelle tai perusoikeuksille. Neljä tilannetta on nimetty erikseen: järjestelmä suorittaa kapean menettelyllisen tehtävän, se parantaa ihmisen jo tekemän työn tulosta, se havaitsee poikkeamia päätöskäytännöstä korvaamatta ihmisen arviota, tai se tekee vain valmistelevan tehtävän.

Ero on käytännössä tämä. Ohjelma, joka lajittelee saapuneet hakemukset saapumisjärjestykseen tai poimii niistä yhteystiedot, tekee valmistelevaa työtä. Ohjelma, joka pisteyttää hakijat soveltuvuuden mukaan ja tuottaa lyhytlistan, ei tee. Poikkeukseen on kaksi tärkeää lisäystä: järjestelmä on aina korkean riskin, jos se profiloi luonnollisia henkilöitä, ja poikkeukseen vetoavan tarjoajan on dokumentoitava arvionsa ennen markkinoille saattamista ja rekisteröitävä järjestelmä. Poikkeus ei siis ole hiljainen ulospääsy vaan perusteltava päätös.

Mitä tarjoajalta vaaditaan

Tarjoaja on se, joka kehittää järjestelmän ja saattaa sen markkinoille omalla nimellään. Vaatimukset muodostavat kokonaisuuden, jossa jokainen osa tukee seuraavaa.

• Riskienhallintajärjestelmä on jatkuva prosessi, ei kertadokumentti: tunnetut ja ennakoitavat riskit tunnistetaan, testataan ja pienennetään koko elinkaaren ajan.
• Aineiston hallinta koskee opetus-, validointi- ja testiaineistoja. Niiden on oltava käyttötarkoitukseen nähden merkityksellisiä, riittävän edustavia ja mahdollisimman virheettömiä, ja mahdolliset vinoumat on tutkittava.
• Tekninen dokumentaatio kuvaa järjestelmän rakenteen, aineistot, testit ja rajoitukset niin, että viranomainen voi arvioida vaatimustenmukaisuuden.
• Lokitus tuottaa automaattisesti tapahtumatiedot, joista käyttö voidaan jäljittää jälkikäteen.
• Käyttöohje kertoo käyttöönottajalle tarkkuustason, tunnetut rajoitukset ja sen, miten valvonta järjestetään.
• Tarkkuus, vakaus ja kyberturvallisuus on mitoitettava käyttötarkoituksen mukaan ja ilmoitettava ohjeessa.

Näiden päälle tulevat laatujärjestelmä, vaatimustenmukaisuuden arviointi, CE-merkintä, rekisteröinti EU:n tietokantaan, markkinoille saattamisen jälkeinen seuranta ja vakavista poikkeamista ilmoittaminen.

Listasta kannattaa huomata yksi asia. Vaatimukset eivät ota kantaa siihen, mikä tekniikka on sallittua tai kuinka tarkka mallin pitää olla. Ne vaativat, että tarkkuus mitataan, rajat kirjataan ja molemmat kerrotaan sille, joka järjestelmää käyttää. Sääntely ei siis lupaa, että korkean riskin järjestelmä tekee oikeita päätöksiä. Se lupaa, että sen virheiden suuruusluokka on tiedossa ja että joku on vastuussa niiden seurannasta.

Sama ajatus näkyy siinä, kenen puoleen käännytään ongelmatilanteessa. Kun järjestelmä toimii ohjeen mukaan mutta tuottaa huonoja tuloksia, vika on tyypillisesti tarjoajan puolella. Kun järjestelmää käytetään muuhun kuin ohjeessa kuvattuun tarkoitukseen, vastuu siirtyy käyttöönottajalle. Tämä raja kannattaa lukea käyttöohjeesta ennen hankintaa, ei riidan jälkeen.

Aineiston laatu ratkaisee enemmän kuin mallin valinta

Aineistovaatimus on koko luokan tekninen ydin. Koneoppimiseen perustuva järjestelmä oppii sen, mitä aineistossa on, ja toistaa sen mitä siellä oli vinossa. Jos rekrytointimalli on opetettu organisaation aiemmilla palkkauspäätöksillä, se oppii myös ne valintakäytännöt, joita organisaatio ei enää halua jatkaa.

Asetus vaatii siksi kuvaamaan, mistä aineisto on peräisin, mitä se sisältää ja keitä se edustaa. Se vaatii myös arvioimaan puutteet: mitä ryhmiä aineistossa on vähän, mihin maantieteelliseen tai ajalliseen ympäristöön se sopii ja missä tulos ei ole luotettava. Tämä on käytännössä sama ongelma, joka on kuvattu artikkelissa tekoälyn vinoumat, mutta nyt siitä on tehty dokumentoitava velvoite.

Aineiston laadun vaatimus on myös syy siihen, miksi valmiin yleismallin päälle rakennettu ratkaisu ei automaattisesti täytä vaatimuksia. Jos et tiedä, millä aineistolla pohjamalli on opetettu, et voi kuvata sen edustavuutta. Tämä on yksi syy siihen, miksi mallitason dokumentaatiovelvoitteet ovat asetuksessa olemassa.

Ihmisen suorittama valvonta: mitä se oikeasti vaatii

Ihmisvalvonta on vaatimuksista väärinymmärretyin. Se ei tarkoita, että joku painaa hyväksy-nappia. Asetus vaatii, että järjestelmä suunnitellaan niin, että valvova ihminen pystyy tosiasiassa tekemään työnsä. Käytännössä tämä tarkoittaa neljää kykyä.

Valvojan on ymmärrettävä järjestelmän kyvyt ja rajat riittävästi, jotta hän huomaa poikkeavan toiminnan. Hänen on tunnistettava automaatiovinouma eli taipumus luottaa koneen tulokseen liikaa, erityisesti silloin kun tulos näyttää numerolta. Hänen on osattava tulkita tulos oikein, mihin liittyy suoraan mallin selitettävyys ja sen rajat. Ja hänellä on oltava valta jättää tulos käyttämättä, ohittaa se tai pysäyttää järjestelmä.

Tästä seuraa käytännön johtopäätös, joka maksaa organisaatiolle enemmän kuin dokumentaatio: valvojalla on oltava aikaa ja osaamista. Jos sama ihminen hyväksyy satoja ehdotuksia päivässä, valvonta ei täytä vaatimusta, vaikka prosessikaavioon olisi piirretty tarkistusvaihe. Tietyissä biometrisen tunnistuksen käytöissä asetus vaatii lisäksi, että kaksi pätevää ihmistä vahvistaa tuloksen erikseen.

Käyttöönottajan omat velvoitteet

Käyttöönottaja on organisaatio, joka käyttää järjestelmää omassa toiminnassaan. Velvoitteita on vähemmän kuin tarjoajalla, mutta ne ovat itsenäisiä eikä niitä voi sopia pois toimittajan kanssa.

1. Käytä järjestelmää käyttöohjeen mukaisesti. Ohjeen vastainen käyttö siirtää vastuun sinulle.
2. Nimeä valvonnasta vastaavat ihmiset ja varmista, että heillä on osaaminen, koulutus ja valtuudet puuttua.
3. Varmista, että syöttötiedot ovat käyttötarkoitukseen nähden merkityksellisiä ja riittävän edustavia siltä osin kuin hallitset niitä.
4. Seuraa toimintaa ja ilmoita tarjoajalle ja viranomaiselle, jos havaitset riskin tai vakavan poikkeaman. Keskeytä käyttö, jos riski on ilmeinen.
5. Säilytä automaattiset lokit vähintään asetuksen edellyttämän ajan siltä osin kuin ne ovat hallinnassasi.
6. Kerro asiasta ihmisille. Työpaikalla on ilmoitettava työntekijöiden edustajille ja asianomaisille työntekijöille ennen käyttöönottoa, ja päätöksen kohteena olevalle ihmiselle on kerrottava, että häntä koskevassa asiassa käytetään korkean riskin järjestelmää.
7. Tee perusoikeusvaikutusten arviointi, jos olet julkisyhteisö tai julkisia palveluja tarjoava toimija taikka käytät järjestelmää luottokelpoisuuden arviointiin tai henki- ja sairausvakuutusten riskiarviointiin.

Lisäksi asetuksessa on erillinen osaamisvelvoite: sekä tarjoajan että käyttöönottajan on huolehdittava henkilöstönsä riittävästä tekoälyn lukutaidosta. Käytännön ohjeeksi tämä kannattaa kirjoittaa samaan asiakirjaan kuin muutkin pelisäännöt, joita on käsitelty artikkelissa tekoälyn käyttöohje työpaikalle.

Yksi ansa kannattaa tuntea. Käyttöönottajasta tulee tarjoaja kaikkine velvoitteineen, jos se laittaa järjestelmään oman nimensä tai tavaramerkkinsä, tekee siihen merkittävän muutoksen tai muuttaa käyttötarkoitusta niin, että järjestelmästä tulee korkean riskin järjestelmä. Sisäinen kehitystyö valmiin työkalun päälle voi siis siirtää vastuun huomaamatta.

Mitä ihminen saa tietää itseään koskevasta päätöksestä

Asetus antaa päätöksen kohteelle oikeuden saada käyttöönottajalta selkeä ja merkityksellinen selitys tekoälyjärjestelmän roolista päätöksentekomenettelyssä ja päätöksen pääasiallisista tekijöistä. Oikeus koskee liitteen III korkean riskin järjestelmiä, kun päätöksellä on oikeusvaikutuksia tai se vaikuttaa merkittävästi terveyteen, turvallisuuteen tai perusoikeuksiin.

Tämä oikeus on eri asia kuin tietosuoja-asetuksen sääntely automaattisesta päätöksenteosta, mutta ne toimivat rinnakkain ja usein samassa tilanteessa. Kun järjestelmä käsittelee henkilötietoja, molemmat säädökset ovat voimassa, ja voit vedota myös rekisteröidyn oikeuksiin. Käytännössä hyvä selitys kertoo, mitä tietoja päätöksessä käytettiin, mikä oli koneen osuus ja kuka ihminen teki lopullisen ratkaisun.

Näin selvität oman järjestelmäsi tilanteen

1. Kirjaa käyttötarkoitus yhdellä lauseella ja vertaa sitä liitteen III luetteloon. Älä vertaa tuotteen markkinointitekstiä vaan sitä, mihin te käytätte sitä.
2. Kysy toimittajalta kirjallisesti, onko järjestelmä luokiteltu korkean riskin järjestelmäksi ja millä perusteella. Pyydä käyttöohje ja tekninen kuvaus ennen hankintapäätöstä.
3. Tarkista, saatteko lokit haltuunne ja miten pitkään ne säilyvät. Ilman lokeja et voi täyttää omaa velvoitettasi.
4. Nimeä valvoja, määritä hänelle aikaa ja kirjaa, missä tilanteissa hän saa ohittaa koneen ehdotuksen.
5. Suunnittele tiedottaminen: henkilöstölle ennen käyttöönottoa, päätöksen kohteille käytön aikana.
6. Kirjaa, kuka vastaa mistäkin, jos järjestelmää muokataan. Muutos voi tehdä teistä tarjoajan.

Jos jokin näistä kohdista jää auki, ratkaisu ei ole kieltää tekoälyn käyttöä kokonaan vaan rajata käyttötarkoitus sellaiseksi, joka ei osu liitteeseen III. Ero on pieni tekstissä ja suuri velvoitteissa: hakemusten lajittelu saapumisjärjestykseen on eri asia kuin hakijoiden pisteytys.