Gå til innhold

Lov&Data

2/2024: Artikler
25/06/2024

KI-forordningen: Klassisk produktregulering i møte med grunnleggende rettigheter

Av Lars Arnesen, stipendiat ved Senter for rettsinformatikk (SERI), Universitetet i Oslo. Arnesen har tidligere jobbet som advokat i advokatfirmaet SANDS (2016–2021). Fra 2021 til 2023 har han jobbet som internadvokat i det norske helseteknologiselskapet Dignio, primært med personvern og regulatoriske spørsmål knyttet til medisinsk utstyr. Han jobber nå på et forskningsprosjekt om kunstig intelligens i helsektoren.

Forordningen om kunstig intelligens (KI-forordningen) er endelig vedtatt, og vil tre i kraft i EU i løpet av sommeren 2024.(1)EU-parlamentet vedtok forordningen 13. mars, etterfulgt av EU-rådets godkjenning 14. mai 2024. Forordningen trer i kraft 20 dager etter at den er innført i Official Journal of the European Union. Det foreligger allerede en rekke grunnleggende innføringer om kunstig intelligens og KI-forordningen, gjennom et utall artikler, foredrag og podkaster. Denne artikkelen søker å gå litt mer ned i detaljene, særlig rundt delt ansvar mellom tilbyder (provider) og bruker (deployer), med søkelys på det delte ansvaret for å ivareta menneskelig tilsyn, og den delte plikten til å vurdere grunnleggende rettigheter før KI-systemer tas i bruk.

Artikkelen fokuserer kun på reglene som gjelder for KI-systemer med «høy risiko». Dette gjelder blant annet KI-systemer som brukes i en lang rekke regulerte produkter, fra heis og taubaner, til fly, biler, og medisinsk utstyr.(2)KI-forordningen artikkel 6(1)(a). Det er i tillegg en rekke bruksformål som er regulert som «høy risiko», slik som KI-systemer som brukes for å avgjøre hvem som har rett til velferdsgoder og trygdeytelser, eller KI-systemer som brukes til å screene kandidater ved nyansettelser.(3)KI-forordningen artikkel 6(1)(b).

Artikkelen identifiserer en kollisjon mellom to rettstradisjoner, men uten å gi et endelig svar på hvordan denne kollisjonen skal løses.

Delt ansvar mellom tilbyder og bruker

KI-forordningen er i utgangspunktet bygget opp på samme måte som andre produktreguleringer, slik som leker og medisinsk utstyr.(4)KI-forordningen er bygd opp i tråd med New Legislative Framework (NLF), på lik linje med andre produktreguleringer i EU. Dette innebærer, kort oppsummert, at tilbyderen må definere et bruksformål for KI-systemet. Tilbyderen må deretter definere en rekke funksjonelle og ikke-funksjonelle krav, som KI-systemet må oppfylle for å fungere trygt etter sitt tiltenkte formål. KI-systemet må til slutt gjennomgå en samsvarsvurdering (conformity assessment). En vellykket samsvarsvurdering gir rett til å merke KI-systemet med et CE-merke, som gir full tilgang til det europeiske markedet.

Det som så langt er beskrevet er klassisk produktreguleringsmetodikk, der forpliktelsene for å oppnå CE-merket ligger på tilbyderen av KI-systemet. Klassiske produktreguleringer er i utgangspunktet kun relevante for produsentene, enten det gjelder KI-systemer, leker eller medisinsk utstyr. Som bruker av en leke, enten du er barn eller voksen, skal du kunne stole på at leken er trygg å leke med uten å iverksette egne sikkerhetstiltak, såfremt leken er CE-merket. Heller ikke profesjonelle leketøysbrukere, slik som for eksempel barnehager, har særskilte forpliktelser etter produktregelverket for leker.(5)Direktiv 20009/48/EC (leketøydirektivet). Det samme gjelder medisinsk utstyr. Som bruker av medisinsk utstyr, enten du er forbruker eller profesjonell bruker, har du ingen forpliktelser etter forordningen.(6)Men profesjonelle brukere i Norge har forpliktelser etter håndteringsforskriften, se også fotnote 20-21.

KI-forordningen skiller seg fra klassiske produktreguleringer, ved å gi omfattende forpliktelser til profesjonelle brukere («deployers»). Begrepsbruken har variert i løpet av forhandlingene om forordningen, fra «user» i det opprinnelige forslaget fra EU-kommisjonen,(7)EU-kommisjonen 21. april 2021 (COM/2021/206 final). til «deployer» i den endelig vedtatte versjonen.(8)Versjonen vedtatt av EU-rådet 14. mai 2024. Det er ventet at forordningen snarlig publiseres i Official Journal of the European Union. Begrepet «deployer» viser til enhver person eller virksomhet som bruker et KI-system, med unntak av bruk til rent personlige, ikke-profesjonelle aktiviteter.(9)KI-forordningen artikkl 3(4). Forordningen har ingen egen definisjon av «user.» Den endelige versjonen er ennå ikke oversatt til norsk, svensk eller dansk. Begrepet «profesjonell bruker» eller kun «bruker» er derfor brukt i denne artikkelen, som den foreløpig uoffisielle norske oversettelsen av «deployer.»(10)KI-forordningen definerer kun «deployer», og har ingen egen definisjon av «user». Ikke-profesjonelle brukere er ikke omfattet av forordningen, og er derfor ikke definert. I denne artikkelen bruker jeg derfor begrepet «bruker» som en betegnelse på profesjonnelle brukere («deployers»).

Profesjonelle brukere av KI-systemer er ansvarlig for å sette seg inn i instruksjonene fra tilbyderen.(11)KI-forordningen Artikkel 26(1). I tillegg gjelder blant annet krav til menneskelig tilsyn, dataforvaltning, varsling, overvåking, logging og vurdering av grunnleggende rettigheter.(12)Artikkel 26 og 27. Det nærmere innholdet i disse forpliktelsene varierer fra KI-system til KI-system, og er avhengig av bruksformål og instruksjonene gitt av tilbyderen.

En samling ulike produktmerker, blant annet faresymboler, digital illustrasjon.

Illustrasjon: Colourbox.com

Menneskelig tilsyn – et delt ansvar

Ansvaret for menneskelig tilsyn mellom tilbyder og bruker er delt. På den ene siden er tilbyderen ansvarlig for å designe og utvikle et system som legger til rette for menneskelig tilsyn. KI-systemet skal i henhold til artikkel 14(1) være «designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.» Tiltakene som tilbyderen er ansvarlig for er i hovedsak todelt, og består av innebygde tiltak, samt tiltak som er «appropriate to be implemented by the deployer.» Innebygde tiltak gjelder så fremt de er «technically feasible.»(13)Artikkel 14(3).

På den andre siden er brukeren ansvarlig for å føre menneskelig tilsyn med KI-systemet, i tråd med tilbyderens instruksjoner.(14)Artikkel 26(2). I henhold til artikkel 26(2) skal brukeren ha «the necessary competence, training and authority, as well as the necessary support.» Kravet til menneskelig tilsyn innebærer at brukeren må ha nødvendig kompetanse til å kunne forstå hvordan KI-systemet fungerer, for å kunne oppdage feil, svakheter og uforutsette hendelser.(15)Artikkel 14(4)(a). Brukeren skal også ha nødvendig kompetanse til å kunne å kunne intervenere og avbryte systemet, ved behov.(16)Artikkel 14(4)(e).

Tilbyderen skal altså designe systemet med innebygd menneskelig tilsyn, så fremt det er «technically feasible,» og for øvrig har brukeren ansvar for å iverksette og implementere nødvendige tiltak, i tråd med tilbyderens instruksjoner. Tilbyderen kan utvikle et system som enten krever svært høy, eller svært lav grad av menneskelig tilsyn fra brukeren. Hva som er «technically feasible» vil kunne avhenge av hvilken type maskinlæringsmetode som er benyttet, og hva som er formålet med KI-systemet. I praksis kan det bli svært komplisert å fastlegge hvor tilbyderens ansvar for menneskelig tilsyn slutter, og hvor brukerens ansvar begynner. Tilsvarende kan brukeren i varierende grad ha ansvar for dataforvaltning, varsling, overvåking og logging, avhengig av hvordan KI-systemet er designet, og hvilke instruksjoner som tilbyderen har gitt til brukeren.(17)KI-forordningen artikkel 26. Noen KI-systemer kan være svært brukervennlige, og kreve mindre kompetanse på brukersiden, mens andre systemer kan være mer komplekse. Både tilbyder og bruker kan bøtelegges, og holdes ansvarlig, for brudd på KI-forordningen.(18)KI-forordningen artikkel 99(4). Dette tilsier at brukeren bør gjennomgå den tekniske dokumentasjonen grundig, for å kartlegge hvilke forpliktelser brukeren har i det enkelte tilfelle.

I praksis kan det bli svært komplisert å fastlegge hvor tilbyderens ansvar for menneskelig tilsyn slutter, og hvor brukerens ansvar begynner.

Til sammenligning, i klassisk produktregulering, slik som for eksempel forordningen om medisinsk utstyr, ligger ansvaret på produsenten og aktører i produsentleddet, slik som importører, distributører og autoriserte representanter.(19)Forordningen om medisinsk utstyr (forordning nr. 2017/745), artikkel 10-14. Brukeren har selvsagt også et juridisk ansvar for forsvarlig bruk av medisinsk utstyr, i tråd med produsentens instruksjoner, men dette ansvaret er ikke direkte regulert av forordningen. Brukerens ansvar for medisinsk utstyr er regulert av nasjonal lovgivning, og i Norge er dette løst gjennom håndteringsforskriften.(20)Forskrift om håndtering av medisinsk utstyr (FOR-2013-11-29-1373). Håndteringsforskriften er svært enkel, og angir i hovedtrekk kun at brukeren har ansvar for å følge produsentens instruksjoner, deriblant ansvar for nødvendig opplæring.(21)Håndteringsforskriften §§ 8-12. I tillegg kommer selvsagt også den alminnelige helselovgivningen inn, med plikt til å gi forsvarlig helsehjelp.

Når skal rettighetsbrudd regnes som lovlig og akseptabelt?

Under KI-forordningen holder det ikke å kun følge tilbyders instruksjoner. Brukeren har også et selvstendig ansvar for å foreta en egen vurdering av grunnleggende rettigheter.(22)KI-forordningen artikkel 27. Denne forpliktelsen gjelder for offentlig sektor og private tilbydere av offentlige tjenester, innenfor nærmere definert områder, deriblant bruk av biometri, tilgang til utdanning og evaluering av studenter/elever, rekruttering og evaluering av ansatte, tilgang til essensielle tjenester, samt kriminalitetsbekjempelse.(23)Kravet gjelder også for private aktører som ønsker å gjennomføre kredittvurderinger, samt for evaluering av vilkårene for livs- og helseforsikring. Oppsummert gjelder forpliktelsen for det offentlige, der private aktører i hovedsak er unntatt.

Grunnleggende rettigheter viser til EUs Charter om grunnleggende rettigheter, som til dels samsvarer med Den europeiske menneskerettskonvensjon (EMK), men ikke på alle områder. Charteret har for eksempel en særskilt rett til personvern, og ikke kun privatliv, samt et mer omfattende diskrimineringsvern enn EMK.(24)Chartret artikkel 8 (personvern) og artikkel 21 (diskrimineringsvern). Det er også en rekke rettigheter i Charteret som ikke finnes i EMK. Charteret er del av EU-retten, men ikke EØS-retten.(25) Traktaten om den Europeiske Union (Lisboa-traktaten) artikkel 6. Charteret er dermed ikke inntatt i norsk rett, men får likevel indirekte virkning gjennom KI-forordningen (og annet regelverk som viser til Charteret).

Både brukeren og tilbyderen skal gjøre en vurdering av grunnleggende rettigheter. KI-forordningen fortalepunkt nr. 48 nevner at grunnleggende rettigheter blant annet omfatter retten til menneskeverd, privatliv, familieliv, personvern, ytringsfrihet, forsamlingsfrihet, diskrimineringsvern, rett til utdanning, forbrukervern, arbeiderrettigheter, rettigheter for personer med nedsatt funksjonsevne, barns rettigheter, likestilling, miljøvern, immaterielle rettigheter, og rett til en effektiv rettstat. Dette er alle forhold som tilbyderen og brukeren mulig må vurdere før KI-systemet tas i bruk.

Kravet til å vurdere grunnleggende rettigheter reiser to vesentlige spørsmål. Det første spørsmålet er hva som skjer ved avvik mellom tilbyders og brukers vurdering. Det andre spørsmålet er hva som skal regnes som en «akseptabel» risiko for rettighetsbrudd.

Avvik mellom tilbyder og bruker

Tilbyderen skal ta grunnleggende rettigheter i betraktning ved design og utvikling av KI-systemet, og tilbyderen er forpliktet til å redusere risikoen for rettighetsbrudd.(26)Artikkel 9(2) a. Risikoreduserende tiltak kan være både produktorienterte og brukerorienterte. Et brukerorientert tiltak kan for eksempel være å forplikte brukeren til å føre menneskelig tilsyn, i tråd med tilbyderens instruksjoner. Risikoen skal reduseres eller elimineres på en slik måte at risikoen er «judged to be acceptable.»(27)Artikkel 9(5). Gitt at man benytter et CE-merket KI-system, og følger tilbyders instruksjoner, regnes altså risikoen for rettighetsbrudd å være «akseptabel».

Til tross for at tilbyderen allerede har gjort en vurdering, og redusert risikoen for rettighetsbrudd til et akseptabelt nivå, skal brukeren, innenfor enkelte sektorer nevnt i KI-forordningen artikkel 27, foreta en egen vurdering av grunnleggende rettigheter. Det ligger i forpliktelsens natur at brukeren vil kunne identifisere forhold som tilbyderen ikke har fanget opp. Spørsmålet som da reiser seg, er hva som gjelder ved eventuelt avvik mellom brukers og tilbyders risikovurdering av rettighetsbrudd.

Svaret, i henhold til KI-forordningen, er trolig at tilbyders risikovurdering skal legges til grunn.(28)Dette utelukker ikke at brukeren likevel kan bli holdt ansvarlig for rettighetsbrudd på andre grunnlag. Brukeren er kun ansvarlig for å foreta en vurdering av grunnleggende rettigheter, men har ingen selvstendig plikt til å gjennomføre risikoreduserende tiltak på samme måte som tilbyderen. Så fremt KI-systemet er CE-merket, og brukeren følger tilbyders instruksjoner, er bruken lovlig. Men i tillegg til å følge tilbyders instruksjoner skal brukeren gjennomføre en vurdering av grunnleggende rettigheter på følgende måte:

  • Brukeren skal først gi en beskrivelse av hvordan KI-systemet vil bli brukt, inkludert frekvens og tidsperiode for bruken, samt fysiske personer som vil bli omfattet av bruken.(29)Artikkel 27(1) a–c.

  • Deretter skal brukeren gjøre en risikovurdering av hvilke konsekvenser bruken av KI-systemet kan ha for de fysiske personene som er omfattet.(30)Artikkel 27(1) d.

  • Brukeren skal beskrive tiltak for menneskelig tilsyn i tråd med tilbyderens instruksjoner.(31)Artikkel 27(1)e.

  • Til slutt skal brukeren beskrive tiltak som vil bli iverksatt dersom uønskede hendelser skulle inntreffe, altså i tilfelle brudd på grunnleggende rettigheter.(32)Artikkel 27(1)f.

Ved brudd på grunnleggende rettigheter skal brukeren iverksette «measures», deriblant «arrangements for internal governance and complaint mechanisms.»(33)Artikkel 27(1)f. Berørte personer skal altså få mulighet til å klage ved brudd på grunnleggende rettigheter, slik som brudd på personvernet eller diskrimineringsvernet. Det sentrale poenget med brukers vurdering av grunnleggende rettigheter er altså å identifisere berørte parter, for deretter å iverksette beredskapstiltak, i tilfelle rettighetsbrudd mot de berørte partene skulle forekomme. Det forhold at rettighetsbrudd kan forekomme er derimot akseptabelt og lovlig etter KI-forordningen, såfremt risikoen for rettighetsbrudd fra er «judged to be acceptable.»(34)Artikkel 9(5).

Akseptable rettighetsbrudd?

KI-forordningen er bygget opp ut fra en klassisk risikobasert tilnærming, der målet er å finne fram til et akseptabelt risikonivå. Risikoen for ulykker og skade kan aldri elimineres helt, og tilbyders ansvar er følgelig begrenset til å prioritere egnede tiltak ut fra estimert risiko for uønskede hendelser.

Denne metodikken passer dårlig på grunnleggende rettigheter, som i utgangspunktet er absolutte. En viss grad av rettighetsbrudd kan ikke veies opp mot andre fordeler, eller nedprioriteres for å redusere risikoen for andre uønskede hendelser. Ut fra et rettighetsperspektiv er ingen brudd på grunnleggende rettigheter akseptabelt. Et inngrep i rettigheter er kun lovlig gitt at bestemte kriterier er oppfylt, deriblant at inngrepet har hjemmel i lov.(35)Charteret om grunnleggende rettigheter, artikkel 52–54. Litt ulovlig diskriminering er ikke greit, selv om det bringer med seg fordeler. KI-systemer skal være trygge å bruke, uten fare for å bli utsatt for diskriminering eller brudd på andre grunnleggende rettigheter. Til tross for dette bygger KI-forordningen bygger på en logikk der en viss grad av rettighetsbrudd er akseptabelt, ut fra en tradisjonell produktbasert risikotilnærming. Brukeren, på sin side, er ansvarlig for å gjøre klart beredskapstiltak, deriblant klageadgang, til personer som er berørt av rettighetsbrudd. Denne forpliktelsen gjelder likevel kun for en begrenset gruppe brukere, og private aktører er i hovedsak unntatt.

Litt ulovlig diskriminering er ikke greit, selv om det bringer med seg fordeler.

Vurderingen av grunnleggende rettigheter kan tilforlatelig se ut til å mye til felles med personvernkonsekvensvurderinger etter artikkel 35 i personvernforordningen. Forskjellen er imidlertid at personvernforordningen verner om grunnleggende rettigheter. I tillegg gjelder personvernforordningen for alle behandlingsansvarlige, uten unntak for private aktører. Personvernkonsekvensvurderingen er ment å avdekke brudd eller fare for brudd på grunnleggende rettigheter, slik at behandlingsansvarlig kan justere behandlingsaktivitetene på en måte som unngår rettighetsbrudd.(36)Personvernforordningen artikkel 35 nr. 7. Vurderingen av grunnleggende rettigheter etter KI-forordningen, derimot, ser ut til å akseptere risikoen for en viss mengde rettighetsbrudd eller en viss type rettighetsbrudd (så lenge risikoen er akseptabel). Ut fra en klassisk risikobasert tilnærming er alvorlighetsgrad og sannsynlighet avgjørende. Det er likevel uklart hvordan et akseptabelt rettighetsbrudd skal måles, og hvilke faktorer som skal ha avgjørende betydning.

Kanskje gir dette uttrykk for en innrømmelse om at KI-systemer ikke kommer uten en risiko for brudd på grunnleggende rettigheter, og at vi må tillate en viss mengde rettighetsbrudd dersom vi samtidig ønsker å tillate bruk av KI-systemer med høy risiko. Akkurat hvor grensen mellom det akseptable og uakseptable går, gjenstår å avklare.

Noter

  1. EU-parlamentet vedtok forordningen 13. mars, etterfulgt av EU-rådets godkjenning 14. mai 2024. Forordningen trer i kraft 20 dager etter at den er innført i Official Journal of the European Union.
  2. KI-forordningen artikkel 6(1)(a).
  3. KI-forordningen artikkel 6(1)(b).
  4. KI-forordningen er bygd opp i tråd med New Legislative Framework (NLF), på lik linje med andre produktreguleringer i EU.
  5. Direktiv 20009/48/EC (leketøydirektivet).
  6. Men profesjonelle brukere i Norge har forpliktelser etter håndteringsforskriften, se også fotnote 20-21.
  7. EU-kommisjonen 21. april 2021 (COM/2021/206 final).
  8. Versjonen vedtatt av EU-rådet 14. mai 2024. Det er ventet at forordningen snarlig publiseres i Official Journal of the European Union.
  9. KI-forordningen artikkl 3(4).
  10. KI-forordningen definerer kun «deployer», og har ingen egen definisjon av «user». Ikke-profesjonelle brukere er ikke omfattet av forordningen, og er derfor ikke definert. I denne artikkelen bruker jeg derfor begrepet «bruker» som en betegnelse på profesjonnelle brukere («deployers»).
  11. KI-forordningen Artikkel 26(1).
  12. Artikkel 26 og 27.
  13. Artikkel 14(3).
  14. Artikkel 26(2).
  15. Artikkel 14(4)(a).
  16. Artikkel 14(4)(e).
  17. KI-forordningen artikkel 26.
  18. KI-forordningen artikkel 99(4).
  19. Forordningen om medisinsk utstyr (forordning nr. 2017/745), artikkel 10-14.
  20. Forskrift om håndtering av medisinsk utstyr (FOR-2013-11-29-1373).
  21. Håndteringsforskriften §§ 8-12. I tillegg kommer selvsagt også den alminnelige helselovgivningen inn, med plikt til å gi forsvarlig helsehjelp.
  22. KI-forordningen artikkel 27.
  23. Kravet gjelder også for private aktører som ønsker å gjennomføre kredittvurderinger, samt for evaluering av vilkårene for livs- og helseforsikring.
  24. Chartret artikkel 8 (personvern) og artikkel 21 (diskrimineringsvern).
  25. Traktaten om den Europeiske Union (Lisboa-traktaten) artikkel 6.
  26. Artikkel 9(2) a.
  27. Artikkel 9(5).
  28. Dette utelukker ikke at brukeren likevel kan bli holdt ansvarlig for rettighetsbrudd på andre grunnlag.
  29. Artikkel 27(1) a–c.
  30. Artikkel 27(1) d.
  31. Artikkel 27(1)e.
  32. Artikkel 27(1)f.
  33. Artikkel 27(1)f.
  34. Artikkel 9(5).
  35. Charteret om grunnleggende rettigheter, artikkel 52–54.
  36. Personvernforordningen artikkel 35 nr. 7.
Lars Arnesen
Lars Arnesen, portrett