Tips fra Ildsjeler: Anskaffelse for ansvarlig KI

Det finnes mange verktøy for å hjelpe å bruke KI ansvarlig. Det mest undervurderte verktøyet er  anskaffelsesprosessen.

Som medlem av både Norges nasjonale KI-standardiseringskomité og de europeiske tekniske komitéene som utarbeider harmoniserte standarder for EUs KI-forordning, jobber jeg daglig med å gjøre abstrakte krav til "ansvarlig KI" konkrete og anvendbare. EU setter store forventninger til både utvikling og bruk av KI-systemer, og Digdir har vært en tydelig aktør i Norge med sine veiledere.

Men på organisasjonsnivå og til og med enhetsnivå, ligger den største muligheten i anskaffelser. Dette er øyeblikket hvor din organisasjon har reell forhandlingsmakt: når funksjonelle krav og forventninger formuleres til leverandører.

Lenge før KI-forordningen definerte EU syv prinsipper for pålitelig og etisk forsvarlig KI. Sammen med en kollega fra Folkehelseinstituttet har jeg oversatt disse prinsippene til konkrete spørsmål og krav som kan brukes direkte i anskaffelser.

Krav: Robusthet og sikkerhet

• Hvordan definerer dere minimumskrav til ytelse? Hva betyr «god nok»?
• Hvordan presterer systemet sammenlignet med konkurrenter?
• Hvor ofte gjentas testene? Hva skjer ved svekket ytelse?
• For språkmodeller og agenter - bruker du tilpasset sikkerhetstesting? 

Krav: Rettferidighet, mangfold og ikke-diskriminering

• Hvilke typer skjevheter (bias) har dere identifisert, og hvordan?
• Hvilke tiltak er iverksatt for å oppdage og redusere skjevheter?
• Hvilke skjevhetsmål følges, hvilke terskelverdier gjelder, og hva skjer ved brudd?
• Kan vi forvente at våre ansatte (med ulike alder, kultur, nevrodiversitet, morsmål og varierende erfaring) skal få de samme gevinster? 

Krav: Ansvarlighet

• Hva er prosedyrene for å rapportere skjevhet, feil, skade eller misnøye?
• Hvem kan melde disse inn, og hvordan følges dem opp?
• Hvordan overvåkes og kommuniseres nye feil eller sårbarheter?
• Hvordan påvirkes deres system dersom en annen leverandører (f.eks. Av en store språkmodell) melder om alvorlige problemer?
• Hvordan oppdager dere feilbruk, eller bruk i uforutsette kontekster?

Krav: Menneskelig kontroll og tilsyn 

• Hvilke beslutninger eller tiltak som tidligere ble tatt/gjort av mennesker, automatiseres nå?
• Hvordan kan brukere overstyre eller korrigere automatiserte beslutninger?
• Hvordan kan beslutninger bestrides? (også et GDPR krav!)
• Kan systemet automatisk sende lavt tillitsnivå eller sensitive saker til manuell vurdering

Krav: Transparens og sporbarhet

• Vis et eksempel der KI-output kan spores tilbake til input og kontekst.
• Kan vi forvente at det samme input skal føre til det samme output? 
• Vis hvordan prosessen fra brukerinput → prosedyr → modellversjon → output → menneskelig handling kan logges og eksporteres for revisjon.
• Hvordan logges input/output, og hvordan beskyttes personopplysninger i loggene?
• Kan en modellversjon «fryses» i en gitt periode, og vil vi få varsel før endringer?

Krav: Samfunnsnytte og miljøpåvirkning

• Hva er det estimerte miljøavtrykket av løsningen, sammenlignet med alternative (eller dagens) prosesser?
• Har dere kartlagt klima- og ressurskostnadene i leverandørkjeden?
• Er det gjort vurderinger av hvordan løsningen påvirker grupper som ikke er direkte brukere?

Krav: Personvern (et viktig krav som krever sterk kompetanse i seg selv - involvering av personvernombud i samtaler med leverandør, er gull)

• Hvordan flyter brukerdata inn og ut av systemet?
• Hvem kan ha tilgang til disse dataene?
• Har noen av deres leverandører tilgang til brukerdata?