Speilbildet av fortiden i fremtidens algoritmer

Kunstig intelligens blir ofte omtalt som nøytral, objektiv og fri for menneskelige fordommer. Det er en farlig forenkling. Maskinlæringssystemer lærer av data som er produsert gjennom tidligere menneskelige vurderinger, prioriteringer og beslutninger. Når historiske mønstre brukes som grunnlag for nye anbefalinger, kan gamle forskjeller bli videreført med høy hastighet og stor rekkevidde. En algoritme trenger ikke å være programmert med diskriminerende regler for å gi diskriminerende resultater.

Dette er særlig alvorlig i rekruttering, velferdsforvaltning, barnevern, skatteforvaltning og andre områder der en rangering eller anbefaling kan påvirke menneskers arbeid, inntekt eller rettigheter. For virksomheter som vurderer praktisk KI-rådgivning, er det derfor avgjørende å forstå hvor skjevheter oppstår, hvordan de kan oppdages og hvem som faktisk har ansvaret når systemet tar feil. Denne gjennomgangen følger hele utviklingsløpet, fra datagrunnlag til drift, og viser hvordan ledere, saksbehandlere og utviklere kan bygge mer rettferdige systemer.

Mekanismene bak skjevhetene i rekrutteringsprosesser

I en rekrutteringsmodell er det vanlig å bruke tidligere ansettelser som et mål på hva som kjennetegner en «god» kandidat. Systemet kan for eksempel trenes på søknader fra personer som tidligere ble intervjuet, fikk tilbud eller ble lenge i virksomheten. Problemet oppstår når disse historiske resultatene allerede er preget av skjev rekruttering. Dersom ledelsen over tid har ansatt flest menn fra bestemte skoler og geografiske områder, kan modellen lære at slike kjennetegn henger sammen med suksess. Resultatet blir ikke en vurdering av faktisk kompetanse, men en statistisk kopi av fortidens preferanser.

Omfanget blir tydelig i uavhengige undersøkelser. En studie omtalt av Stanford Human-Centered AI analyserte fire millioner jobbsøknader fra 3,4 millioner personer, fordelt på 1 700 stillingsutlysninger, 150 arbeidsgivere og elleve bransjer. Forskerne fant betydelige forskjeller i hvordan en leverandørs KI-verktøy vurderte søkere. Omtrent 26 prosent av svarte søkere og 15 prosent av asiatiske søkere søkte på stillinger der systemet diskriminerte mot deres rasegruppe. Forskerne anslo også at rundt 40 000 flere søknader fra svarte og asiatiske kandidater kunne ha gått videre dersom gruppene hadde blitt anbefalt i samme takt som den mest favoriserte gruppen.

En annen studie fra University of Washington illustrerer hvor lite som skal til for å endre en rangering. Forskerne byttet ut fornavn knyttet til hvite og svarte menn og kvinner på mer enn 550 reelle CV-er, og sammenlignet resultatene mot over 500 stillingsannonser. På tvers av mer enn tre millioner sammenligninger foretrakk modellene navn forbundet med hvite kandidater i 85 prosent av tilfellene, mot 9 prosent for navn forbundet med svarte kandidater. Mannlige navn ble foretrukket i 52 prosent av tilfellene, mot 11 prosent for kvinnelige navn. Funnene viser også at kombinasjonen av kjønn og etnisitet kan gi egne mønstre som ikke kan forklares ved å legge sammen to separate skjevheter.

Hvor i utviklingsløpet sniker fordommene seg inn

Algoritmisk diskriminering oppstår sjelden på ett enkelt sted. Den kan bygges inn gjennom flere små valg som hver for seg virker tekniske, men som samlet får store konsekvenser. Derfor må hele utviklingsløpet granskes, ikke bare den ferdige modellen. En modell som oppnår høy treffsikkerhet på historiske data, kan samtidig være dårlig til å behandle grupper som var sjeldne eller systematisk oversett i treningsmaterialet.

1. Datainnsamling: Første spørsmål er hvem som er representert, hvem som mangler, og hvilke situasjoner dataene beskriver. Historiske vedtak eller ansettelser kan inneholde tidligere diskriminering.
2. Merking av data: Når mennesker setter kategorier eller fasitsvar, kan egne vurderinger bli fasit for modellen. Uklare definisjoner av «egnet», «risiko» eller «suksess» gjør skjevheter vanskelige å oppdage.
3. Valg av målfunksjon: Det som måles, blir ofte viktigere enn det som egentlig burde vurderes. En virksomhet kan optimalisere for lav turnover, rask saksbehandling eller høy tilbakebetalingsgrad, selv om målet rammer enkelte grupper skjevt.
4. Modellering: Systemet finner mønstre i variablene som gir best prediksjon. Det kan inkludere forhold utviklerne ikke hadde ment skulle ha betydning.
5. Testing: En samlet gjennomsnittsscore kan skjule store forskjeller mellom grupper. Testing må derfor undersøke feil, avslag og anbefalinger separat for relevante demografiske kategorier.
6. Implementering og drift: Når praksis, befolkning eller arbeidsmarked endrer seg, kan modellen bli mindre treffsikker. En rettferdig modell må følges opp også etter lansering.

Et sentralt problem er såkalte proxy-variabler. Det er opplysninger som ikke direkte angir kjønn, etnisitet eller funksjonsnedsettelse, men som likevel kan fungere som indirekte signaler. Postnummer kan korrelere med inntekt, etnisk bakgrunn eller tilgang til utdanning. Skolebakgrunn kan gjenspeile sosial klasse. Fritidsinteresser, språkbruk og hull i CV-en kan gi modellen informasjon om alder, helse eller omsorgsansvar. At sensitive felter fjernes, betyr derfor ikke at diskriminering forsvinner.

Likestillings- og diskrimineringsombudet peker på at KI-relatert diskriminering ofte er vanskelig å oppdage fordi systemene kan være lite transparente. En modell kan bruke hundrevis av variabler som virker uskyldige hver for seg, men som samlet gjenskaper de samme forskjellene som et eksplisitt sensitivt felt ville ha gjort. Derfor bør utviklere undersøke korrelasjoner, sammenligne utfall mellom grupper og dokumentere hvorfor hver variabel er nødvendig.

Offentlig saksbehandling og samfunnskonsekvenser

I offentlig sektor kan algoritmiske beslutningsstøttesystemer bidra til bedre prioritering, raskere saksflyt og mer målrettede tjenester. De kan brukes til å sortere henvendelser, oppdage mulige feil i skatteopplysninger, støtte vurderinger i velferdsforvaltningen eller identifisere saker som trenger nærmere oppfølging. Slike verktøy kan være nyttige, men de opererer i områder der feil ikke bare er irriterende. Et feilaktig flagg kan føre til kontroll, forsinket ytelse, avslag eller økt belastning for en familie.

Risikoen er særlig stor når modellen bygger på historiske kontrollmønstre. Hvis en bestemt gruppe tidligere er kontrollert oftere, vil systemet kunne lære at gruppen er «mer risikofylt». Da oppstår en selvforsterkende sirkel: Gruppen kontrolleres mer, flere avvik registreres, og de nye dataene brukes som begrunnelse for enda mer kontroll. Marginaliserte personer kan dermed oppleve en offentlig tjeneste som mistenkeliggjørende, selv når systemet presenteres som nøytralt.

Forskning på algoritmisk støtte i beslutninger med høy konsekvens viser at tekniske løsninger alene ikke sikrer rettferdighet. En studie av praksis i offentlig sektor fremhever behovet for verktøy som passer inn i organisasjonens faktiske arbeidsprosesser, og som hjelper både ledere og saksbehandlere med å oppdage risiko. KS anbefaler i sine rammer for KI i journalsystemer blant annet dokumentasjon av treningsdata, validering, bias-testing, feilkilder, logging, modellversjoner og mulighet for menneskelig overstyring.

• Transparens: Det må være synlig når en algoritme har bidratt til en anbefaling eller prioritering.
• Etterprøvbarhet: Virksomheten må kunne rekonstruere hvilke data, regler og modellversjoner som påvirket resultatet.
• Forklarbarhet: Den berørte personen og saksbehandleren må få en forståelig begrunnelse, ikke bare en teknisk sannsynlighetsscore.
• Menneskelig kontroll: Saksbehandleren må ha reell mulighet til å overstyre systemet og plikt til å vurdere saken selvstendig.
• Rett til korrigering: Feil i datagrunnlaget må kunne oppdages og rettes uten at borgeren må navigere en uklar klageprosess.

Det rettslige landskapet og krav til norske virksomheter

Norske virksomheter må allerede forholde seg til flere regelverk når KI brukes i arbeidslivet. Likestillings- og diskrimineringsloven forbyr diskriminering på grunn av blant annet kjønn, etnisitet, religion, funksjonsnedsettelse, seksuell orientering og alder. Forbudet gjelder også indirekte diskriminering, der en tilsynelatende nøytral praksis stiller en gruppe dårligere. Arbeidsmiljøloven stiller krav til forsvarlige arbeidsforhold, medvirkning og kontrolltiltak, mens personvernforordningen, GDPR, regulerer behandling av personopplysninger, automatiserte avgjørelser, informasjon, innsyn og virksomhetens dokumentasjonsansvar.

I praksis betyr dette at en arbeidsgiver ikke kan skyve ansvaret over på en ekstern leverandør. Før et system tas i bruk, må virksomheten vite hvilket formål det har, hvilket rettslig grunnlag som gjelder, hvilke data som behandles, og hvordan personer kan få informasjon og rette feil. Ved kontrolltiltak og ny teknologi kan også drøfting med tillitsvalgte og informasjon til ansatte være nødvendig. NHO understreker behovet for tidlig involvering, også under piloter, slik at virksomheten forstår konsekvensene for arbeidsmiljø, arbeidsprosesser og ansatte.

EUs KI-forordning, AI Act, ventes innført i norsk rett gjennom en norsk KI-lov i 2026. Arbeidsrelaterte systemer, blant annet verktøy for rekruttering, kandidatutvelgelse, vurdering av arbeidsforhold, oppgavefordeling og medarbeideroppfølging, kan bli klassifisert som høyrisikosystemer. Det innebærer strengere krav til blant annet risikostyring, datakvalitet, logging, dokumentasjon, menneskelig overoppsyn og overvåking etter at systemet er tatt i bruk. LDOs gjennomgang av lovbehovet peker samtidig på at dagens diskrimineringsregler bør tydeliggjøres for å håndtere skjulte og mer komplekse former for algoritmisk ulikhet.

• Utpek en ansvarlig eier for hvert KI-system, med myndighet til å stoppe bruken.
• Gjennomfør personvernvurdering og diskrimineringsvurdering før anskaffelse, ikke etter første klage.
• Krev dokumentasjon fra leverandøren om datasett, validering, kjente begrensninger og modelloppdateringer.
• Sørg for at ansatte, tillitsvalgte og berørte personer får relevant informasjon.
• Avtal hvordan feil, avvik, klager og uønskede forskjeller skal håndteres.

Praktiske metoder for revisjon og korrigering av modeller

En effektiv revisjon kombinerer tekniske målinger med faglig og organisatorisk vurdering. Først bør virksomheten definere hva rettferdighet betyr i den konkrete bruken. Det kan handle om lik sannsynlighet for å bli kalt inn til intervju, like feilrater mellom grupper eller at ingen gruppe systematisk får dårligere tilgang til en offentlig tjeneste. Det finnes ikke én universell rettferdighetsmåling. Et valg som reduserer forskjeller i én type feil, kan øke forskjeller i en annen.

1. Kartlegg formålet: Beskriv hvilken beslutning systemet støtter, hvem som påvirkes, og hvilke utfall som er uakseptable.
2. Revider datagrunnlaget: Undersøk representasjon, manglende verdier, historiske avslag, feilkoding og forskjeller i datakvalitet mellom grupper.
3. Test før produksjon: Mål rangeringer, avslag, falske positive og falske negative separat for relevante grupper og for kombinasjoner av kjønn, etnisitet, alder og funksjonsevne når datagrunnlaget tillater det.
4. Juster modellen: Bruk bedre utvalg, vekting, terskeljustering eller metoder som reduserer påvirkningen fra skjeve observasjoner. Forskning på per-sample gradientbasert debiasing viser for eksempel hvordan treningen kan vekte datapunkter etter hvor sterkt de påvirker modellens læring.
5. Kontroller etter lansering: Følg med på resultatene over tid, og etabler terskler som utløser ny vurdering, pause eller tilbakestilling til en tidligere modellversjon.

Tekniske metoder må likevel brukes med varsomhet. Det er ikke nok å tvinge frem like statistiske resultater dersom målet, datagrunnlaget eller selve beslutningsprosessen er feil. En modell kan tilfredsstille en valgt fairness-måling og samtidig bruke en urettferdig definisjon av «suksess». Testdata bør derfor suppleres med scenarioer fra virkeligheten, kvalitative vurderinger fra fagpersoner og gjennomgang av konkrete saker.

Et tverrfaglig team bør minst inneholde teknologisk kompetanse, juridisk og personvernfaglig kompetanse, domeneekspertise og representasjon fra dem som faktisk berøres av systemet. Før godkjenning bør teamet kunne svare på følgende spørsmål:

1. Hvem kan få et dårligere utfall, og hvordan vil virksomheten oppdage det?
2. Kan en saksbehandler forstå og utfordre modellens anbefaling?
3. Hvilken dokumentasjon finnes for datakvalitet, modellversjon og endringer?
4. Hvordan varsles berørte personer om automatisert støtte eller beslutning?
5. Hvem har ansvar for feil, klager, kompensasjon og eventuell avvikling?

Slik bygger vi systemer som fremmer likeverd

Rettferdig KI oppstår ikke av seg selv gjennom større datasett eller mer avanserte modeller. Den må bygges inn som et krav i hele livsløpet, fra valg av problem og datakilder til testing, innkjøp, opplæring og drift. Historiske data må behandles som spor etter tidligere praksis, ikke som en fasit på hvordan mennesker bør vurderes i fremtiden.

Det krever tydelig ansvar mellom teknologer, ledelse, juridiske miljøer, fagpersoner og ansatte som møter systemet i hverdagen. Ledelsen må sette grenser for bruk, finansiere revisjon og sørge for at effektivitet aldri blir det eneste målet. Utviklere må dokumentere antakelser, teste skjevheter og gjøre begrensninger synlige. Saksbehandlere må beholde reell vurderingsmyndighet. Start med en konkret oversikt over alle KI-systemer i virksomheten, prioriter de mest inngripende, og etabler faste rutiner for etisk kontroll, måling og korrigering før neste modell settes i produksjon.