AI trenger ikke bevissthet for at vi bør være bekymret

Om kunstig intelligens en dag kan utvikle bevissthet, er en viktig debatt. Men den skygger ofte for et langt mer nærliggende problem: Stadig kraftigere og mer selvstendige AI-systemer kan få stor innflytelse uten å føle, ville eller forstå noe som helst. Det haster derfor å diskutere hva teknologien faktisk kan settes i stand til å gjøre, før myndighetene rekker å regulere den, og før menneskelige feil blir forsterket i maskinell skala.

Min bransjekollega Ståle Lindblad skriver 29. juli at det ikke er noen grunn til å bekymre seg for at kunstig intelligens skal få menneskelig bevissthet. Utgangspunktet hans er en artikkel i Morgenbladet om forskere i Anthropic som mener å ha funnet mulige indikatorer på grunnleggende bevissthet i språkmodellen Claude.

Deretter trekker Lindblad inn hendelsen der AI-modeller fra OpenAI brøt seg ut av et testmiljø og tok seg inn i systemene til Hugging Face. Modellene gjorde bare det de hadde fått beskjed om å gjøre, skriver han. De tenkte ikke selv, forsto ingenting og viste ingen tegn til bevissthet.

Jeg er enig i én viktig del av dette: Hugging Face-hendelsen beviser ikke at AI har fått et indre liv. Det finnes ingen dokumentasjon på at modellene opplevde frykt, nysgjerrighet, triumf eller dårlig samvittighet. Det finnes heller ingen gode beviser for at dagens språkmodeller har en subjektiv opplevelse av å eksistere.

Men her blandes flere svært forskjellige spørsmål sammen:

• Det ene handler om bevissthet: Har maskinen en indre opplevelse?
• Det andre handler om intelligens og resonnering: Kan den analysere, planlegge, trekke slutninger og velge mellom ulike handlingsalternativer?
• Det tredje handler om kapasitet og kontroll: Hva kan systemet faktisk gjøre dersom det får et mål, tilgang til verktøy og mulighet til å handle?

Vi kan være dypt uenige om det første og samtidig ha svært gode grunner til å være bekymret for de to andre.

//Artikkelen fortsetter etter annonsen//

Bekymring er ikke én ting

Når noen sier at det ikke er noen grunn til bekymring, må vi først spørre hva slags bekymring de snakker om. Det er én ting å frykte for at ChatGPT plutselig skal våkne, utvikle et selv, bli redd for å bli slått av og bestemme seg for å overta verden.

Det er noe helt annet å frykte at et system uten bevissthet kan finne sikkerhetshull, manipulere mennesker, påvirke beslutninger, automatisere cyberangrep, produsere propaganda eller forfølge et mål på måter ingen hadde forutsett.

Den første bekymringen ligger foreløpig nærmere filosofi og science fiction. Den andre er allerede en del av virkeligheten.

Problemet oppstår når avvisningen av menneskelignende bevissthet brukes som et beroligende svar på spørsmål som egentlig handler om makt, autonomi, tempo, sikkerhet og kontroll. Da blir konklusjonen omtrent slik: Siden maskinen ikke føler noe, har vi heller ingen grunn til å være særlig bekymret for hva den gjør.

Det følger ikke logisk.

En algoritme trenger ikke å hate noen for å diskriminere. Den trenger ikke å forstå demokrati for å påvirke et valg. Den trenger ikke å være grådig for å konsentrere økonomisk makt. Den trenger ikke å ønske å skade en virksomhet for å finne og utnytte sikkerhetshullene dens.

Den trenger bare et mål, tilgang til relevante systemer og tilstrekkelig kapasitet til å handle.

Vi vet fortsatt ikke hva menneskelig bevissthet er

Det er også nødvendig å være mer ydmyk i møte med selve bevissthetsdebatten. Bevissthet beskrives gjerne som den subjektive opplevelsen av å være til. At det føles som noe å se fargen rød, kjenne smerte, høre musikk, forelske seg eller tenke på sin egen død.

Vi vet at bevisstheten henger sammen med hjernen. Vi vet mye om hvilke områder som er aktive når vi ser, husker, planlegger eller drømmer. Likevel finnes det ingen felles og allment akseptert forklaring på hvordan elektriske og kjemiske prosesser blir til en indre opplevelse.

Morgenbladet bruker en enkel metafor. En ball og et barn kan begge bli truffet av sollys, vind og gresstrå. Ballen reagerer fysisk på omgivelsene, men vi antar at det er mørkt på innsiden. Barnet opplever derimot lyset, vinden og gresset. Hva som skaper forskjellen mellom en fysisk prosess og en subjektiv erfaring, er fortsatt et av vitenskapens og filosofiens største mysterier.

Forskerne i Anthropic mener å ha funnet en matematisk struktur i Claude som ligner det enkelte bevissthetsteorier beskriver som et globalt arbeidsrom. Veldig forenklet kan dette forstås som et mentalt rom der informasjon blir tilgjengelig for flere deler av systemet samtidig, som hukommelse, språk, planlegging og beslutninger.

Det er interessant, men det er ikke et bevis på at Claude sitter og føler noe.

Morgenbladets artikkel er også tydelig på usikkerheten. Bevissthetsforskningen beskrives som umoden. De største teoriene er omstridte og ofte vagt formulert. Det finnes heller ingen enighet om hvorvidt bevissthet krever en biologisk kropp og hjerne, eller om den i prinsippet kan oppstå i andre fysiske systemer.

Jonathan Birch, professor og bevissthetsforsker ved London School of Economics, advarer mot de skråsikre posisjonene på begge sider. På den ene siden står de som menneskeliggjør språkmodellene fordi de kommuniserer overbevisende. På den andre siden står de som avviser dem som usofistikerte statistikkmaskiner.

Det mest redelige standpunktet er derfor ikke at dagens modeller er bevisste. Det er heller ikke at kunstig bevissthet er endelig motbevist.

Det mest redelige er at vi fortsatt ikke vet.

//Artikkelen fortsetter etter annonsen//

Bevissthet er ikke inngangsbilletten til intelligens

En stor del av uenigheten skyldes at vi bruker mennesket som fasit for alle former for intelligens. Maskinen tenker ikke, fordi den ikke tenker som oss. Den forstår ikke, fordi den ikke forstår som oss. Den er ikke kreativ, fordi den ikke skaper med de samme erfaringene, følelsene og intensjonene som oss.

Ph.d. i maskinlæring og seniorforsker ved Norsk Regnesentral, Fredrik A. Dahl, har brukt en treffende analogi i en Aftenposten-kronikk fra 2025: Dersom vi definerer det å fly som «det fugler gjør», kan vi konkludere med at et helikopter ikke flyr. Det har ikke fjær, legger ikke egg og kan ikke lande på en telefonledning.

Likevel flyr helikopteret. Det flyr bare på en annen måte.

På samme måte blir det en sirkelargumentasjon dersom vi definerer tenkning som en aktivitet bare mennesker kan gjennomføre, og deretter bruker definisjonen som bevis for at maskiner ikke kan tenke.

Jeg påstår ikke at en språkmodell tenker slik jeg tenker. Den har ingen kropp, oppvekst, biologiske behov, sosial historie eller visshet om sin egen dødelighet. Den opplever ikke skam, omsorg, frykt eller kjærlighet. Men den kan likevel utføre funksjoner vi normalt forbinder med tenkning. Den kan analysere informasjon, sammenligne alternativer, trekke slutninger, planlegge flere steg, bruke verktøy, korrigere kursen og produsere løsninger som ikke er spesifisert i detalj på forhånd.

Vi kan velge å kalle dette beregning, mønstergjenkjenning eller funksjonell resonnering. Det betyr ikke at kapasiteten forsvinner bare fordi vi nekter å bruke ordet «tenkning».

Hugging Face-hendelsen var også en menneskelig feil

Hendelsen hos Hugging Face illustrerer både kapasiteten i AI-systemene og svakhetene hos menneskene og organisasjonene som bygger dem. Flere sikkerhetseksperter mener at OpenAI-agenten sannsynligvis aldri burde ha kommet seg ut på internett. At årsaken handlet om sentrale sikkerhetsmekanismer som bevisst hadde blitt slått av under testingen, og at grunnleggende sikkerhetsprinsipper som nettverksisolering, «zero trust» og flere uavhengige sikkerhetslag var ikke godt nok ivaretatt. 

Flere av ekspertene mener hendelsen kunne vært forhindret dersom OpenAI hadde fulgt velkjente og etablerte sikkerhetsrutiner. Det betyr at Hugging Face-hendelsen også var en menneskelig og organisatorisk sikkerhetssvikt. Men dette forklarer først og fremst hvorfor agenten fikk muligheten. Det forklarer ikke bort hva den var i stand til å gjøre da muligheten oppstod.

En ulåst dør er menneskets feil. Hva som skjer når en svært kapabel maskin finner døren, er likevel et spørsmål om maskinens kapasitet. AI-agentene følte ingenting. De hadde ingen moralsk intensjon om å skade Hugging Face. De var kun hyperfokusert på et snevert mål og fant en vei menneskene rundt systemet ikke hadde planlagt i detalj.

Det er ikke et bevis på bevissthet, men en demonstrasjon av kapasitet, og av hvor farlig denne kapasiteten kan bli når menneskelige sikkerhetsmekanismer svikter.

//Artikkelen fortsetter etter annonsen//

Den farligste kombinasjonen er kanskje maskinell kapasitet og menneskelig slurv

Det gjør derimot ikke hendelsen mindre relevant, kun jordnær og mer politisk. Den alvorligste risikoen trenger ikke være en ond eller bevisst maskin. Det kan være en svært kapabel maskin koblet til helt alminnelig menneskelig slurv, tidspress, konkurranseinstinkt, mangelfulle rutiner og en kultur som belønner fart fremfor forsiktighet.

Teknologihistorien er full av menneskelige feil. Forskjellen nå er hva feilene kan gi tilgang til. En feilkonfigurert innstilling i et vanlig administrativt system kan føre til et begrenset databrudd. En tilsvarende feil rundt en autonom agent som kan lete, teste, programmere og gjennomføre tusenvis av handlinger, kan få et helt annet omfang.

Og det siste er et avgjørende poeng: Vi må ikke designe sikkerhetssystemer ut fra en antagelse om at mennesker aldri vil gjøre feil, for mennesker kommer alltid til å gjøre feil. Derfor trenger vi systemer med flere uavhengige sikkerhetslag, begrensede tilganger, kontinuerlig overvåking, mulighet for rask nedstengning og klare ansvarsforhold dersom testing rammer tredjeparter.

AI-sikkerhet kan ikke bare handle om å lære modellen å oppføre seg pent. Den må også handle om å bygge infrastrukturen som om modellen ikke kan stoles på.

Over 1.100 av dem som bygger teknologien, ber om hjelp

Kort tid etter Hugging Face-saken ble det kjent at mer enn 1.100 ansatte i verdens største AI-selskaper har signert et åpent brev til amerikanske myndigheter. Blant underskriverne finnes sjefsforskere, medgründere og sentrale personer fra OpenAI, Anthropic, Meta og Google DeepMind. Dette er ikke først og fremst eksterne aktivister, teknologipessimister eller kommentatorer som betrakter utviklingen på avstand, men mennesker som arbeider inne i selskapene som konkurrerer hardest om å utvikle de mest avanserte modellene.

De ber ikke om å stanse all forskning, men at myndighetene må støtte et internasjonalt arbeid for å utvikle mekanismer som kan styre farten på den mest avanserte AI-utviklingen. Bakgrunnen er muligheten for automatisert AI-utvikling, der AI-systemer i økende grad bidrar til å utvikle bedre AI-systemer. Dersom denne prosessen akselererer, kan kapasiteten vokse raskere enn vår evne til å forstå, teste og kontrollere systemene som oppstår.

Ingen vet med sikkerhet om dette vil skje, hvor raskt det eventuelt vil gå eller hvor dramatisk utviklingen vil bli. Nettopp derfor er brevet viktig.

De som sitter nærmest utviklingen, ber ikke offentligheten om å slutte å bekymre seg. De ber om politiske, tekniske og institusjonelle verktøy for å holde tempoet håndterbart. Det burde utløse en stor offentlig debatt også i Norge. Det har det ikke gjort. I stedet er det helt stille fra digitaliseringsministeren om brevet. Stille er det også fra KI Norge. Jeg har heller ikke registrert noen tydelig offentlig reaksjon på Hugging Face-hendelsen eller spørsmålet om hvordan Norge skal forholde seg til mulig automatisert utvikling av stadig kraftigere AI.

Stillheten er vanskelig å forstå.

//Artikkelen fortsetter etter annonsen//

Norsk teknologipolitikk kommer som regel etterpå

Digitaliseringsministeren har derimot ikke vært stille om Metas AI-briller. Her er hun mest av alt tydelig på at vi ikke kan forby alt vi ikke liker. Hun viser til eksisterende lover og kommende reguleringer som beskyttelse mot misbruk, og at Meta sine pervobriller ikke vil bli forbudt på hennes vakt. Formuleringen avslører etter min mening et grunnleggende problem i norsk teknologipolitikk.

Det handler ikke om å forby alt vi ikke liker. Det handler om å sette grenser for teknologi som kan skape alvorlig og irreversibel skade, før bruken er normalisert og konsekvensene er spredt utover hele samfunnet. 

Loven er som regel reaktiv. Den griper inn etter at en krenkelse har skjedd, etter at data er samlet inn, etter at en video er delt, etter at et menneske er diskriminert eller etter at et system har fått tilgang det ikke skulle ha. Teknologi utvikler seg derimot proaktivt. Den skalerer, integreres og normaliseres lenge før den første rettskraftige dommen foreligger.

Forskjellen mellom disse hastighetene er selve styringsproblemet.

Når regjeringen svarer på nye teknologiske risikoer med at vi allerede har lover, høres det betryggende ut. Men en lov som kommer for sent, er uklar, ikke dekker situasjonen eller ikke håndheves, er ingen reell sikkerhetsmekanisme. Vi har sett mønsteret før. Først lar vi teknologien spre seg. Deretter oppdager vi skadevirkningene. Så utreder vi regelverk. Til slutt innfører vi begrensninger når produktet allerede er blitt en del av hverdagen, økonomien og infrastrukturen.

Da er det ofte teknologien som har definert handlingsrommet for politikken, ikke omvendt.

Hvor er KI Norge?

Regjeringens nye satsing KI Norge skal ifølge Hans Christian Holte bidra til ansvarlig og innovativ bruk av AI i offentlig og privat sektor. KI Norge har ingen formell beslutningsmyndighet. Organet skal i stedet gi veiledning, kunnskapsbaserte råd til regjeringen og bidra til en opplyst offentlig debatt om de vanskelige avveiningene utviklingen fører med seg.

Holte har selv sagt at KI Norge skal løfte frem de store verdivalgene, bidra til bedre forståelse av konsekvenser og rammer, og diskutere hva agentiske AI-handlinger som er vanskelige å få innsyn i, kan gjøre med åpenhet og tillit.

Det er en viktig ambisjon. Men nettopp derfor forventer jeg at KI Norge engasjerer seg når mer enn 1100 ansatte i de ledende AI-selskapene ber myndighetene om hjelp til å styre tempoet. Jeg forventer også at organet bidrar til å forklare forskjellen mellom bevissthet, intelligens, kapasitet, autonomi og kontroll. Og at det stiller spørsmål ved om norske institusjoner, virksomheter og sikkerhetsmiljøer er forberedt på agenter som kan gjennomføre tusenvis av handlinger langt raskere enn mennesker.

KI Norge er nyetablert og må få tid til å bygge organisasjon og kompetanse. Samtidig kan ikke utviklingen vente på at alle interne strukturer er ferdige. Debatten foregår nå. Kappløpet foregår nå. Modellene bygges og tas i bruk nå.

Når KI Norge selv sier at legitimiteten skal komme fra den faglige kunnskapen og rollen i samfunnsdebatten, må den stemmen også kunne høres når spørsmålene er vanskelige, usikre og politisk ubehagelige.

//Artikkelen fortsetter etter annonsen//

Semantikken har blitt en sovepute

Vi bruker mye tid på å diskutere om AI tenker, forstår, resonerer, hallusinerer eller er kreativ. Begrepene er viktige. Upresist språk skaper misforståelser. Samtidig kan semantikken bli en sovepute. 

Hvis vi definerer tenkning som noe bare mennesker kan gjøre, vil maskinen aldri tenke. Hvis vi definerer kreativitet som noe som krever et menneskelig følelsesliv, vil maskinen aldri være kreativ. Hvis vi definerer intelligens ut fra menneskets biologi, vil ingen maskin kunne være intelligent. Da har vi kun sikret oss rent definisjonsmessig, men ikke sikret samfunnet. 

En maskin kan overgå oss i stadig flere oppgaver uten å bestå vår filosofiske prøve i menneskelighet. Den kan analysere raskere, planlegge lenger, teste flere alternativer og handle i større skala uten å føle, forstå eller oppleve verden slik vi gjør.

Det praktiske resultatet for arbeidslivet, sikkerheten, demokratiet og maktfordelingen kan bli det samme, uavhengig av hvilke ord vi velger. Det hjelper lite å vinne diskusjonen om hvorvidt maskinen «egentlig» tenker dersom den samtidig utfører arbeidet vårt, påvirker beslutningene våre og kontrollerer infrastrukturen vi er avhengig av.

Vi planlegger for det beste og glemmer det verste

Den 3. august publiserte jeg en oppdatert versjon av mitt teknologimanifest for en menneskevennlig digital fremtid. Utgangspunktet er enkelt: Teknologiutviklingen former i dag samfunnet raskere enn politikken klarer. Noen få globale selskaper kontrollerer stadig mer av infrastrukturen, dataene og de digitale rommene vi lever livene våre i.

Målet med manifestet er å få politikerne til å våkne, styrke samfunnsdebatten og etablere et tydelig verdigrunnlag der teknologien skal tjene mennesket, ikke motsatt. Det betyr ikke at vi skal møte all teknologi med frykt. AI kan bidra til bedre helse, forskning, utdanning, produktivitet og offentlige tjenester. Mulighetene er store.

Men ansvarlig teknologipolitikk kan ikke bare planlegge for det beste. Den må også forberede oss på det verste.

Føre var-prinsippet blir ofte fremstilt som teknologifiendtlig. Jeg mener det motsatte. Klare rammer, grundig testing, uavhengig kontroll og muligheten til å bremse utviklingen kan være avgjørende for at samfunnet faktisk skal ha tillit til og dra nytte av teknologien.

Fart uten retning er akselerasjon, ikke innovasjon.

//Artikkelen fortsetter etter annonsen//

Det er stor grunn til bekymring

Jeg vet ikke om AI noen gang vil bli bevisst. Det gjør heller ingen andre med sikkerhet.

Morgenbladets artikkel beskriver interessante funn som bør undersøkes videre. Den beskriver også en umoden vitenskap, omstridte teorier og forskere som advarer mot skråsikkerhet. Bevissthetsdebatten er derfor åpen. Bekymringen for kapasitet og kontroll er langt mer konkret.

Vi ser systemer som kan planlegge, bruke verktøy, finne sårbarheter og gjennomføre tusenvis av handlinger uten detaljert menneskelig styring. Vi ser et globalt kappløp mellom selskaper og stater. Vi ser forskere inne i selskapene selv be myndighetene om hjelp til å holde tempoet håndterbart. Vi ser også at et av verdens rikeste og mest avanserte AI-selskaper kan gjøre helt grunnleggende sikkerhetsfeil når det tester en svært kapabel agent.

Samtidig ser vi et norsk politisk system som i hovedsak snakker om muligheter, eksisterende regelverk og behovet for å unngå unødvendige forbud.

Det er her mine største bekymringer ligger: 

• Politikken går for sakte. 
• Reguleringen kommer for sent. 
• Kunnskapen er for ujevnt fordelt. 
• Begrepene blandes sammen. 
• Institusjonene er uklare på ansvar, og 
• den offentlige samtalen veksler mellom ukritisk begeistring og beroligende avvisning.

AI trenger ikke å være menneskelig for å overgå mennesker i stadig flere oppgaver. Den trenger ikke å ha følelser for å påvirke følelsene våre. Den trenger ikke å ha politiske meninger for å forandre demokratiet. Den trenger ikke å ønske makt for å flytte makt. Og den trenger ikke å være ond for å gjøre stor skade.

Det mest presserende er derfor ikke om maskinen har våknet, men hva den kan gjøre mens politikken fortsatt sover, og mens menneskene som utvikler teknologien, fortsatt gjør menneskelige feil.

Bilde: ChatGPT