Søndag kveld, 2. august, ba jeg Claude om hjelp til å dele en artikkel på Facebook. Noen timer senere hadde AI-assistenten avdekket at nettstedet mitt ikke hadde hatt en fungerende sikkerhetskopi siden 2024, gitt meg en teknisk forklaring som var fullstendig gal, og ønsket meg god tur til en ferie jeg allerede hadde vært på. Alle tre delene av historien handler om det samme: hvorfor dømmekraft er det siste vi bør gi fra oss.
Det begynte med en bokhylle
Første juli ba jeg Claude om noe trivielt. Jeg skulle til Kroatia med kjæresten på sommerferie og ta med meg min Kindle for å lese bøker på. I den anledning ville jeg vite hvilke bøker av Jo Nesbø, Thomas Enger og Jørn Lier Horst jeg allerede hadde, og hvilke jeg manglet.
Jeg logget meg på ebok.no og ba Claude gå inn på bokhyllen min hos ebok.no,hvor den hentet ISBN-numrene til alle bøkene jeg hadde kjøpt for å skille mellom forfattere med sammenfallende boktitler, og sammenlignet med forfatterkatalogene. Svaret var presist: ti Nesbø-bøker på plass, syv Harry Hole-bøker som manglet, elleve hull i Wisting-serien til Jørn Lier Horst, mens jeg hadde kjøpt samtlige av Thomas Enger sine bøker om Henning Juul,.
For meg var dette svært nyttig, men det første poenget mitt er ikke et AI-poeng. For dette burde vært en tjeneste som ebok.no burde hatt på plass selv. De har kjøpshistorikken min. De vet at jeg eier Harry Hole nummer 7 til 10, 12 og 13, men at jeg mangler de seks første, i tillegg til at jeg ikke har forhåndsbestilt den siste. Å fortelle meg det er ikke avansert maskinlæring. Det er et enkelt databaseoppslag og litt omtanke. Men fordi de ikke gjør det, tok jeg med min egen AI-assistent inn på deres nettsted. Claude kjenner verken katalogen eller lisensavtalene deres, og kan ta feil.
Resultatet var at ebok.no mistet både kunderelasjonen og kvalitetskontrollen i samme operasjon.
//Artikkelen fortsetter etter annonsen//
Andre august: et bilde som ikke ville deles
Jeg har brukt Claude til veldig mye teknisk i år. Blant annet til å oppgradere GUI, SEO og AEO på HansPetter.info. Andre august publiserte jeg en bokanmeldelse av Skinndød-serien til Thomas Enger, som jeg hadde lest meg gjennom i løpet av sommerferien. Men da jeg skulle distribuere anmeldelsen på min Facebook-profil dukket ikke coverbildet opp slik det skulle. Etter en feilmelding fra Facebook Debugger-verktøyet ba jeg Claude om hjelp til å finne ut hvor problemet lå.
Claude fant ut at siden og bildet svarte helt normalt. Men den fant også noe annet: en død lenke i artikkelen min som skulle ha pekt til Dagsavisen, et par manglende mellomrom, en skrivefeil, og at metataggen twitter:card stod på summary i stedet for summary_large_image.
Da jeg ba Claude fikse det siste, oppdaget den hvorfor innstillingen i det hele tatt fantes. Jeg brukte fortsatt Yoast SEO Premium versjon 6.1.2, som ble sluppet i november 2017. Nesten ni år gammel, og det på nettsiden min som kjører WooCommerce og kortbetaling. En stor sikkerhetsrisiko med andre ord.
Og da vi skulle sikkerhetskopiere før vi rørte noe som helst, kom det verste funnet. Siste komplette sikkerhetskopi var fra september 2024. Forsøkene etter hadde brutt sammen i det stille, og jeg hadde verken fått beskjed eller tenkt så mye mer over det i nesten to år.
Claude og jeg ble enige om å ta ett fornuftig steg om gangen for å rette opp alle mangler og feil, og dette er verdt et poeng i seg selv. Hvert enkelt steg var godt begrunnet av Claude og dermed lett å si ja til, men likevel endte kvelden et helt annet sted enn der den startet. En menneskelig utvikler ville sannsynligvis sagt at dette får vente til han var tilbake fra ferien og hadde tilstrekkelig oversikt over kalenderen. AI-assistentene sier aldri det, men er alltid villig, og villigheten er nettopp det som gjør at omfanget potensielt vokser uten at man reflekterer tilstrekkelig om det.
//Artikkelen fortsetter etter annonsen//
Hallusinering og bekreftelsesbias er ikke det samme
Femte juni i år skrev jeg i Computerworld om AI-skandalene i Tromsø og Asker. Der argumenterte jeg blant annet for at et forbud mot AI er det siste vi trenger, men at det burde være forbudt å bruke AI ukritisk. Etter denne hendelsen (og erfaringen) vil jeg skjerpe nettopp det utsagnet, fordi jeg blandet sammen to helt ulike feil.
Hallusinering er at modellen finner på. 11 av 18 kilder i Tromsø-rapporten fantes ikke. Det er en kjent teknisk svakhet, som lett lar seg kontrollere ved å sjekke mot originalkildene.
Men heller ikke i Tromsø satte noen seg ned (vil jeg tro) og bestemte at et forslag om å legge ned åtte skoler skulle hvile på kilder som ikke fantes. Noen ba nok derimot om hjelp til å finne dokumentasjon, fikk noe som så ut som dokumentasjon, og lot det gå videre i systemet. Mekanismen er den samme som jeg opplevde selv den søndagskvelden.
Det eneste som skilte de to scenariene, var hva som sto på spill. Og det var ikke så rent lite.
Bekreftelsesbias er noe annet. Chatteloggene fra Tromsø viste at en ansatt ba om kilder som kunne støtte påstander til fordel for færre og større skoler. Det var ikke noe AI-assistenten fant på, men et menneske som brukte maskinen til å få det den allerede ville ha.
Den andre feilen er vår, ikke teknologien. Og den er verre, fordi den er usynlig. AI-assistenten innførte ikke bekreftelsesbias i offentlig forvaltning. Den fjernet i stedet det som gjorde bekreftelsesbias synlig.
Tidligere måtte du gjennom noe eller noen for å skaffe troverdige og sikre kilder. En kollega, en jurist, et arkiv, eller et søk i Lovdata. Det ga to former for kontroll vi aldri tenkte på som kontroll. Det ga et vitne, altså et menneske som så hva du faktisk spurte etter og som kunne heve et øyenbryn. Og det ga et spor, i form av en e-post, en bestilling eller en loggført forespørsel.
En AI-assistent gir ingen av delene. Ingen ser hva du ber om, og formuleringen blir liggende i en samtale ingen leser. I Tromsø ble den lest til slutt, men bare fordi noen gikk inn i chatteloggene etter at skaden var skjedd. Teknologien fjerner motstand overalt, og motstand er ofte det eneste som gjør at vi stopper opp.
//Artikkelen fortsetter etter annonsen//
Den mest overbevisende feilen jeg har fått
Tilbake igjen til søndagskvelden.
Sikkerhetskopien feilet gang på gang, og Claude kunne fortelle meg at webhotellet mitt kjører LiteSpeed på CloudLinux, noe som setter harde grenser per konto for CPU og prosesser. Når en PHP-prosess gjennomgår over 64.000 filer, treffer den taket og blir stoppet. Sannsynligvis samme årsak som i oktober 2024.
Forklaringen fra Claude var detaljert, teknisk troverdig og i tråd med det jeg visste om webhotellet mitt, og derfor var jeg også i ferd med å kontakte dem.
Problemet var bare at det var helt feil.
Da jeg ba Claude om å sjekke en gang til, for å være på den sikre siden, leste den loggen ordentlig og fant at faktiske feilen skyldtes en manglende OAuth-nøkkel mot Google Drive som jeg ville kjøre sikkerhetskopien mot. Databasen var sikkerhetskopiert helt fint hver gang, men den ble aldri lagret på min Google Drive-konto. Og feilmeldingen hadde ligget i loggen hele tiden. Jeg hadde bare ikke lest den.
Rett før sommerferien til Kroatia publiserte jeg artikkelen Dømmekraft blir den nye konkurransekraften, hvor jeg viste til forsøket med 758 BCG-konsulenter, der forskere fra Harvard, MIT, Wharton, Warwick og BCG hadde funnet ut at konsulentene leverte klart bedre på oppgaver innenfor språkmodellens kompetanseområde, og målbart dårligere på en oppgave som lå utenfor.
Den søndagskvelden i sofaen, med laptopen på fanget og TV-en på, fikk jeg oppleve begge deler på én kveld, fra samme AI-assistent, og i samme samtale:
- Å finne en manglende autentiseringsnøkkel i en loggfil ligger godt innenfor det den er god til.
- Å diagnostisere ressursgrensene på en server den ikke hadde tilgang til, lå utenfor.
Forskjellen er enorm, men om du ikke bruker egen dømmekraft er forskjellen også usynlig, og det er det egentlige problemet. Ikke at AI-assistenten tok feil, men at den hørtes nøyaktig like sikker ut i begge tilfellene.
God flyt er med andre ord ikke det samme som et tegn på kvalitet. Og kan det skje meg, på mitt eget nettsted, og på toppen av det hele innenfor mitt eget fagfelt, hvor stor sjanse hadde egentlig da saksbehandleren i Tromsø?
//Artikkelen fortsetter etter annonsen//
AI-assistenten som ikke vet hvilken dag det er
Sent den kvelden ønsket Claude meg en god tur til Kroatia. Claude var så omtenksom at han ba meg vente med å fortsette med arbeidet til en annen dag, fordi det var blitt sent på kvelden, og jeg skulle tross alt dra tidlig dagen etter til Kroatia. Det var nesten litt rørende, tenkte jeg.
Problemet var bare at jeg hadde kommet hjem fra ferien flere uker tidligere.
Claude hadde bare lest den opprinnelige setningen fra toppen av samtale-tråden, skrevet tidlig i juli, og behandlet den som om den var fra i dag. Den leste en samtale som hadde gått over fem uker som om alt i den var like ferskt.
I samme slengen kunne Claude fortelle meg at jeg hadde en artikkel klar til publisering neste morgen klokken sju. Jeg antok at det betydde at han hadde full oversikt over alt jeg noen gang hadde snakket med den om, og da i alle trådene.
Det hadde den ikke. Claude hadde lest det på kontrollpanelet mitt i WordPress, mens den gjennomførte oppgraderingen av Yoast-innstikket mitt. Den hadde også sett kladdene mine, kommentarene, WooCommerce-ordrene og e-postadressen min. Alt som var synlig i den innloggede økten min, var synlig for Claude.
For lite hukommelse i én sammenheng, og langt mer innsyn og innsikt enn jeg hadde tenkt over i den andre.
Men det som kanskje gjorde mest inntrykk på meg, kom da jeg spurte hvorfor den bommet på Kroatia. Den ga en god forklaring, og la så til at den ikke har innsyn i sine egne resonnementer. Forklaringen var en plausibel hypotese om seg selv, produsert på nøyaktig samme måte som alt annet Claude skriver.
Skjermdump fra samtalen mellom Claude og meg.
Min selvinnsikt er basert på erfaring, mens Claude baserer seg i stor grad på å gjette/forutsi.
//Artikkelen fortsetter etter annonsen//
Hvorfor det er så fristende å gi fra seg vurderingen
Her er vi ved kjernen, og den er mer ubehagelig enn den tekniske delen. Vi snakker ofte om AI-avhengighet som om det handler om latskap eller manglende disiplin. Det gjør det ikke. Det handler derimot om tre mekanismer som alle trekker i samme retning, og som ingen av oss er immune mot:
- Den første er at assistenten alltid er villig. En menneskelig kollega har sine grenser, dårlige dager og egne prioriteringer. Den friksjonen er irriterende, men den er også et filter. Hver gang noen sier «har du tenkt på om vi burde gjøre dette i det hele tatt», skjer det en vurdering. En AI-assistent som aldri sier nei, fjerner det filteret uten at noen legger merke til at det forsvant.
- Den andre er at kompetanse på ett område leses som kompetanse overalt. Når en AI-assistent finner en ni år gammel sikkerhetsrisiko du ikke var klar over, er det fristende å stole på AI-assistenten om mye annet også, inkludert serverdrift. Tilliten generaliserer selv om kompetansen ikke gjør det.
- Den tredje er den farligste, fordi den ser rasjonell ut. Å delegere er billig. Å kontrollere er dyrt, fordi kontroll krever at du sitter på den fagkunnskapen du forsøkte å slippe å trenge. Og hver gang du kontrollerer og AI-assistenten hadde rett, lærer du at kontrollen var bortkastet tid. Insentivet peker mot stadig mindre skepsis. Tilliten kryper oppover i det stille, helt til den dagen den ikke burde ha gjort det.
Men under alt dette ligger noe mer grunnleggende, og det mener jeg vi snakker altfor lite om. Dømmekraft er ubehagelig. Å vurdere betyr å eie konsekvensen. Det betyr å stå i det også når det går galt. En ekstremt kapabel AI-assistent tilbyr ikke bare å gjøre arbeidet. Den tilbyr å bære ansvaret. Det er den egentlige fristelsen. Ikke effektivitet, men lettelse.
Og i det øyeblikket vi tar imot det tilbudet, forsvinner ansvaret inn i systemet. Ingen bestemte. Ingen vurderte det. Det bare ble sånn. Det er mekanismen jeg beskrev som å automatisere bort ansvar, og den er verre enn hallusinering. Derfor er ikke den største trusselen at AI blir for kraftig, men at vi blir så komfortable at vi mister evnen til å vurdere om den har rett.
Dømmekraft er en muskel. Slutter du å bruke den, mister du etter hvert den fagkunnskapen som gjorde deg i stand til å kontrollere i det hele tatt. Da er avhengigheten ikke lenger et valg, men strukturell.
//Artikkelen fortsetter etter annonsen//
Kontroller må designes for korrelert svikt
I juni etterlyste jeg i Computerworld bedre kontroll på begge sider, både av AI og av menneskelig saksbehandling. Det står jeg ved. Men jeg vil legge til at menneskelige feil er spredte. En sliten saksbehandler bommer på ulike måter, i ulike retninger, på ulike dager.
AI-feil er korrelerte. Samme modell, samme svakhet, samme retning, i alle dokumenter samtidig.
Det har praktiske konsekvenser. Spredte feil lar seg fange med stikkprøver. Systematiske feil gjør det ikke, fordi de ser konsistente ut, og konsistens leses som kvalitet. En kommune som kontrollerer 10 AI-genererte saksfremlegg og finner samme mønster i alle, risikerer å konkludere med at rutinen fungerer. Derfor må kontrollregimene som bygges nå lages for systematikk, mens de nå er laget for slurv.
Det som ikke bør outsources
Søndagskvelden endte med en fungerende sikkerhetskopi for første gang siden 2024, en vedlikeholdt SEO- og AEO-utvidelse etter ni år, riktig deling på Facebook og 28 omdirigeringer flyttet og testet.
Den endte også med en gal diagnose jeg nesten handlet på, en regresjon i kategoristrukturen som assistenten selv forårsaket og deretter rettet, og et ferieønske en måned for sent.
Samtidig er mine AI-assistenter og -agenter det nærmeste jeg har kommet ekte medarbeidere siden jeg startet for meg selv i 2014. Det mener jeg oppriktig. AI-agentene mine jobber døgnet rundt, de leser fortere enn meg, og de fant i dette tilfellet ting jeg ikke hadde oppdaget på to år.
Men hver eneste gang det gikk bra, var det fordi jeg tok imot svaret med skepsis. Verdien lå ikke i at AI-assistenten hadde rett, men at jeg ikke gikk ut fra at den hadde det.
Det er dette skiftet jeg skriver om i Mennesket vs Maskinen. Teknologien går fra å være et verktøy vi bruker, til å bli en kapasitet vi samarbeider med og konkurrerer mot samtidig. Da flytter den menneskelige verdien seg. Den ligger ikke lenger i å produsere svaret, men i å vurdere om svaret holder.
Det er også derfor jeg mener dømmekraft blir den nye konkurransekraften, fordi tilgangen til kraftig AI snart er lik for alle. Da er det ikke lenger teknologien som skiller virksomhetene fra hverandre, men hvem som fortsatt har mennesker som orker å stille de ubehagelige spørsmålene om svaret faktisk stemmer.
Vi kan outsource arbeidet, men vi bør ikke outsource vurderingen av om arbeidet er godt nok eller sant nok.
Det var tilfellet i Tromsø kommune. Det samme gjelder kundeopplevelsen til ebok.no. Og det var definitivt tilfellet den søndagskvelden, da en AI-assistent, som skriver bedre enn de fleste mennesker jeg kjenner, fortalte meg noe som hørtes helt riktig ut, men som viste seg å være fullstendig galt.
Bilde: ChatGPT
