Det er en trojansk hest i Aftenposten-redaksjonen

• Dette er et debattinnlegg. Innlegget uttrykker skribentens egne synspunkter.

La meg derfor forklare hvordan KI-agentene Bjørkeng fortalte at jobber for ham i Aftenposten faktisk er en trojansk hest.

Jeg begynte å kode som barn da min far fikk en PC inn i huset i 1985. Mesteparten av min karriere har vært i norsk og internasjonal programvare­industri som utvikler og standardiseringsarkitekt, men jeg gikk også en periode tilbake til akademia og fikk min ph.d. i 2016. 

Det er en artikkel som sitter langt inne i ryggmargen på min generasjon programmerere, skrevet av Ken Thompson i 1984: «Reflections on Trusting Trust». Dette var Thompsons takkeforelesning etter at han ble tildelt Turing-prisen («informatikkens nobelpris»). 

Den er bare på fire sider, men fire veldig tunge sider, og det er kanskje derfor artikkelen ikke har fått den betydning den burde.

Tillit til andres kode?

Thompson skriver at moralen i historien er at man ikke kan stole på noe program man ikke har skrevet selv, men det er viktig å forstå hvorfor han kommer til denne konklusjonen: I artikkelen beskriver han hvordan han legger inn en subtil feil inn i en kompilator. 

En kompilator er vital infrastruktur, et program som oversetter et menneske­lesbart programmeringsspråk til et språk som datamaskinen forstår. Når språkmodeller brukes til å lage kode, er det egentlig det samme som skjer.

Når Thompson har lagt inn denne feilen i kompilatoren blir kompilatoren det han kaller en trojansk hest. Når man bruker kompilatoren til å oversette et program, kan den som lagde kompilatoren få programmet til å gjøre noe helt annet enn det forfatteren av programmet ville, helt umerkelig. Thompson illustrerer dette ved å kunne logge seg inn som alle andre brukere på systemet.

Det er umulig å være involvert i all kode i dag, derfor må du kunne ha tillit til prosessen som frambrakte koden. Den tilliten bør du ikke ha til dagens tek-oligarker.

Hva med kildevernet?

La oss ta en ting som er viktig for pressen: Kildevernet. Kildevernet er allerede under så sterkt press av overvåkningsøkonomien at det er nærmest er en illusjon, men det kan alltids bli verre. 

Hva om fremmed etterretning har lagt inn en trojansk hest som også gjør stylometri på en tekst du gir verktøyet? Hva om transkribering også gjør stemmeg­jenkjenning? Hva om dette sendes ut av Aftenposten til noen som vil overvåke Aftenpostens kilder?

KI har forverret situasjonen Thompson beskrev. For å ha tillit til et KI-system må du ikke bare være involvert i koden (som brukes til datainnsamling, trening, administrasjon, selve agenten og så videre), du må også kjenne alle data, altså, i praksis hele Internett. 

Den vesle feilen som Thompson snek inn på finurlig vis, kan sannsynligvis også være i treningsdataene.

Så, mens det kan virke usannsynlig at noen vil prøve å angripe modellene, spesielt ettersom de som lager dem er klar over muligheten, så skal man huske at KI også hjelper angriperen og for at en godt lagd trojansk hest kan havne veldig mange steder. At Europa er fullstendig uforberedt er helt tydelig.

Pressen er veldig avhengig av tillit, og nå må Aftenpostens kilder stille seg spørsmålet om de har tillit til Aftenpostens bruk av KI, som sannsynligvis betyr at du må spørre deg selv om du har tillit til tek-oligarkene. 

Svaret for meg er et tydelig og klart nei: Man bør ikke ha tillit til Aftenpostens evne til kildevern.

Ingen bryr seg, det funker!

Ansvarlighet for programmerere betyr at man bekymrer seg om slik ting, og vil gjøre det man kan for å håndtere slike trusler. Vi får sjelden lov. Programmerere har alltid fått høre at våre bekymringer er uviktige, det eneste som betyr noe er at det fungerer. KI-generert kode er bare enda en runde med dette.

Bare en gang har ansvarlige programmerere brutt lydmuren i samfunns­debatten: GDPR, her hjemme kjent som personvernforordningen. 

GDPR består av seks prinsipper som er et lite utdrag av de prinsipper ansvarlige programmerere alltid har arbeidet etter. GDPR endret dessverre ingenting.

For to år siden lagde jeg et system som sjekket hvor stor andel av offentlige nettsteder, både offentlige selskaper og forvaltningen, som bidro med data til overvåkningsbasert reklame.

Svaret er rundt 95 prosent. I 95 prosent av tilfellene er det en utvikler som har fått høre at man godt kan bryte loven. Ingen bryr seg, det funker .

Enshittification

Forbrukerrådet har nettopp kommet ut med en rapport der de tar utgangspunkt i teknologikommentatoren Cory Doctorows begrep «enshittification». De har også lagd en viral video det er vel verdt å få med seg.

Det er ikke bare sikkerhetsproblemer agentene vil introdusere. Sannsynligvis er flere av dem enshittificators. Det er ikke tvil om at kodegenerering er nyttig, men la oss tenke på det neste steget: I den koden du aldri ser på vil det etter hvert skapes en sterkere og sterkere avhengighet av underliggende rammeverk, skytjenester og annen infrastruktur.

Du vil bli lukket inne bak avhengigheter, men disse må være mest mulig usynlige så lenge det finnes nok utviklere som fortsatt leser kode. Mange av oss er allergiske for sånne ting, og vi vil lage bråk om det skjer. 

Kanskje vi ville blitt hørt. Så, det er best om det skjer umerkelig. Det vil modelleierne gjøre ved å endre litt på sannsynligheten for at et rammeverk eller skytjeneste blir valgt over et annet. Dette vil være helt umulig å detektere. Etter hvert kan de kanskje gjøre større endringer, men gjøre det samtidig med at man kjører en klassisk reklamekampanje, slik at endringen kan forklares ved noe annet enn at modellene manipuleres. Man kan alltid påstå at infrastrukturen velges fordi «den er best».

KI har potensiale til å bli en teknologi som bryter ned avhengighetene, å gjøre det enklere å bytte. Det finnes også tilfeller der det har skjedd. Men man skal huske på at dette er en billion-industri som har bygd sin makt på å nettopp skape slike avhengigheter (og egentlig ikke så mye annet). De vil gjøre det igjen.

Nye institusjoner må til

Hvilken vei dette vil gå beror mye på hvordan teknologien styres. Ved å bygge nye demokratiske institusjoner kan det gå riktig vei.

Men det er lite som tyder på at det går riktig vei per idag. Regulerings­myndighetene baserer sin tilnærming til dette problemet i stor grad på tilsyn. Men tilsyn kan ikke finne de bittesmå feilene som gjør de trojanske hestene mulig. Det kan kun en omfattende reform av hvordan infrastruktur utvikles. 

Det kan vi få til hvis vi utvikler egnede samfunnsinstitusjoner .