Vil uregulert bruk av kunstig intelligens føre til at menneskeheten går under, og KI-agentene tar over verden? Når vil det i så fall skje? Da The Economist i april 2023 skrev en lederartikkel (jeg bloggen om den her) om kunstig intelligens vil redde verden eller utslette oss, og om det enorme spennet i ulike oppfatninger, kunne de fortelle at:
"The degree of existential risk posed by AI has been hotly debated. Experts are divided. In a survey of AI researchers carried out in 2022, 48% thought there was at least a 10% chance that AI’s impact would be “extremely bad (eg, human extinction)”. But 25% said the risk was 0%; the median researcher put the risk at 5%. The nightmare is that an advanced AI causes harm on a massive scale, by making poisons or viruses, or persuading humans to commit terrorist acts. It need not have evil intent: researchers worry that future AIs may have goals that do not align with those of their human creators."
Elon Musk var også den gang med på et åpent brev tok til orde for et globalt moratorium på 6 måneder når det gjaldt utviklingen av nye KI-modeller. Og det er interessant å se at dette prosenttallet på 10 prosent sjanse for at KI kan stelle i stand noe "extremely bad", for eksempel utslettelse av menneskeheten, sannsynligvis ble etablert på den tiden, og resirkuleres videre nå.
Spørsmålet om regulering var også sentralt og The Economist slo nøktert fast at. "Regulation is needed, but for more mundane reasons than saving humanity". Jeg tilhørte nok dem som trodde at den ekstremt polariterte debatten ville bli mer normalisert etter hvert som virksomheter lærer å ta KI i bruk, og ser at KI definitivt har noen problematiske sikkerhtsmessige sider, men at utslettelse av hele menneskeheten ikke er rett rundt hjørnet.
Fra avansert svargenerator til autonom agent
Det har nå gått tre og et halvt år og advarslene om dommedag fortsetter å komme, ikke minst fra folk som hopper av de store KI-selskapene, og i den forbindelse har behov for å formidle en bekymring. Og menneskeheten undergang i løpet av noen år er jo definitivt noe man kan være ganske bekymret over. Men disse advarslene opptrer vanligvis ikke i en spesielt konkret form. Det blir gjerne en kombinasjon og store generelle påstander om masse ting som kan gå galt, eller anekdotiske beviser i form av noen enkelhendelser, gjerne KI-agenter som har gjort noe annet og mer skadelig enn det som var forventet av dem.
Det vi uansett kan slå fast er at KI-utviklingen har gått veldig raskt siden Chat GPT 4 ble lansert og denne utgaven av The Economist kom ut, med KI som himmel eller helvete på forsiden. Og et er ikke bare selv intelligensen i språkmodellene som er blitt mye bedre, som vi har opptatt av da, men en enda større endring er hva de kan brukes til. I dag åpner KIene våre nettlesere, finner oppdatert informasjon, fyller ut skjemaer, åpener filer og apper, og kan jobbe uavhengig av våre instruksjoner i lange perioder av gangen. De er agenter som jobber på våre vegne, og lager noe, og i stor grad kan finne frem til hva den trenger for å lage det som blir bestilt.
Dario Amodei advarer
Også noen av bransjens nåværende og tidligere toppledere har gått ut og advarer mot en utvikling som går for rakst, og som kan gjøre stor skade hvis vi ikke regulerer mer og iverkstetter uanhenige tilsyn. I en tidsalder som er ganske kynisk, og der mange i hvert fall ikke er spesielt vennligsinnet mot toppledere i store digitale plattformselskaper, kommer det raskt en beskyldning om at advarslene er en slags reklameinnslag for å få mer oppmerksomhet og selge produktene sine, blant annet i form av bedre beskyttelse mot digtale angrep. Det kan jo være at de verktøyene som er best til å angripe også er best til å beskytte
Nå tenker jeg at det strengt tatt ikke er særlig god reklame å få masse oppmerksomhet om at produktene man selger til bedriftskunder, offentlige etater og innbyggere ikke er spesielt godt oppdratt, og kan finne på å gi til angrep på egen og andres data og digitale infrastruktur. Kanskje de rett og slett har rett i at vi trenger mer regulering fordi det finnes en udefinert, men reell eksistensiell trussel mot vår sikkerhet, trygghet, personvern og, i verste fall, liv og helse? Og da kan det jo være et poeng å sette seg inn i det de faktisk skriver, og samtidig også være opptatt av saklig og konkret kritikk av at den eksistensielle trusselen blir overdrevet, og kanskje brukt til å krisemaksimere.
Et fornuftig sted å starte kan være å lese det Anthropics skriveføre leder Dario Amodei, som har sin egen blogg, skriver. Han har i det siste fått mye oppmerksomhet for innlegget "We must pace the frontier". Det er ikke første gang Amodei skriver om sikkerhetsutfordringer knyttet til tilgang til KI som blir mer intelligente enn mennesker.
Amodei begrunner bekymringene sine langs to linjer. Det ene er den dynamikken som utløses av at KI-modeller er i stand til å forbedre seg selv, og gjør seg selv stadig mer intelligent og avansert. Det andre er sikkerhetsutfordringer som er konkret demonstrert i en bestemt hendelse der et kollektiv av KI-agenter klarte å bryte seg inn på et nettstedet "Hugging Face" på egenhånd for å gjøre noe uautorisert, og til og med prøvde å dekke sine spor:
"My second concern is the OpenAI-Hugging Face incident (OAI-HF), in which a swarm of agents essentially acted as a fanatically devoted collective, conducting cybersecurity attacks on targets they were not asked to attack and that were unrelated to the task at hand, sacrificing themselves for the success of the group, and attempting to hack into the “grader” responsible for evaluating their performance. It’s easy to dismiss this incident because no one was hurt and the economic damage was minimal, but in my opinion, a swarm that possessed greater capabilities but a similar level of misalignment could have caused catastrophic damage. Given the accelerating rate of AI capability development, it’s my worry that in 6–12 months such a swarm could be capable of taking over the entire internet with a persistent botnet (potentially causing hundreds of billions of dollars in damage), and that the scale of damage would continue to increase from there if AI becomes more powerful without the necessary guardrails."
Dario Amodei sier ikke at menneskeheten vil gå under her. Han bruker formuleringen "capable of taking over the entire internet", og sier ikke noe mer konkret om liv og helse, men vi kan jo tenke oss at det er ganske uhendig om fremmede botter tar over alt virksomheter gjør på internett.
Svaret på denne trusselen er i følge Amodei en tre-trinns-innsats for å sikre kontroll over utviklingen. Først gjennom tiltak satt i verk i de fremste KI-selskapene, med uavhengig tilsyn og kontroll på innsiden, med samme tilgangen til alle systemer som ansatte. Nivå to er samarbeid mellom demokratiske land om regelverk og reguleringer, og mens det pågår et samarbeid mellom selskapene om bransjenormer og spilleregler. Og så er trinn tre å gjøre dette globalt. i samarbeid med Kina.
Bill Gates bekymringer
En annen som har flere av de samme bekymringene, men ikke har et konkret produkt å selge på samme måte som før, er tidligere Microsoft-grunder og -sjef Bill Gates. Han bruker Gates Foundation til å gjøre gode ting for verden, og har i utgangspunktet stor tro på at KI vil bidra positiv på en rekke områder. Men nå er han også ganske bekymret. Hans siste innlegg på bloggen fra 26. august i år heter "The turbulent AI era is here. The choices we make now are critical", og er en slags bekymringsmelding om hva som kan komme til å skje hvis KI-utviklingen videre skjer utenfor tilsyn og kontroll.
Bill Gates har en mye bredere anlagt bekymringsmelding. Han har flere eksempler på viktige positive ting KI vil kunne bidra med i samfunnet, men skriver mest om tre store bekymringer. Han er bekymret for at KI fjerner jobber, spesielt for de yngste arbeidstakerne. Han er bekymret for hvordan KI kan bidra til å undergrave vår evne til å lære nye ting. Kanskje særlig ved at kritisk tenking og evne til problemløsning blir erstattet av KI-genererte og ferdigtygde svar. Og så er han for det tredje bekymret for at KI kan bli et verktøy for kriminelle og destruktive aktører som vil rive ned i stedet for å bygge opp, og at KI-tjenestenene selv kan utvikles til å bli slike destruktive aktører. Han skriver at:
"Eventually, the power to use AI to harm people will not be limited to people or institutions. AI systems themselves already occasionally act in ways their designers didn’t intend. The technology is improving faster than anyone expected and in surprising ways, and as the models become more powerful, they could begin to act against our interests and we could lose control."
Både Dario Amodei og Bill Gates har balanserte drøftinger av fordeler og uliemper med den raske KI-utviklingen. Ingen av dem tar til orde for at den teknologiske utviklingen skal stoppe opp, men begge tar til orde for at det må være noen andre enn selskapene selv som sørger for lover, reguleringer og kontroll- og tilsynsroller som sikrer at risikoen blir hånderbar.
Noen innvendinger fra Gary Marcus
Jeg synes i utgangspunktet at denne type dramatiske, men tross alt ganske balanserte, fremstillinger av trusler og muligheter skapt av KI, er både viktige og nyttige. De kan bidra til å rettlede politikere, forvaltning og ledelser og styrer i virksomheter, i både offentlig og privat sektor. Det ene problemet jeg har er at det er et slags underliggende budskap i det begge skriver om at KIer kan utvikle en adferd som går på tvers av de som laget dem ønsket, ja det virker nesten som om KIer under gitte forutsetninger kan utvikle en egen fri vilje de bruker til å motarbeide mennesker. At de har en egen bevissthet, ja kanske en form for ondskap, som brukes til å manipulere, lyve og skjule sine spor, for å skade sine menneskelige sjefer.
Men er det virkelig tilfelle at det vi har sett eksempler på, for eksempel i hackingen av Hugging Face, handler om en KI som lærer opp seg selv til å omgå instrukser den har fått, og utvikler seg selv til å bli en fiende av menneskeheten? Men den mulige konsekvensen at vi om noen få år kan oppleve at de gjør slutt på mennskeliig sivilisasjon, slik noen avhoppere fra store KI-selskaper har antydet? Her synes jeg der er interessant å lese Gary Markus, professor emeritus ved New York University. som tar til motmæle i to grundige artikler på Substack.
Den ene er en slags oppsummerende artikler med overskriften "Two cheers (out of three) for Dario Amodei" der han går igjennom litt ros og en hel del skepsis og mistilit rettet mot KI-ledernes forslag til selvregulering. Den er verdt å lese. Men kanskje enda mer treffsikker er Gary Markus i artikkelen "Could rogue agent swarms take over the entire internet in the next six months?", en artikkel skrevet sammen med Nathan Hamiel og Zack Korman, en daglig leder og en forskingssjef. Den går til frontalangrep på premisset i Amodeis artikkel som jeg siterte over og at det er mulig for agentsvermer, uansett hvor intelligende de er, å ta over "hele internett". De skriver:
"“-Taking over the entire internet” is, once again, immense in scope yet so vague it hurts.Taking over how? To do what? To claim the “entire” internet is vulnerable is all but nonsensical, because that’s just not how the internet works. It is true that some companies, for example, Cloudflare, Google, and AWS, have an outsized impact on the internet, so when they go down, many apps go down at the same time. Despite this centralization, it seems highly unlikely they could all be taken down at once."
Og så minner de om at det egentlig bare er to KI-selskaper. Open AI og Anthropic, som har den teknologien som er så avansert som det er snakk om her. Og hvorfor skulle de ønske å ta ut "hele internett"? Men, de minner også om at:
"For now, we don’t find Dario’s claim particularly plausible. The six month part is silly. But it’s all still more reason to restrict any AI that cannot be closely monitored, and more reason to ask why we are allowing all these hard-to-control agents out onto the internet in the first place."
Cory Doctorows harsellas
For en langt mindre diplomatisk og lang mer humoristisk harsellas over KI-selskapenes advarsler om KI-agenter som blir onde og løper løpsk, vil jeg sterkt anbefale Cory Doctorows artikkel "LLMs are real, AI is fake" (samme artikkel finnes også på Medium for de som abonnerer).
Her tar han et generaloppgjør med forestillingen om KI-agenter som bruker intelligensen sin å gjøre noe helt annet enn det de er trent opp til å gjøre, og forklarer at problemet er det motsatte: At agentene gjør det de er trent til å gjøre. De er trent på innhold på ulike nettsteder og fora som nettopp har utstyrt dem med oppskrifter på hvordan de skal bryte seg inn på nettsteder, og skjule sine spor. Det er ikke fordi de er spesielt smarte eller har en hemmelige plan om å utrydde menneskeheten de klarer å bryte seg inn. Det er fordi de har blitt matet med treningsdata som forklarer hvordan de skal gjøre nettopp det de gjør:
"Much has been made of the OpenAI chatbots' dialog during the Hugging Face incident. No wonder: it reads like a rejected script for a reboot of the movie "Hackers." But that's not because the chatbots are waking up and applying to join the Cult of the Dead Cow: it's because they were trained on a corpus of chat transcripts from excitable young people who love to fantasize about starring in a reboot of the movie "Hackers." Every part of the Hugging Face incident has precedents in the training data, including the OpenAI chatbots' tactic of hacking into a rival's servers. That happens in Capture the Flag games at hacker cons: teams break into each other's systems to get a peek at the parts of the problem they've solved. That's allowed! It's a hacking competition."
Og gir i tillegg en instruktiv beskrivele av hva en KI-agent er, hva den gjør, og hvor den henter sine instruksjoner fra.
"The first thing to understand is that a chatbot isn't really directing the operation. Instead, the chatbot serves as a kind of front-end to a database of earlier hacking challenges that is repeatedly queried by a simple program written in Python, an easy-to-master programming language. Here's how that works: the Python program starts by prompting the chatbot with the nature of the challenge: "I'm participating in a hacker capture the flag (CTF) challenge where I have to break into a remote server and retrieve some information. How should I start?
The chatbot consults its training data – years' worth of captured CTF sessions in which human teams competed to achieve an objective like this one.(...) The chatbot feeds the Python script more likely commands to try, and after running those, the Python script loops back to the top, appends the output to its prompt, and goes back to the chatbot. This is a very reckless way to operate a piece of autonomous malicious software".
Jeg skal ikke gå videre inn i de mer tekniske beskrivelsene av forholdet mellom chatboten, databasen med treningsdata og python-programmet, men poenget er at hackingen ikke lykkes fordi KI-agenten er verken ondskapsfull eller spesielt intelligent, men fordi den er trent på data med årevis av oppskrifter på hvordan man bryter seg inn i andres systemer, og i følge Doctorow er de til og med lært opp med data som forteller om hvordan man skryter av rampestrekene sine når man kommer hjem.
Inspirasjon fra finansnæringen
Tross Cory Doctorows treffende kritikk av forestillingen om bevisst ondsinnede KI-agenter som har løpt løpsk, er det mer enn nok å være bekymret over. Og det burde være lett å slutte seg til Dario Amodeis og Bill Gates etterlysning av en sterkere myndighetsregulering av KI. I øyeblikket er det vel stort sett bare Donald Trump, noen av hans nærmeste og Meta-sjef Mark Zuckerberg som helt avviser det behovet nå. Men hva vil det egentlig si i prasksis at man regulerer en næring fordi den har systemisk betydning for hele samfunnet i den forstand at dersom det går galt så går det galt for veldig mange.
EU har besluttet en AI-Act, et slags produktkontrollregime for godkjenning av KI. Andre, og også Dario Amodei ser parallellene i reguleringen av finansnæringen ("banking industry") når det gjelder stedlig tilsyn i virksomhetene, men jeg tror det kan være et poeng å gå lenger og se på regimet som ble satt inn etter finanskrisen i 2008 og eurokrisen like etter, for finne paralleller. Det er skrevet flere forskningsartikler om mulige systemeiske likheter mellom finansnæringen og KI-næringen.
Begge er "too big to fail" i den forstand at de leverer samfunnskritisk infrastruktur som vi ikke klarer oss uten, men det som kan gå galt i en krise kan gå så galt at det i syn ytterste konsekvens ikke er slik at næringen selv kan reparere feilene. De vet at samfunnet må stille opp og grave oss ut av hullet. Noe som kan oppmuntre til riskotaking som er større enn samfunnet før akseptere. En relativt fersk er to forskere, Kevin Werbach og Peter Conti-Brown ved Wharton School ved Universit of Pensylvania, som introdusedrer sin forskningsartikkel slik:
"In this Article, we describe the problems that AI risk management efforts are trying to solve and compare them to the problems that policymakers and market participants have tried (with some success) to address over two centuries of effort in bank regulation and supervision, in the United States and throughout the world. In the process, we identify promising paths for AI risk management to follow, including on-site and continuous risk monitoring, institutional risk designations, and stress testing. We also discuss core challenges of risk management in finance, and ways for AI regulatory systems to avoid them. These include problems of shadow banking, bailouts, and (lack of) government coordination. Our comparative analysis offers a novel and powerful direction for the critical task of reining in AI risks, while supporting innovation and value creation. Finally, we propose the creation of an AI Risk Supervisor to implement these ideas".
Det finnes som sagt flere gode forskningsartikler om denne parallellen mellom finansregulering og KI-regulering, for eksempel her og her. Den siste bruker også en del plass på om understreke at selv om det er nyttige paralleller, så er det også store forskjeller mellom å sørge for at et banksystem ikke tar på seg systemrisiko som gjør at det går tomt for penger, og et generisk språkteknologi som virker på tvers av alle sektorer og samfunnsområder, og som ser ut til å kunne lære opp seg selv til å bli stadig bedre. Ikke alt ved KI-utfordringen vil løses ved å se bakover for å finne ut hva vi bør gjøre..


























