Hvor fort er fort? For eksempel når det gjelder digital teknologiutvikling generelt, eller kunstig intelligens (KI) spesielt? Hva skal man egentlig måle for å finne ut hvor fort endring skjer, og hva kan man sammeligne med?
Spørsmålet om hvor fort utviklingen går ble naturligvis aktualisert for et par uker siden da Sam Altmann i Open AI, i beste Steve Jobs- og Apple-tradisjon, viste frem Chat GPT-5 på en stor lanseringskonferanse Neste morgen hadde jeg Chat GPT-5 på PCen, klar til å ta imot mine prompter.
Som vanlig ved disse KI-lanseringene blir det en blandet mottakelse. Noen mener at forbedringene er ganske små, og at "hypen" nå er i ferd med å gå over, eller at forrige versjon kanskje hadde et bedre toneleie i svarene. Mens andre minner om hvor vanvittig mye bedre disse modellene har blitt til å skrive tekst, lage bilder, lage podcaster, lage video og til å programmere, over litt tid.
Stadig raskere KI
Så hvor mye fortere enn før går det egentlig? The Economist har noen tanker om det i artikkelen "OpenAI’s latest step towards advanced artificial intelligence", som er utstyrt med undertittelen "GPT-5 is an update, not a revolution. But revolution may still be on the way". I stedet for å vente på et stort gjennombrudd, argumenterer the Economist men at man må tenke på samme måte som med annen digital teknolgiutvikling der det er snakk om en underliggende kontinuerlig og ekponentiell ytelsesforbedring som kan virke langsom i begynnelsen, men som får en enorm kraft for hver nye fordobling av ytelsen:
"In 2019 GPT-2 could achieve 50% accuracy on the sorts of tasks that took software engineers two seconds to complete correctly. By 2020, GPT-3 could rival those engineers for tasks that took eight seconds; by 2023, GPT-4 could reliably tackle ones that took four minutes. The data, METR says, suggests a doubling every 200-odd days. More than 800 days later and GPT-5, right on trend, can handle tasks that would take a human a little over two hours. (...) Within two years, METR’s trend suggests a model will be able to complete an entire working day’s worth of labour."
Den opprinnelige Moores lov
En fordobling av ytelsen hver 200 dager er en helt vanvittig forbedringshastighet. Jeg har skrevet om den opprinnelige Moors lov her på bloggen flere ganger, blant annet her i 2018. Den ble først formulert av Gordon Moore hos Fairchild Semiconductor, senere Intel, og handlet om prosessorhastigheten i en datamaskin. Wikipedia beskriver den slik:
"Moore's law is the observation that the number of transistors in an integrated circuit (IC) doubles about every two years. Moore's law is an observation and projection of a historical trend. Rather than a law of physics, it is an empirical relationship. It is an observation of experience-curve effects, a type of observation quantifying efficiency gains from learned experience in production. The observation is named after Gordon Moore, the co-founder of Fairchild Semiconductor and Intel and former CEO of the latter, who in 1965 noted that the number of components per integrated circuit had been doubling every year,[a] and projected this rate of growth would continue for at least another decade. In 1975, looking forward to the next decade, he revised the forecast to doubling every two years, a compound annual growth rate (CAGR) of 41%. Moore's empirical evidence did not directly imply that the historical trend would continue; nevertheless, his prediction has held since 1975 and has since become known as a law."
Wrights lov, Coopers lov og andre læringskurver
Dette med at jo flere ganger en industriell prosess blir gjennomført, jo mindre arbeidsinnsats kreves for å nå et gitt resultat, og at kostnadene dermed går ned, er formulert i litt ulike varianter. Man snakker om "erfaringskurver" eller "læringskurver". Theodore Paul Wright har fått æren av å få navnet sitt på "Wrights lov" da han formulerte en kostnadsreduksjonskurve for flyproduksjon:
"The more times a task has been performed, the less time is required on each subsequent iteration. This relationship was probably first quantified in the industrial setting in 1936 by Theodore Paul Wright, an engineer at Curtiss-Wright in the United States. Wright found that every time total aircraft production doubled, the required labor time for a new aircraft fell by 20%. This has become known as "Wright's law".".
En lignende vedvarende og eksponentiell erfartingskurve er observart for mobil radiokommunikasjon, som blant annet påvirker kapasiteten i et gitt spektrum til samtidige mobiltelefonsamtaler. Her er det Martin Coopers lov som gjelder. Den sier at fordobling av kapasiteten inntreffer hver 30. måned, noe som har gjort at vi i løpet av noen tiår har gått fra 2G til 3G til 4G til 5G, med enorme sprang i forbedringer av båndbredden:
"Cooper found that the ability to transmit different radio communications simultaneously and in the same place has grown at the same pace since Guglielmo Marconi's first transmissions in 1895. This led Cooper to formulate the Law of Spectral Efficiency, otherwise known as Cooper's Law. The law states that the maximum number of voice conversations or equivalent data transactions that can be conducted in all of the useful radio spectrum over a given area doubles every 30 months"
Swansons lov for solenergi
For solenergi er det Richard Swanson som har fått æren av formulering av læringskurven som gjør at solenergi er blitt og fortsetter å bli veldig mye billigere, og utkonkurrerer ut gasskraft og kjernekraft, helt uten subsidier. Swansons lov sier at:
"Swanson's law is the observation that the price of solar photovoltaic modules tends to drop 20 percent for every doubling of cumulative shipped volume. At present rates, costs go down 75% about every 10 years"
Nettstedet "Our world in data" skriver at:
"One of the most transformative changes in technology over the last few decades has been the massive drop in the cost of clean energy. Solar photovoltaic costs have fallen by 90% in the last decade, onshore wind by 70%, and batteries by more than 90%. These technologies have followed a “learning curve” called Wright’s Law. This states that the cost of technology falls consistently as the cumulative production of that technology increases."
Et annet område der man har lett etter en lignende formel er batteriers ytelse og pris. Nå er ikke batterier helt som prosessorer eller radiokommunikasjon fordi det i batterier også er kjemiske prosesser og ikke bare å pakke komponenter tettere sammen, slik at kurven ikke er fullt så forutsigbar, men det har likefullt vært en helt imponerende forbedring i ytelsen. Noe som blant annet har resultert i at "rekkeviddeangst" forsvinner som en hindring for å erstatte dieselbiler med elbiler. Our world in data skriver at:
"The price of lithium-ion battery cells declined by 97% in the last three decades. A battery with a capacity of one kilowatt-hour that cost $7500 in 1991 was just $181 in 2018. That’s 41 times less. What’s promising is that prices are still falling steeply: the cost halved between 2014 and 2018. A halving in only four years."
Jensen Huangs lov
Jensen Hunang, NVIDIAs toppsjef, har også forsøkt seg med å formulere en slik forbedringslov. Hans selskap utvikler såkalte GPUer, grafikkort, som er en spesiell versjon av dataprosessorer som driver PC-skjermer og er viktig for spill og andre anvendelser av data som krever spesielt høy ytelse. Disse "skjermkortene" har også funnet sin plass i datasentre som utvikler og driver tjenester med kunstig intelligens. Jensen Huangs postulat er at GPUer forbedrer seg raskere enn CPUer, eller tradisjonelle dataprosessorer. "Huangs lov" har sin egen side på Wikipedia som omtaler den slik:
"Huang's law is the observation in computer science and engineering that advancements in graphics processing units (GPUs) are growing at a rate much faster than with traditional central processing units (CPUs). The observation is in contrast to Moore's law that predicted the number of transistors in a dense integrated circuit (IC) doubles about every two years. (...) The observation was made by Jensen Huang, the chief executive officer of Nvidia, at its 2018 GPU Technology Conference (GTC) held in San Jose, California. He observed that Nvidia's GPUs were "25 times faster than five years ago" whereas Moore's law would have expected only a ten-fold increase
Hvis dette stemmer kan det også bidra til at forbedringshastigheten for KI også kan være raskere, muliggjort av stadig bedre grafikkprosessorer. Men påstanden er omstridt, og en viktig grunn til dette er at Jensen Huang ikke bare er opptatt av selve prosessorens ytelse, men av flere andre ting som virker sammen med prosessoren og til sammen gir en aksellerert forbedringskurve:
"Compared to Moore's law, which focuses purely on CPU transistors, Huang's law describes a combination of advances in architecture, interconnects, memory technology, and algorithms."
En Moores lov for KI?
Så er jo spørsmålet om kunstig intelligenens i en enda mer utvidet forstand en Nvidias arkitektur- og prosesseringssystemer vil følge en tilsvarende rask erfaringskurve og føye seg inn i en rekke digitale forbedringskurver som har fått egne "lover" oppkalt etter seg. Problemet er at kunstig intelligens (KI) ikke er en enekelt teknologi, men er basert på flere ting som skal virke sammen, blant annet tilgang til data, bruk av opptrente språkmodeller, algoritmer og datamodeller, som i sum sørger for at jobben blir gjort stadig grundigere og raskere, til stadig lavere kostnader.
Derfor er det vanskelig å spå at ytelesfordoblinger vil fortsette å komme hver 200 dager i lang tid framover. Det er også slik at ulike typer oppgaver kan følge ulike erfaringskurver, fordi selv om datakraft er viktig så er det som nevnt også andre faktorer som påvirker erfaringskurven. Dagens KI-modeller er bedre til å løse noen typer oppgaver enn andre. Men vi kan nok trygt regne meg at forbedringene vil fortsette og at tempoet vil vil være høyt også i fortsettelsen.
Ingen kommentarer :
Legg inn en kommentar