onsdag 9. februar 2011

Forskeres produktivitet

Forskning i næringslivet og annen anvendt forskning gir resultater først når den brukes til innovasjon, kommersialisering eller til politikkutforming i et departement. Det er kundene, eller markedet om man vil. som avgjør hvor vellykket forskningen er.

Forskning ved universiteter og høyskoler er annerledes. Den er mer grunnleggende og mer nysgjerrighetsdrevet, og fordi det ikke er noen umiddelbar anvender som kan avgjøre hva som er bra, kommer  resultatene frem ved at man publiserer i anerkjente internasjonale tidsskrifter eller i artikkelsamlinger. De som vurderer om forskningen er bra, og avgjør hva som kommer igjennom nåløyet, er et panel av "peers", andre forskere som har kunnskap nok til å vurdere kvaliteten.

Dette er en måte å måle kvalitet på det bred enighet om, selv om måten man veier og teller noen ganger kan være gjenstand for diskusjon. Med slike objektive mål på forskningsproduksjon kan man finne ut hvilke forskere som er mest produktive. Og når man kan gjøre det for enkeltforskere kan man naturligvis også legge sammen alle publiseringer på et universitet eller høyskole, dele på antall forskere eller på pengebruken, og så  sammenligne på tvers av institusjoner. I Norge, eller mellom norske og utenlandske universiteter, for å finne ut hvor man får mest forskning for hver krone man bruker.

Aftenposten skrev om hvem som leverer mest forskning pr krone for noen dager siden, og illustrerte det med grafen over. Den i særklasse mest produktive er Høyskolen i Narvik, godt foran Norges Idrettshøyskole, Universitetet i Stavanger, NTNU og Universitetet i Oslo. Nederst på listen er Høyskolen i Bodø (nå Universitetet i Nordland) og BI. Hva det er som gjør at Narvik er så suverent på topp vet jeg ikke, det virker som de har satset veldig systematisk på publisering. Kanskje er det også noen ulikheter her som har sammenheng med fagprofilen, det kan for eksempel virke som institusjoner med mye teknologifag, biofag og medisin er høyere på listen enn de med stor andel økonomifag. Men det er mulig det er helt tilfeldig.

Denne rangeringen er laget til Fagerbergutvalgets pågående arbeid med å se på innsats og resultater i den offentlig finansierte forskningen. I Jan Fagerbergs foredrag for noen dager siden om utvalgets arbeid var det også med en sammenligning mellom de nordiske universitetene. Danmarks Tekniske Universitet topper listen over de mest produktive i Norden, foran Universitetene i Århus, Stockholm og København. Universitetet i Oslo er først på 10. plass, foran Bergen og UMB. (Den norske listen og den nordiske listen har ikke helt lik rekkefølge mellom de norske institusjonene, Det er fordi de to listene vekter publiseringskanal litt ulikt, men hovedbildet er det samme.)

Når rektorer og forskere uttaler seg om forskning i media får man gjerne inntrykk av at det mangler penger, og at mer penger til helt fri forskning vil løse omtrent alt. Men ser vi på forskjellene i resultater mellom institusjonene så ser vi at det er ganske stor ulikhet i hva de klarer å oppnå med like mye penger. Hva er det som forklarer disse store ulikhetene i produktivitet? Jan Fagerberg er i presentasjonen inne på noe helt vesentlig. Det er i dag slik at selv om mange forskere jobber hardt og publiserer mye, er det også forskere ved våre universiteter og høyskoler som ikke publiserer noe som helst. De får lønn for å være forskere, men de forsker ikke.

Universitetet i Tromsø har begynt å jobbe systematisk med å få oversikt over hvor mye forskerne deres faktisk forsker. Der er det slik at en femdel av alle forskerne ikke har publisert noe. Nær halvparten av forskerne har under ett publikasjonspoeng i løpet av fire år. Da kan man jo stille spørsmål ved om det er riktig at folk som får betalt for å bruke halvparten av sin tid til å forske (og den andre halvparten til å undervise) og ikke kan vise til noen resultater, skal få fortsette å legge beslag på så mye ressurser. Det finnes alternativer. De som ikke forsker kunne undervise mer, eller kanskje heller ta en annen jobb. Det er først og fremst rektorene og ledelsene ved universitetene og høyskolene som må gjennomføre denne omstillingen og sørge for at penger til forskning brukes til forskning. Men forskningsministeren må stille seg bak og bidra til at de som fjerner sløsing og gjør noe for å utnytte ressursene bedre også blir belønnet for det.

3 kommentarer :

  1. Impact-factor er det "ingen" som tror er et godt mål lenger. Fagfellevurdering er et binært system for utvelgelse som knapt fungerer mener mange. http://en.wikipedia.org/wiki/Peer_review#Criticism_of_peer_review

    Her er et eksempel på open peer review: http://michaelnielsen.org/polymath1/index.php?title=Deolalikar%27s_P!%3DNP_paper

    Ed Felten har forslått at akademikere bruker litt mer effektive verktøy for versjonskontroll:
    http://www.freedom-to-tinker.com/blog/felten/developing-texts-we-develop-software

    Open Source, kombinert med for eksempel "prize"-systemet blir av noen regnet som en forutsetning for å utnytte kreftene i internett slik at vi får utviklet klimateknologi i tide.

    Zotero har blitt verdens største forskningsnettverk ifølge dem selv. Det er en nettsky-tjeneste som gjør det mulig å dele alle mulige kilder effektivt.

    http://news.yourolivebranch.org/2011/01/03/could-climate-science-become-open-source/

    Statistiske metoder istedenfor hypotese/anti-tese/eksperiment:
    http://www.wired.com/magazine/2010/06/ff_sergeys_search/

    Fokuset på tellekanter har vært gjort i en årrekke uten at det har resultert i noe framgang som jeg har hørt om. Mulig det finnes. Jeg tror at motstanden mot nye måter å gjøre tingene på, og gammeldags Bay-Dohle tenkning er hovedårsaken til at ting går tregt.

    Vil anbefale Ole Røgebergs artikkel om vitenskapsteori i samfunnsøkonomi, med stor relevans for fagfellevurdering som snart kommer i Journal of Economic Methodology. Konkret systematisk kritikk av mye som slipper gjennom kvalitetskontrollen og forslag til forbedringer.

    Pål Lykkja

    SvarSlett
  2. Uansett målemetode, er det vel på tide at institusjonene bruker litt krefter på det problemet alle som har studert på-, jobbet på- eller samarbeidet tett med universiteter og høyskoler kjenner seg igjen i:
    - Noen professorer er gode til å undervise studenter.
    - Noen professorer er gode forskere.
    - Noen få er både dyktige forskere og fantastiske med sine studenter.
    - Litt for mange er ingen av delene.

    Enig med Chaffey. Det er på høy tid å ta tak i dette. I tillegg til dårlig utnyttelse av fellesskapets midler, sperrer utydelige krav til fast ansatte veien for lovende, unge forskerspirer som går på midlertidige kontrakter i årevis mens de venter på at noen skal gå av.

    SvarSlett
  3. Til Mona: Ja, det er mange ting å ta tak i, men det gjelder å konsentrere seg om det viktigste først. For å ta en lignelse: Det hjelper ikke å gjennomgå organisasjonsstrukturen og fakke unnasluntrerne på Titanic så lenge kapteinen selv ikke sørger for å speide etter isfjell og styre skuta. Det som er problemet er at kulturen motsetter seg i litt for høy grad nye vitenskapelige metoder og verktøy. Open Access for eksempel har norske professorer ikke engasjert seg i fordi det er litt for "stort" for dem å tenke på. Hvordan kan det da ha seg at de fint greier å tenke i de banene på UC, Harvard og MIT? Det er en del unge lovende forskere som har begynt med nye metoder, og de kommer til å gjøre det bra, men de gjør det oftest uten noen som helst støtte fra toppen, dessverre.

    SvarSlett