20 tips for å tolke forskningsresultater

Hvordan kan vi sikre at forskningsbasert kunnskap i større grad blir en del av de politiske prosessene og brukes til å oppnå bedre beslutninger? Det er temaet i en artikkel i nettutgaven av det ledende vitenskapelige tidsskriftet Nature.

En løsning de antyder, men forkaster som urealistisk, er at mange flere forskere skal bli politikere. Et annet forslag er å peke ut flere "chief scientific advisers", forskere som fungerer som rådgivere for sentrale politikere i viktige politiske prosesser. Problemet med begge disse modellene er at de ikke angriper kjerneproblemet, som i følge Nature er "scientific ignorance among many who vote in parliaments".

Hva kan man så gjøre med dette? Det å få politikere flest til å begynne å lese og forstå tunge forskningsrapporter fra såpass ulike fagområder som biologi, medisin, utdanningsvitenskap, informatikk og samfunnsøkonomi, som alle kan være viktige for beslutninger på ulike sektorer, men ikke er særlig lett tilgjengelige,, fremstår ikke som veldig realistisk. I stedet foreslår Nature en slags "Plan B" der politikere ikke nødvendigvis må forstå selve fagfeltet i dybden, men må settes bedre i stand til å forstå og tolke de tallene, trendene og resultatene de får presentert. De foreslår rett og slett et lite grunnkurs i 20 sentrale konsepter i vitenskapelig metode:

"In this context, we suggest that the immediate priority is to improve policy-makers' understanding of the imperfect nature of science. The essential skills are to be able to intelligently interrogate experts and advisers, and to understand the quality, limitations and biases of evidence. We term these interpretive scientific skills. These skills are more accessible than those required to understand the fundamental science itself, and can form part of the broad skill set of most politicians. To this end, we suggest 20 concepts that should be part of the education of civil servants, politicians, policy advisers and journalists — and anyone else who may have to interact with science or scientists. Politicians with a healthy scepticism of scientific advocates might simply prefer to arm themselves with this critical set of knowledge."

På listen over "20 concepts" som inngår i Natures forskerskole er det viktige temaer som "No measurement is exact", "Bias is rife", "Extrapolating beyond the data is risky", "Separate no effect from non-significance" og "Beware the base-rate fallacy". Under denne siste overskriften blir vi minnet om at dersom vi skal finne noe som forekommer svært sjeldent (for eksempel en veldig sjelden sykdom) med en unøyaktig test, vil det være langt flere falskt positive resultater enn reellt positive funn, noe som gjør det meningsløst å mene noe presist om hyppighet i den gruppen man har undersøkt.

Et tema på dette kurset som jeg tror er svært relevant å tenke igjennom og forstå i en politisk sammenhengen er temaet "Correlation does not imply causation". Om dette temaet skriver Nature;

"It is tempting to assume that one pattern causes another. However, the correlation might be coincidental, or it might be a result of both patterns being caused by a third factor — a 'confounding' or 'lurking' variable. For example, ecologists at one time believed that poisonous algae were killing fish in estuaries; it turned out that the algae grew where fish died. The algae did not cause the deaths."

Noen advarsler om hvorfor resultater blir som de blir og derfor ikke må trekkes for langt får vi i punktet "Data can be dredged or cherry picked" For ikke å snakke om de politiske implikasjonene som ligger i temaet "Scientists are human", der Nature skriver at:

"Scientists have a vested interest in promoting their work, often for status and further research funding, although sometimes for direct financial gain. This can lead to selective reporting of results and occasionally, exaggeration. Peer review is not infallible: journal editors might favour positive findings and newsworthiness. Multiple, independent sources of evidence and replication are much more convincing."

Artikkelen i Nature heter "Twenty tips for interpreting scientific claims", og er som sagt vel verdt å lese og reflektere over hvis man ønsker å lage kunnskapsbasert politikk, men er usikker på hvor godt grunnlag forskningsresultatene man har fått formidlet gir for å trekke politiske konklusjoner.