Forskningsresultater og feil

How science goes wrong

Det har vært så mye å gjøre i ny jobb den siste uken at jeg ligger litt bak skjema med andre ting, som blogging og lesing av The Economist. Derfor er jeg en uke på etterskudd når jeg anbefaler en leder, "How science goes wrong" og en briefing, "Unreliable research - Trouble at the lab" fra forrige ukes The Economist. Den handler om hvorfor urovekkende mange forskningsresultater innenfor grunnforskningen enten ikke lar seg verifisere av andre eller rett og slett er feil. The Economist skriver i lederen:

"Too many of the findings that fill the academic ether are the result of shoddy experiments or poor analysis. A rule of thumb among biotechnology venture-capitalists is that half of published research cannot be replicated. Even that may be optimistic. Last year researchers at one biotech firm, Amgen, found they could reproduce just six of 53 “landmark” studies in cancer research. Earlier, a group at Bayer, a drug company, managed to repeat just a quarter of 67 similarly important papers. A leading computer scientist frets that three-quarters of papers in his subfield are bunk."

Graden av alvorlighet i dette varierer. Det er mye som ikke er direkte juks, men som av ulike grunner er unøyaktig eller ikke kan reproduseres av andre. Ideelt sett skal feil i forsking oppdages av ny forskning. I forskning er det å finne "negative resultater" like viktig som å verifisere en hypotese. Problemet er at det å få avkreftet en spennende hypotese eller å replikere et forskningresultat noen andre har kommet frem til, ikke gir den samme prestisjen som å oppdage noe helt nytt. The Economist skriver i briefingen at: 

"Academic scientists readily acknowledge that they often get things wrong. But they also hold fast to the idea that these errors get corrected over time as other scientists try to take the work further. Evidence that many more dodgy results are published than are subsequently corrected or withdrawn calls that much-vaunted capacity for self-correction into question. There are errors in a lot more of the scientific papers being published, written about and acted on than anyone would normally suppose, or like to think. Various factors contribute to the problem. Statistical mistakes are widespread. The peer reviewers who evaluate papers before journals commit to publishing them are much worse at spotting mistakes than they or others appreciate. Professional pressure, competition and ambition push scientists to publish more quickly than would be wise.”

Artikkelen går deretter dypere inn i disse problemstillingene på en veldig interessant måte. Vel verdt å lese for alle som er opptatt av forskningskvalitet og forskningspolitikk.