Hvem har ansvaret for kvalitetssikring av konsulentrapporter?

Av Tuyet Anh Pham, seniorforsker v/Folkehelseinstituttet, dr. med. 

Kunnskapsrapporter leveres av både offentlige forskningsinstitusjoner og private konsulentselskaper, og oppdragsgiver er som regel offentlige virksomheter, interesseorganisasjoner og større private aktører.

Felles for alle private oppdragsgivere og interesseorganisasjoner er ønsket om å påvirke politiske beslutninger til deres fordel, og kunnskapsrapporter blir brukt for å fremstille virkeligheten fra deres ståsted. Offentlige virksomheter har pga. ressursknapphet, i økende grad bestilt konsulentrapporter uavhengig av hvilken regjering som besitter makten. Dette gjelder også nåværende regjering til tross for at den har som mål å redusere bruken av konsulentrapporter. Det er etter mitt syn mindre interessant hvem som leverer rapportene, for det sentrale poenget må jo være: er rapporten i stand til å besvare oppdragsgivers spørsmål, og hvor godt kvalitetssikret er konklusjonene i rapporten?

Systematiske kunnskapsoppsummeringer

Til det første poenget: rapporten må kunne svare ut det oppdragsgiver ønsker svar på. For å sikre dette, forutsettes det at oppdragsgiver har god bestillerkompetanse. Det fins mange ulike typer kunnskapsrapporter. Noen oppsummerer eksisterende vitenskapelig kunnskap, mens andre gir en hurtig og overordnet innføring i et tema eller gir uttrykk for et synspunkt.

Førstnevnte er gullstandarden, en såkalt systematisk kunnskapsoppsummering, ofte også kalt kunnskapssyntese eller kunnskapssammenstilling. Denne typen rapport besvarer et klart definert spørsmål ved å oppsummere eksisterende vitenskapelig litteratur av høy kvalitet, identifiserer kunnskapshull, samt synliggjør hvor stor tillit vi har til konklusjonene.

I langtidsplanen 2023-2032 for forskning og høyere utdanning (Meld. St. 5 (2022-2023)) står det: «Regjeringen vil bidra til økt bruk av systematiske kunnskapsoppsummeringer i offentlig virksomhet». Dette er en solid satsing og legger et godt grunnlag for beslutninger om samfunnet hadde klart å levere det antallet kunnskapsoppsummeringer som det er behov for. En systematisk kunnskapsoppsummering tar i snitt 1-3 år å ferdigstille og koster mellom 1.5- 3 millioner kroner.

Konsulentrapporter

For mange politiske beslutningsprosesser vil en systematisk kunnskapsrapport ta altfor lang tid å utarbeide og koster for mye, og man ønsker derfor i mange tilfeller å basere seg på forenklede rapporter som ikke rent sjelden leveres av konsulentselskaper. Dette mener jeg er uproblematisk, om leverandøren holder seg til tre ufravikelige prinsipper: gjennomsiktighet, etterprøvbarhet og objektivitet.

For å etterkomme disse tre kravene må rapportene ha en klar og detaljert protokoll med metodebeskrivelse, samt at de må ha vært gjennom en ekstern fagfellevurdering. Fravikes ett av disse kriteriene, vil det så tvil om faktagrunnlaget er riktig og vil i neste steg føre til svekkelse av konklusjonene i rapporten.

Hensikten med en protokoll er å gjøre arbeidsprosessen gjennomsiktig og at konklusjonene skal være etterprøvbare, dvs. at dersom andre forskere følger protokollen, vil de også finne de samme referansene og komme til omtrent samme konklusjon. En protokoll må som et minimum inneholde søkeord og kombinasjoner av disse, søkeperiode, søkedato, databaser det er utført søk i, forhåndsdefinerte inklusjons- og eksklusjonskriterier, samt en beskrivelse av hvordan inkluderte referanser er blitt kvalitetsvurdert. Dette er en av bærebjelkene i enhver rapport, for uten en detaljert protokoll, vil ikke arbeidet kunne ettergås av andre forskere og dermed vil tilliten til rapporten svekkes.

Som bestilt?

Ekstern fagfellevurdering innebærer at forskere med svært god innsikt i det aktuelle fagfeltet og som ikke har noen tilknytning til arbeidet med rapporten, gjennomgår rapportens innhold for svakheter og styrker. Dette utføres for å sikre en streng kvalitetsvurdering av alle deler av rapporten og sørger for at konklusjonene i rapporten er bygget på et objektivt kunnskapsunderlag vurdert av uavhengige fagfeller.

Hvorfor er det slik at svært ofte konkluderer konsulentrapportene i tråd med oppdragsgivers syn, og at rapportene blir beskyldt for å være et partsinnlegg og bestillingsverk?

Ved gjennomgang av en del konsulentrapporter er det gjennomgående totalt fravær av protokoller, og de få gangene protokollene foreligger er de svært mangelfulle. Rapportene lar seg sjelden ettergå og uten en protokoll, vil det være en umulig oppgave å forstå på hvilket grunnlag de inkluderte referansene i rapporten er valgt ut. Er noen referanser foretrukket fremfor andre? I den grad fagfellevurdering praktiseres, brukes det i utstrakt grad fagfeller som er tilknyttet konsulentselskapet enten i form av formelle eller uformelle bindinger. Ved bruk av en intern fagfelle, vil det bryte med prinsippet om uavhengighet, og fagfellevurderingen strippes for all troverdighet.

Mangler kvalitetssikring

Legger man kriteriene for gjennomsiktighet, etterprøvbarhet og objektivitet til grunn for enhver rapportering, vil alle rapporter kreve økt ressursbruk og vil nødvendigvis bli dyrere uansett om det blir utarbeidet av offentlige institusjoner eller private konsulentselskaper. Nettopp denne tilnærmingen har det offentlige valgt, da utredninger fra offentlige institusjoner vektlegger disse kravene i høy grad og ressursbruken i tid og penger blir deretter.

Konsulentselskaper synes å ha hoppet bukk over kvalitetssikringen og er mindre nøyaktige med å oppgi metodebeskrivelser og hvordan de har valgt ut referanser. I tillegg har de tonet ned viktigheten av ekstern fagfellevurdering i sine leveranser. Summen av dette fører til mindre troverdighet til konklusjonene i konsulentrapportene, og da er spørsmålet: hva kan disse rapportene brukes til?

Dessverre er nok ikke alle oppdragsgivere klar over viktigheten av å inneha høy bestillerkompetanse, nettopp for å sikre seg mot slike snarveier og raske løsninger som resulterer i formålsløse rapporter eller enda verre, feilrapporteringer. Oppdragsgiver må bruke god tid på å utforme bestillingen og sørge for at riktig type rapport bestilles, slik at den besvarer det man ønsker svar på. Det vil være helt bortkastet av både tid og ressurser, hvis det viser seg at bestillingen ikke svarer ut rapportens mandat.

Spesifikke krav om kvalitet

Dessverre skjer dette altfor ofte, enten tilsiktet eller utilsiktet. Riktig bestilling krever svært god innsikt i arbeidet med å utarbeide kunnskapsrapporter, og oppdragsgiver bør sikre seg denne kompetansen så tidlig som mulig i bestillingsprosessen. Oppdragsgiver bør også følge opp bestillingen underveis med kontroll av hvordan datasyntesen utføres og om det er god sammenheng mellom datagrunnlaget og de konklusjoner som trekkes.

Det er helt nødvendig å kvalitetssikre alle rapporter hvor oppdragsgiver ønsker å påvirke eller som skal legges til grunn i politiske beslutningsprosesser. Det offentlige bør ha et overordnet ansvar for kvalitetssikring av konsulentrapporter ved å fremsette spesifikke krav til kvalitet.

Når først disse kvalitetskriteriene er oppfylt, kan konsulentrapporter defineres som en kunnskapsrapport. Dette for å sikre at beslutningstakere har et objektivt og riktig kunnskapsunderlag i valg de tar på vegne av samfunnet. Å ta valg som er basert på feil premisser, kan ikke være arbeidsmetoden til våre beslutningstakere. Å ta feil valg vil ikke gagne noen, og i verste fall, kan valgene føre til uopprettelige skader. Kortsiktig gevinst for noen få, kan potensielt føre til store tap for samfunnet, spesielt i retningsgivende valg på vegne av hele samfunnet. Og nettopp derfor må vi få ha et system for kvalitetssikring av konsulentrapporter.