[Her skriver du inn tittel]

Prosjektplan for forskningskart

Sammendrag

[Skal være maks. én side. Bruk Cambria 11, linjeavstand Flere 1,2 (gjelder all brødtekst i hele malen). Bruk enkelt språk. Gi superkort innledning med bakgrunn. Tydeliggjør mål og problemstilling for forskningskartet.] Et forskningskart er en type systematisk kunnskapsoppsummering som sorterer og synliggjør den tilgjengelige forskningen om en bred problemstilling. [Gi en kort oppsummering av metoden]	Tittel: [Tekst] ----------------------------------- Prosjektplan for forskningskart ----------------------------------- Oppdragsgiver: [XXX] ----------------------------------- Bestillingsdato: [dd.mm.åååå] Leveringsfrist: [dd.mm.åååå] ----------------------------------- Lag: [Navn](lagleder) [Navn] [Navn] [Navn] ----------------------------------- Fagfeller: [Navn, stilling], FHI [Navn, stilling, institusjon] [Navn, stilling, institusjon] Godkjent av: [Navn], avdelingsdirektør, FHI [Navn], fagdirektør, FHI

Summary

[Summary skal speile norsk Sammendrag.] Evidence and Gap Maps (EGMs) are a systematic evidence synthesis product that display the available evidence relevant to a broader research question.	Title: [Text] ----------------------------------- Protocol for evidence and gap map -----------------------------------Commissioner: [XXXX] ----------------------------------- Commissioned date: [dd.mm.yyyy] Due date: [dd.mm.yyyy] ----------------------------------- Team: [Name (team leader) [Name] [Name] [Name] ----------------------------------- Peer reviewers: [Name, position], NIPH [Name, position, institution] [Name, position, institution] Approved by: [Name], Department Director, NIPH [Name], Specialist Director, NIPH

Oppdrag

Folkehelseinstituttet (FHI) fikk [dd.mm.åååå] i oppdrag av [oppdragsgiver] å kartlegge forskning om [problemstilling]. Formålet med dette forskningskartet er [skriv inn hva oversikten skal brukes til].

Innledning

[Sett inn tekst og ev. ytterligere overskrifter etter behov iht. problemstillingen.]

Beskrivelse av problemet

[Tekst]

Hvorfor det er viktig å utarbeide dette forskningskartet

[Tekst]

Mål og problemstilling

Hensikten med dette forskningskartet er å sortere og synliggjøre forskning om [type forskningsspørsmål] for/ved/av [helse- eller velferdsproblem og/eller tiltak/eksponering] for/hos [typer mennesker, sykdom eller problem og kontekst hvis spesifisert].

Metode

Et forskningskart er et systematisk kunnskapsoppsummeringsprodukt som synliggjør den tilgjengelige forskningen som gjelder et spesifikt, bredere forskningsspørsmål. Denne typen forskningskartlegging egner seg særlig godt til å identifisere kunnskapshull, da den forutsetter et forhåndsbestemt konseptuelt rammeverk for hvilket forskningstema og hvilke typer forskningsdesign som skal kartlegges. Metoden innebærer systematiske litteratursøk, utvelgelse av studier basert på forhåndsbestemte inklusjonskriterier, kvalitetsvurdering av de inkluderte studiene og koding av inkluderte studier innenfor et forhåndsbestemt rammeverk.

Metodene som brukes i utarbeidelsen av dette forskningskartet er basert på FHIs metodebok (Ref1) og Campbell Collaborations retningslinje for forskningskart (Ref2).

Inklusjonskriterier

Vi bruker følgende inklusjonskriterier:

Studiedesign
Populasjon
Intervensjoner/ eksponering
Sammenlikninger
Utfall
Publikasjonsår
Land/kontekst
Språk
Studiestatus
Annet

Eksklusjonskriterier

Vi ekskluderer studier og publikasjoner som:

Litteratursøk

Søk i databaser

Bibliotekar [Navn] vil utarbeide en søkestrategi i samarbeid med prosjektgruppen og utføre søkene. Søket vil inneholde relevante kontrollerte emneord (f.eks. Medical Subject Headings), tekstord (ord tittel og sammendrag), og avgrensninger som gjenspeiler inklusjonskriteriene. En annen bibliotekar [(Sett inn navn hvis bestemt)] fagfellevurderer søkestrategien. Søket avsluttes etter planen i [måned 20xx] og inkluderer søk i følgende databaser:

[Database 1, (Plattform)]

[Database 2, (Plattform)]

[Database 3]

…

…

Søk i andre kilder

[Beskriv ev. søk etter grå litteratur, pågående studier, kontakt med eksperter og gjennomgang av referanselister. Oppgi planlagte søkekilder, hvem som skal gjøre søkene og ev. når og hvordan de skal utføres]

Utvelging av studier

Prosjektmedarbeiderne ([Navn]) gjør uavhengige vurderinger («screening») av titler og sammendrag fra litteratursøket opp mot inklusjonskriteriene. Studiene som vi er enige om at er relevante innhenter vi i fulltekst og to prosjektmedarbeidere gjør uavhengige vurderinger av disse. Vi vil pilotere inklusjonskriteriene på de 200 første studiene, for å sikre at prosjektmedarbeiderne har en felles forståelse for inklusjonskriteriene. Uenighet om vurderinger av titler/sammendrag og fulltekster løser vi ved diskusjon eller ved å konferere med en tredje prosjektmedarbeider ([Navn]).

Vi vil bruke det elektroniske verktøyet EPPI-Reviewer (Ref3, 4) for utvelgelsesprosessen, inkludert ulike maskinlæringsfunksjoner for å effektivisere vurdering av titler og sammendrag. Fordelen med å benytte maskinlæringsfunksjoner i utvelgelsesprosessen er å kunne iverksette effektive utvelgelsestrategier. Dette kan for eksempel være å erstatte dobbeltvurdering (to personer vurderer hver referanse) med enkeltvurdering, eller benytte maskinvurderinger, for noen av referansene. Nedenfor beskriver vi de ulike maskinlæringsfunksjonene det vil være relevant for oss å benytte og deretter hvordan disse kan benyttes for å effektivisere vurderingsprosessen.

[Fjern tekst nedenfor om maskinlæring som ikke passer. I beskrivelsene fins det flere alternative løsninger: fjern de som ikke passer]

I arbeidet med å vurdere titler og sammendrag vil vi benytte «priority screening», som er en rangeringsalgoritme i programvaren EPPI-Reviewer (Ref3, 4). Algoritmen læres opp av forskernes avgjørelser om inklusjon og eksklusjon av referanser på tittel- og sammendragsnivå. Referanser som algoritmen anser som mer relevante blir skjøvet frem i «køen». På denne måten får vi et raskere overblikk over hvor mange referanser som muligens treffer inklusjonskriteriene enn om vi leser referansene i tilfeldig rekkefølge. Ved en tydelig utflating av inklusjonskurven i programvaren / når vi har vurdert x studier på rad (f.eks. 500 studier), eller i x timer (f.eks. 5 timer), uten å ha inkludert én relevant studie / når inklusjonsraten faller under x % i de siste x studier vurdert f.eks. 1 % av de siste 200 leste referansene / når inklusjonsraten i de siste x studiene vurdert faller under «baseline» inklusjonsraten, det vil si hvor mange ble inkludert i et tilfeldig utvalg av studier, vil vi vurdere om én prosjektmedarbeider vurderer de gjenstående referansene alene / eller om vi skal stoppe vurderingen basert på antakelsen om at de resterende referansene høyst sannsynlig er irrelevante [beskriv ev. annen løsning].

Om vi får et stort antall referanser i litteratursøket vil vi vurdere å bruke «automatic text clustering» (Ref5, 6) i programvaren EPPI-Reviewer. Clustering gjør det mulig å raskt få en overordnet oversikt over likheter og ulikheter blant referansene, som kan være nyttig for å raskt identifisere temaområder og andre relevante kjennetegn ved studiene. Denne maskinlæringsfunksjonen analyserer fordelingen og konteksten av ord, deler av ord eller termer i titler og sammendrag, og genererer grupper automatisk basert på fellestrekk i referanseteksten. Hver referanse kan tilordnes én eller flere grupper. Grupper med referanser vi anser som åpenbart irrelevante, vil bli gjennomgått av kun én prosjektmedarbeider / vil bli automatisk ekskludert uten av vi leser dem manuelt. Vi vil rapportere hvilke parametere som benyttes.
For raskt å kunne identifiserer referanser med randomisert kontrollert studiedesign (RCT) vil vi vurdere å bruke eksisterende «Cochrane RCT classifier» (Ref7). Classifieren er bygget, trent opp og validert på 280 000 helsefaglige referanser, som gjør at den med høy grad av sikkerhet klarer å skille mellom ønsket og ikke ønsket studiedesign innenfor dette fagfeltet. Vi kan automatisk ekskludere de studiene som er klassifisert med < [10] % sannsynlighet å være relevante, og forvente å fange opp 99,5 % av studier med ønsket studiedesign.

For raskt å kunne identifisere referanser med systematiske oversikter som studiedesign vil vi vurdere å bruke eksisterende «systematic review» classifier i EPPI-Reviewer. Den er bygget, trent opp og validert med data fra Universitetet av Yorks «Database of Abstracts of Systematic Reviews of Effect» (Ref4) som gjør at den med høy grad av sikkerhet klarer å skille mellom ønsket og ikke ønsket studiedesign innenfor dette fagfeltet. Referanser som blir klassifisert som < [10] % sannsynlig å være av ønsket studiedesign vil bli gjennomgått av kun én prosjektmedarbeider / vil bli vurdert automatisk uten å lese dem manuelt.

Vi vil vurdere å benytte en «custom classifier» modell i programvaren EPPI-Reviewer (Ref3), dersom problemstillingen er tydelig og tiltak[ene] av interesse har en etablert definisjon i litteraturen. En «custom classifier» er en maskinlæringsfunksjon med en tilpasset modell for den gitte problemstillingen som kategoriserer referansene som relevant eller ikke relevant. «Custom classifiers» i EPPI-Reviewer presenterer referansene i henhold til prosentvis sannsynlighet for relevans. Vi vil, basert på en evaluering av modellen vurdere om én prosjektmedarbeider skal gjennomgå referanser som maskinen vurderer til å ha svært lav/eller svært høy sannsynlighet for å møte inklusjonskriteriene / vi skal benytte maskinens vurderinger for de referansene som er vurdert til ha <[20] % > [90] % sannsynlighet for å møte inklusjonskriteriene og vurdere disse uten å lese dem manuelt / beskriv annen metode.

Vi vil lage et flytdiagram av studier fra databasene til endelig inklusjon. Vi vil rapportere hvor mange av referansene som ble vurdert av prosjektmedarbeiderne og ev. hvor mange som ble vurdert automatisk. Gjennomføring og dokumentasjonen av maskinlæringsfunksjonene vil bli gjort i samråd med en medarbeider med tilstrekkelig maskinlæringskompetanse [Navn].

Vurdering av risiko for systematiske skjevheter

(Dette avsnittet slettes hvis vurdering av risiko for systematiske skjevheter ikke inngår i forskningskartet)

Vi vurderer risiko for systematiske skjevheter i de inkluderte [studiedesign1] ved hjelp av [navn på verktøy (Ref)], [studiedesign2] ved hjelp av [navn på verktøy (ref)] … To medarbeidere ([Fornavn Etternavn] og [Fornavn Etternavn]) gjør disse vurderingene uavhengig av hverandre. Uenighet om vurderingene løser vi ved diskusjon eller ved å konferere med en tredje prosjektmedarbeider ([Fornavn Etternavn]).

Uthenting av data og koding

Vi bruker et pilotert datauthentingsskjema i det digitale verktøyet EPPI-Reviewer (Ref3). Én medarbeider (Navn) henter ut data fra de inkluderte studiene og en annen (Navn) kontrollerer dataene opp mot de aktuelle publikasjonene. Ved uenighet konfererer vi med en tredje prosjektmedarbeider (Navn) for å bidra til enighet.

Om vi får et stort antall inkluderte studier vil vi vurdere å bruke clustering for å hjelpe med kodingen. Automatisk genererte grupper vi anser som åpenbart relevante, [blir kodet av kun én prosjektmedarbeider / brukes som kategorier / beskriv annen metode].

Om vi får nok inkluderte studier for å bygge custom classifiers, vil vi vurdere å bruke dem for å hjelpe med kodingen. Studier klassifisert med høy (>90 %) sannsynlighet til å kodes som en viss kategori [blir kodet deretter av kun én prosjektmedarbeider / blir kodet slik på maskinens vurderinger uten at vi leser dem manuelt / beskriv annen metode].

[Ved bruk av EPPI-Mapper] Vi eksporterer dataene fra EPPI-Reviewer i form av en json-fil, som vi laster opp i den digitale plattformen EPPI-Mapper (Ref8). Herfra genererer vi en html-fil som, når den åpnes i Google Chrome, viser et interaktivt forskningskart. [Ved bruk av EPPI-Vis] Vi lager et forskningskart ved å bruke EPPI-Reviewers innbygget datavisualiseringsprogram EPPI-Vis (Ref9).

Studiekarakteristika

Vi henter ut følgende studiekarakteristika fra de inkluderte studiene: [kategori1], [kategori2], [kategori3], [kategori4], … og [kategoriX].

Kodebok

Utviklingen av en kodebok er en del av prosjektet. Hensikten med kodeboken er at prosjektmedarbeiderne skal ha en felles forståelse av hvordan kodene skal brukes. Kodeboken skal derfor spesifisere hvilke hoved- og underkategorier som skal inngå i forskningskartets akser, filter og segmenter, med definisjoner og eksempler.

Prosjektgruppen ved FHI lager først et forslag til kodebok basert på kategorier som brukes i relevante publikasjoner vi allerede har kjennskap til. En referansegruppe bestående av prosjektets eksterne fageksperter og ev. andre de ønsker å rådføre seg med (f.eks. klinikere, brukere), går gjennom og gir innspill til forslaget. Prosjektgruppen ferdigstiller kodeboken basert på innspillene, og piloterer den på et utvalg studier.

Leveranser og publisering

Rapport

Prosjektets sluttprodukt er en rapport som framstiller de inkluderte studiene i tabeller og diagrammer ledsaget av forklarende tekst om forekomsten av forskningsbasert dokumentasjon og kunnskapshull for prosjektets tematikk. Rapporten er først og fremst beregnet for [sett inn hva oppdragsgiver skal bruke rapporten til], men skal også kunne leses av et bredt publikum. Rapporten skal skrives i et klart språk på norsk. Vi vil publisere rapporten sammen med en nyhetssak på www.fhi.no [sett inn antall] uker etter oversendelse til oppdragsgiver.

Digitalt forskningskart

I tillegg vil vi publisere selve forskningskartet på den digitale, interaktive formidlingsplattformen EPPI-Mapper (Ref8). Det digitale forskningskartet vil illustrere forekomsten av studier som handler om de ulike hoved- og underkategoriene. Brukerne av matrisen kan velge en gitt kombinasjon av kategorier, og få opp en referanseliste med studier som er kodet med de aktuelle kategoriene. I tillegg vil brukerne kunne filtrere forskningskartet på de forhåndsbestemte filtreringsvariablene.

Godkjent prosjektplan blir lagt ut på www.fhi.no ev. sammen med en kort nettomtale av prosjektet.

Fagfellevurdering av prosjektplan og rapport

To eksterne fagfeller, [Navn] og [Navn] og én intern fagfelle ved Folkehelseinstituttet, [Navn], fagfellevurderer prosjektplanen.

Prosjektplan og rapport skal klareres av kontaktpunkt i ledelsen før de fagfellevurderes av de to eksterne og den interne fagfellen og før godkjenning av fagdirektør i Folkehelseinstituttets klynge for vurdering av tiltak.

Tidsplan

Startdato:	[dd.mm.åååå, dato for endelig avklaring av problemstilling og inklusjonskriterier]

Leveringsfrist:	[dd.mm.åååå, avtalt dato for oversendelse til oppdragsgiver]

Trinn/delleveranse	Fra dato	Til dato
Utvikling av prosjektplan
Litteratursøk
Utvelging av studier
Vurdering av risiko for skjevheter
Uthenting av data/koding
Rapportutkast
Fagfellevurdering
Godkjenning
Oversendelse oppdragsgiver
Publisering

Tiltak ved ev. forsinkelse

Hvis det oppstår forhold som utgjør en risiko for at leveringsfristen ikke kan overholdes, som f.eks. uforutsett langtidsfravær blant prosjektmedarbeiderne, et større antall søketreff [(sett ev. inn øvre grense)] eller inkluderte studier [(sett ev. inn øvre grense)] enn rammene for prosjektet tillater å håndtere, eller andre forhold, vil et eller flere av følgende tiltak være aktuelle:

Økt bemanning innenfor den avtalte rammen av månedsverk

Erstatte prosjektmedarbeidere ved fravær/sykdom

Ytterligere avgrensninger i inklusjonskriterier (etter avtale med oppdragsgiver)

Forlengelse av leveringsfristen (etter avtale med oppdragsgiver)

Relaterte prosjekter/publikasjoner/studier ved FHI

[Tekst]

Referanser

1. Område for helsetjenester i Folkehelseinstituttet. Slik oppsummerer vi forskning.

Håndbok for Folkehelseinstituttet. 4. reviderte utg. Oslo: Område for

helsetjenester i Folkehelseinstituttet; 2018. Tilgjengelig fra:

2. The Campell Collaboration. Evidence and gap maps (EGMs). Tilgjengelig fra: https://campbellcollaboration.org/evidence-gap-maps.html

3. Thomas J, Brunton J, Graziosi S. EPPI-Reviewer 4.0: software for research

synthesis. 2010.

4. Thomas J GS, Brunton J, Ghouze Z, O'Driscoll P, Bond M EPPI-Reviewer: advanced software for systematic reviews, maps and evidence synthesis. EPPI-Centre, UCL Social Research Institute, University College London; 2020.https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2967

5. Stansfield, Claire, James Thomas, and Josephine Kavanagh. ‘Clustering’ documents automatically to support scoping reviews of research: a case study. Research synthesis methods 4, no. 3 (2013): 230-241.https://pubmed.ncbi.nlm.nih.gov/26053843/

6. Muller, AE, Ames, HMR, Jardim, PSJ, Rose, CJ. Machine learning in systematic reviews: Comparing automated text clustering with Lingo3G and human researcher categorization in a rapid review. Res Syn Meth. 2021; 1- 13. doi:10.1002/jrsm.1541

7. Thomas, J., et al., Machine learning reduced workload with minimal risk of missing studies: development and evaluation of a randomized controlled trial classifier for Cochrane Reviews. Journal of Clinical Epidemiology, 2021. 133: p. 140-151.

8. Digital Solution Foundry and EPPI-Centre (2020). EPPI-Mapper, Version 1.2.5. EPPI-Centre, UCL Social Research Institute, University College London.

9. Eppi Centre (2021). EPPI-Vis (beta). Visualising and Exploring review data. Retrieved 17. Des, 2021, from https://eppi.ioe.ac.uk/EPPI-Vis/Login/Index.Eppi Centre (2021).