[Her skriver du inn tittel]

(Info erstatter siden med FHIs forside for rapporter før publisering)

Utgitt av Tittel	Folkehelseinstituttet Område for helsetjenester [Skriv tittel] Skal være beskrivende, men ikke for lang. Avslutt med kolon og type oversikt (f.eks. Brukermedvirkning på psykisk helse- og rusfeltet: forskningskart)
English title	[Skriv engelsk tittel] Skal speile norsk tittel
Ansvarlig	Camilla Stoltenberg, direktør
Forfattere	Forfatterrekkefølge skal baseres på innsats. Se råd i admin.håndbok Fornavn Etternavn, prosjektleder, Fornavn Etternavn, Fornavn Etternavn, Fornavn Etternavn,
ISBN	[ISBN nummer] Prosjektleder ber om dette fra biblioteket@fhi.no. Oppgi sitering i henvendelsen til biblioteket.
Publikasjonstype	Forskningskartlegging
Antall sider	[xxx (xxx)] inklusiv vedlegg)
Oppdragsgiver	[tekst]
Emneord(MeSH)	[Bibliotekaren skriver inn relevante MeSH termer]
Sitering	Etternavn fornavns initialer, forfatterne skilles med komma. F.eks. Børtnes KF, Müller AM. [Tittel på rapport]. [Tittel oversatt til engelsk i klammeparentes] −20xx. Oslo: Folkehelseinstituttet, 20xx.

Innhold

Innhold	3

Hovedbudskap	5

Key messages	6

Forord	7

Innledning	8

Beskrivelse av problemet	8

Hvorfor er det viktig å utføre dette forskningskartet?	8

Mål og problemstilling	8

Metode	9

Prosjektplan	9

Inklusjonskriterier	9

Litteratursøk	10

Utvelging av studier	10

Vurdering av risiko for systematiske skjevheter	12

Uthenting av data	12

Presentasjon	13

Resultater	14

Resultater av litteratursøket og utvelgelse av studier	14

Interaktivt forskningskart	15

Studiekarakteristika	15

Populasjoner	16

Intervensjoner (ev. sammenlikninger)	17

Utfall	17

Diskusjon	19

Hovedfunn	19

Kunnskapshull	19

Styrker og begrensninger ved dette forskningskartet	19

Konklusjon	20

Referanser	21

Inkluderte studier	21

Vedlegg 1: Søkestrategi	22

Vedlegg 2: Detaljer om avansert bruk av maskinlæring	23

Vedlegg 3: Kodebok	25

Vedlegg 4: Relevante ekskluderte studier lest i fulltekst	26

Hovedbudskap

[Skal være én side. Bruk Cambria 11, linjeavstand Flere 1,2 (gjelder all brødtekst i hele malen). Bruk enkelt språk. Gi superkort innledning med bakgrunn. Tydeliggjør problemstillingen og hensikten med arbeidet.] Et forskningskart er en type systematisk kunnskapsoppsummering som sorterer og synliggjør den tilgjengelige forskningen om en bred problemstilling. [Angi kort fremgangsmåten for forskningskartet.] [Beskriv funnene og gi en kulepunktliste over hovedfunnene.] [Tekst] [Tekst] [Tekst] [Avslutt med en konklusjon og ev. implikasjoner og behov for forskning.]	Tittel: [Tekst] --------------------------------- Hvem står bak denne publikasjonen? Folkehelseinstituttet, på oppdrag fra !Syntaksfeil, { --------------------------------- Når ble litteratursøket avsluttet? [måned, år] --------------------------------- Fagfellevurdering: [Navn, stilling, institusjon]

Key messages

[Key messages skal speile norsk Hovedbudskap.] An evidence and gap map (EGM) is a systematic evidence synthesis product that categorises and displays the available evidence relevant to a broad research question.	Title: [Text] ---------------------------------- Publisher: The Norwegian Institute of Public Health conducted the evidence and gap map based on a commission from !Syntaksfeil, { ---------------------------------- Updated: Last search for studies: [month, year]. ---------------------------------- Peer review: Navn, stilling, institusjon

Forord

Område for helsetjenester, Folkehelseinstituttet (FHI), fikk i [måned] 20xx i oppdrag av [navn på oppdragsgiver] å utarbeide et forskningskart over forskning om [problemstillingen]. Forskningskartet er relevant for [sett inn hvem].

Område for helsetjenester, FHI, følger en felles framgangsmåte i arbeidet med forskningskart, dokumentert i håndboka «Slik oppsummerer vi forskning». Det

innebærer blant annet at vi kan bruke standardformuleringer når vi beskriver metode,

resultater og i diskusjon av funnene.

Finansiering

[Sett inn] finansierte forskningskartet. [Sett inn] tydeliggjorde problemstillingen og inklusjonskriteriene, men hadde ingen rolle i kartleggingsarbeidet.

Bidragsytere

Prosjektleder: xxx

Interne prosjektmedarbeidere ved FHI: xxx.

Takk til eksterne fagfeller [fornavn etternavn, institusjon] og intern fagfelle [fornavn etternavn] som har gjennomgått og gitt innspill til kunnskapsoppsummeringen. En stor takk også til kollega [fornavn etternavn] for bistand med [sett inn hva bidraget var].

Oppgitte interessekonflikter

Alle forfattere og fagfeller har fylt ut et skjema som kartlegger mulige interessekonflikter. Ingen oppgir interessekonflikter.

Folkehelseinstituttet tar det fulle ansvaret for innholdet i rapporten.

Kåre Birger Hagen fagdirektør	[Navn] avdelingsdirektør	[Navn] prosjektleder

Innledning

[Sett inn tekst og ev. ytterligere overskrifter etter behov iht. problemstillingen.]

Beskrivelse av problemet

[Tekst]

Hvorfor er det viktig å utføre dette forskningskartet?

[Tekst]

Mål og problemstilling

Hensikten med dette forskningskartet var å sortere og synliggjøre forskning om [type forskningsspørsmål] for/ved/av [helse- eller velferdsproblem og/eller tiltak/eksponering] for/hos [typer mennesker, sykdom eller problem og kontekst hvis spesifisert].

Metode

Et forskningskart er et systematisk kunnskapsoppsummeringsprodukt som synliggjør den tilgjengelige forskningen som gjelder et spesifikt, bredere forskningsspørsmål. Denne typen forskningskartlegging egner seg særlig godt til å identifisere kunnskapshull, da den forutsetter et forhåndsbestemt konseptuelt rammeverk for hvilket forskningstema og hvilke typer forskningsdesign som skal kartlegges. Metoden innebærer systematiske litteratursøk, utvelgelse av studier basert på forhåndsbestemte inklusjonskriterier, kvalitetsvurdering av de inkluderte studiene og koding av inkluderte studier innenfor et forhåndsbestemt rammeverk.

I utarbeidelsen av dette forskningskartet brukte vi de spesifikke metodene i den publiserte prosjektplanen (Ref1), basert på FHIs metodebok (Ref2) og Campbell Collaborations retningslinje for forskningskart (Ref3).

Prosjektplan

[Skriv om en prosjektplan fins, og hvor den finnes (f.eks. webadresse), og ev. registreringsnummer. Hvis aktuelt, beskriv avvik/endringer fra prosjektplanen.]

Vi avklarte prosjektplanen med oppdragsgiver [sett inn] før vi utførte oppsummeringen.

Inklusjonskriterier

Vi brukte følgende inklusjonskriterier:

Studiedesign
Populasjon
Intervensjoner/ eksponering
Sammenlikninger
Utfall
Publikasjonsår
Land/kontekst
Språk
Studiestatus
Annet

Eksklusjonskriterier

Vi ekskluderte studier og publikasjoner som:

Litteratursøk

Søk i databaser

Bibliotekar [Navn] utarbeidet en søkestrategi (Vedlegg 1) i samarbeid med prosjektgruppen og utførte søkene. Bibliotekar [Navn] fagfellevurderte søkestrategien. Søket ble avsluttet i [måned 20xx] og inkluderte søk i følgende databaser:

•	[Database 1, (Plattform)]

•	[Database 2, (Plattform)]

•	[Database 3, (Plattform)]

•	…

•	…

[Beskriv kort søkets oppbygging, eksempler på søkeord, bruk av eventuelle filter for studiedesign, avgrensninger, eksport til EndNote og metode for dublettkontroll].

Søk i andre kilder

[Beskriv ev. søk etter grå litteratur, pågående studier, kontakt med eksperter, gjennomgang av referanselister. Skriv ev. at dere ikke søkte i andre kilder, med begrunnelse. Beskriv hvem som utførte søkene, når de ble utført, hvilke kilder og søkemetoder som ble brukt]

Utvelging av studier

Prosjektmedarbeiderne ([Navn]) gjorde uavhengige vurderinger («screening») av titler og sammendrag fra litteratursøket opp mot inklusjonskriteriene. Studiene som vi ble enige om at er relevante innhentet vi i fulltekst og to prosjektmedarbeidere gjorde uavhengige vurderinger av disse. Vi piloterte inklusjonskriteriene på de 200 første studiene, for å sikre at prosjektmedarbeiderne hadde en felles forståelse for inklusjonskriteriene. Uenighet om vurderinger av titler/sammendrag og fulltekster løste vi ved diskusjon eller ved å konferere med en tredje prosjektmedarbeider ([Navn]).
[Fjern tekst nedenfor om maskinlæring som ikke passer. Beskriv ev. bistand eller vei-ledning i bruk av maskinlæring som bør nevnes. F.eks. Gjennomføring og dokumentasjon av maskinlæringsfunksjonene ble gjort i samråd med en medarbeider med tilstrekkelig maskinlæringskompetanse [Navn].]

I arbeidet med å vurdere titler og sammendrag benyttet vi «priority screening», som er en rangeringsalgoritme i programvaren EPPI-Reviewer (Ref4, 5). Algoritmen læres opp av forskernes avgjørelser om inklusjon og eksklusjon av referanser på tittel- og sammendragsnivå. Referanser som algoritmen anså som mer relevante ble skjøvet frem i «køen». På denne måten fikk vi et raskere overblikk over hvor mange referanser som muligens traff inklusjonskriteriene enn om vi hadde lest referansene i tilfeldig rekkefølge. Ved en inklusjonsrate på ≤ x % av de siste x referanser lest / ved en tydelig utflating av inklusjonskurven i programvaren / etter x antall timer med screening uten å finne én relevant studie / etter å ha screenet x antall studier uten å finne en relevant studie, vurderte én prosjektmedarbeider de gjenstående referansene alene / stoppet vi vurderingen basert på antakelsen om at de resterende referansene høyst sannsynlig var irrelevante / beskriv ev. annen løsning som ble benyttet.
Vi fikk et stort antall referanser i litteratursøket og brukte derfor «automatic text clustering» i programvaren EPPI-Reviewer til å identifisere åpenbart relevante eller irrelevante temaområder (Ref6). Denne maskinlæringsfunksjonen analyserer fordelingen og konteksten av ord, deler av ord eller termer i titler og sammendrag, og genererer grupper automatisk basert på fellestrekk i referanseteksten. Hver referanse kan tilordnes én eller flere grupper. Grupper med referanser vi anså som åpenbart irrelevante, ble gjennomgått av kun én prosjektmedarbeider / ble automatisk ekskludert uten av vi leste dem manuelt. For parameterne benyttet for clustering, se vedlegg x.

For raskt å kunne identifiserer referanser med kontrollert randomisert studiedesign (RCT) brukte vi «Cochrane RCT classifier» (Ref7). Classifieren er bygget, trent opp og validert på 280 000 helsefaglige referanser, som gjør at den med høy grad av sikkerhet klarer å skille mellom ønsket og ikke ønsket studiedesign innenfor dette fagfeltet. Vi ekskluderte studier klassifisert med 0-9 % sannsynlighet for å være RCTer, uten å lese dem manuelt.

For raskt å kunne identifiserer referanser med systematiske oversikter som studiedesign brukte vi eksisterende «systematic review» classifier i EPPI-Reviewer. Den er bygget, trent opp og validert med data fra Universitetet i Yorks «Database of Abstracts of Systematic Reviews of Effect» (Ref5), som gjør at den med høy grad av sikkerhet klarer å skille mellom ønsket og ikke ønsket studiedesign. Referanser som blir klassifisert som < [10] % sannsynlig å være systematiske oversikter ble gjennomgått av kun én prosjektmedarbeider / ble ekskludert uten å lese dem manuelt.

Videre bygget vi en «custom classifier». En «custom classifier» er en maskinlæringsfunksjon med en tilpasset modell for den gitte problemstillingen som kategoriserer referansene som relevante eller ikke relevante. «Custom classifier» modellen presenterer referansene i henhold til prosentvis sannsynlighet for relevans. Referanser som ble predikert til å ha (over/under) x % sannsynlighet for å møte inklusjonskriteriene [ble gjennomgått av kun én prosjektmedarbeider / ble basert på prediksjoner for seleksjon vurdert uten at vi leste dem manuelt / beskriv annen metode]. Vi trente modellen på x studier, testet den på x studier, og brukte deretter classifieren på x antall uleste referanser. For ytterligere detaljer om hvordan vi bygget, testet og implementerte classifieren, se vedlegg x.

Vurdering av risiko for systematiske skjevheter

[Dette avsnittet sløyfes hvis vurdering av risiko for systematiske skjevheter ikke inngår i forskningskartet]

Vi vurderte risiko for systematiske skjevheter i de inkluderte [studiedesign1] ved hjelp av [navn på verktøy (ref)], [studiedesign2] ved hjelp av [navn på verktøy (ref)] … To medarbeidere ([Navn] og [Navn]) gjorde disse vurderingene uavhengig av hverandre. Uenighet om vurderingene løste vi ved diskusjon eller ved å trekke inn en tredje prosjektmedarbeider ([Navn]).

Uthenting av data

Vi brukte et pilotert datauthentingsskjema i det digitale verktøyet EPPI-Reviewer (Ref4). Én medarbeider ([Navn]) hentet ut data fra de inkluderte studiene og en annen ([Navn]) kontrollerte dataene opp mot publikasjonen. Ved uenighet trakk vi inn en tredje prosjektmedarbeider ([Navn]) for å bidra til enighet.

[Fjern nedenfor tekst om maskinlæring som ikke passer. Beskriv ev. bistand eller veiledning i bruk av maskinlæring som bør nevnes.]

Vi brukte clustering for å bistå med kodingen. For parameterne benyttet for clustering, se vedlegg 2. Automatisk genererte grupper som vi anså som åpenbart relevante, [ble kodet av kun én prosjektmedarbeider / bruktes som kategorier / beskriv annen metode].

Vi bygget flere custom classifiers for å effektivisere koding. Referanser som ble predikert til å ha [>x %] sannsynlighet for å kodes som x [ble kodet deretter av kun én prosjektmedarbeider / ble kodet slik på modellens prediksjoner uten at vi leste dem manuelt / beskriv annen metode]. Vi trente modellen på x kodete studier, testet på x studier, og brukte deretter modellen på x antall ukodete studier. For ytterligere detaljer om hvordan vi bygget, testet og implementerte «custom classifier» modellen, se vedlegg 2.

Studiekarakteristika

Vi hentet ut følgende studiekarakteristika fra de inkluderte studiene: [kategori1], [kategori2], [kategori3], [kategori4], … og [kategoriX].

Kodebok

Utviklingen av en kodebok var en del av prosjektet (Vedlegg 3). Hensikten med kodeboken var at prosjektmedarbeiderne skulle ha en felles forståelse av hvordan kodene skulle brukes. Kodeboken spesifiserer hvilke hoved- og underkategorier som skal inngå i forskningskartets akser, filter og segmenter, med definisjoner og eksempler.

Prosjektgruppen ved FHI laget først et forslag til kodebok basert på kategorier som brukes i relevante publikasjoner vi allerede hadde kjennskap til. En referansegruppe bestående av prosjektets eksterne fageksperter gikk gjennom og ga innspill til forslaget. Prosjektgruppen ferdigstilte kodeboken basert på innspillene, og piloterte den på et utvalg systematiske oversikter.

[Beskriv ev. resultatene av piloteringen og hvilke implikasjoner de hadde for kodeboken].

Presentasjon

Vi hentet ut forekomster av studier fordelt på de ulike kategoriene ved hjelp av frekvens- og krysstabellfunksjoner i EPPI-Reviewer. Frekvenstallene lastet vi ned i Excel-tabeller, som vi kopierte inn i rapporten.

Digital formidlingsplattform

Vi publiserte forskningskartet på EPPI-Mapper (Ref8 / EPPI-Vis (Ref9). Det digitale forskningskartet illustrerer forekomsten av studier som handler om [hovedkategori1] og [hovedkategori2]. Forskningskartet angir antall studier for hver kombinasjon av de to hovedkategoriene med underkategorier. Brukerne av matrisen kan velge en gitt kombinasjon av kategorier, og få opp en referanseliste med studier som er kodet med de aktuelle kategoriene. I tillegg kan brukerne filtrere forskningskartet på [kategori1], [kategori2], [kategori3], [kategori4], … og [kategori X]

Resultater

Resultater av litteratursøket og utvelgelse av studier

Databasesøkene ga [xxx] treff før fjerning av dubletter (figur [x]). Etter fjerning av dubletter satt vi igjen med [xxx] referanser. Av disse ekskluderte vi [xxx] referanser som åpenbart ikke oppfylte inklusjonskriteriene våre. Vi fikk tak i og vurderte [xxx] publikasjoner i fulltekst, hvorav vi ekskluderte [xxx]. Blant de mest sentrale ekskluderte studiene var eksklusjonsårsaken [årsak 1] for [xx] studier, [årsak2] for [xx] studier, [årsak3] for [xx] studier, … og [årsak4] for [xx] studier (Vedlegg 4). Vi inkluderte [xx] studier fordelt på [xx] publikasjoner [referanser].

Referanser vurdert (n = ) Referanser identifisert gjennom Databasesøk (n = ) Grålitteratursøk (n = ) Register (n = ) Referanser fjernet før screening: Duplikater (n = ) Markert som ekskluderbare av maskinlæringsfunksjon (n = ) Andre grunner (n = ) Referanser ekskludert
Av medarbeidere (n = ) Av maskinfunksjon (n = ) Fulltekster vurdert for inklusjon
(n = ) Fulltekster ekskludert Begrunnelse 1 (n = ) Begrunnelse 2 (n = ) Begrunnelse 3 (n = ) Inkluderte studier
(n = ) Inkludertg Fulltekster ikke funnet (n = ) Fulltekster forsøkt funnet (n = ) Utvelgelse Identifisering

Figur X: Flytdiagram over utvelgelse av studier

Interaktivt forskningskart

[Forklar hvordan forskningskartet er satt opp; hva «boblene» (segmentene») representerer, hva hovedkategoriene i aksene er, hva farge og størrelse på «boblene» har å si og hvilke kategorier man kan filtrere på. Sett gjerne inn en figur med skjermdump av forskningskartet.]

Studiekarakteristika

Vi inkluderte [xx] unike studier i denne oversikten, beskrevet i [xx] publikasjoner [(vedlegg med referanseliste over inkluderte studier)].

[Kategori1]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

Figur 2. [Kategori1, inkluderte studier (N=x)]

[Kategori2]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

.

.

.

[KategoriX]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

Populasjoner

[Forklar hvorvidt kodene/underkategoriene er gjensidig utelukkende og om alle koder/underkategorier var aktuelle for alle studier.]

[Kategori1]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

[Kategori2]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

.

.

.

[KategoriX]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

Intervensjoner (ev. sammenlikninger)

[Kategori1]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

Tabell 1: Inkluderte studier om [kategori1] (N=x)

Type [kategori1]	[Antall studier]
[Underkategori1.1]	[xx]
[Underkategori1.2]	[xx]

[Kategori2]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

.

.

.

[KategoriX]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

Utfall

[Kategori1]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

[Kategori2]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

.

.

.

[KategoriX]

[Beskriv hvordan de inkluderte studiene fordeler seg på de ulike underkategoriene, gjerne illustrert med en figur eller tabell].

Diskusjon

Hovedfunn

[Gi en kortfattet oppsummering av de viktigste resultatene i forskningskartet, det vil si de som omfattes av hovedmålet beskrevet i innledningen.]

Kunnskapshull

[Oppsummer kategorier, ev. kombinasjoner av kategorier, som har få eller ingen studier. Reflekter rundt implikasjonene av dette.]

Styrker og begrensninger ved dette forskningskartet

[Oppgi styrker og ev. metodiske begrensninger ved kartleggingsprosessen, og reflekter rundt disse.]

Konklusjon

[Tekst]

Referanser

Ref til egen prosjekplan

Område for helsetjenester i Folkehelseinstituttet. Slik oppsummerer vi forskning. Håndbok for Folkehelseinstituttet. 4. reviderte utg. Oslo: Område for helsetjenester i Folkehelseinstituttet; 2018. Tilgjengelig fra:

The Campell Collaboration. Evidence and gap maps (EGMs). Tilgjengelig fra: https://campbellcollaboration.org/evidence-gap-maps.html

Thomas J, Brunton J, Graziosi S. EPPI-Reviewer 4.0: software for research synthesis. 2010.

Thomas J GS, Brunton J, Ghouze Z, O'Driscoll P, Bond M EPPI-Reviewer: advanced soft-ware for systematic reviews, maps and evidence synthesis. EPPI-Centre, UCL Social Re-search Institute, University College London; 2020.https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2967

Muller, A.E., et al., Machine learning in systematic reviews: Comparing automated text clus-tering with Lingo3G and human researcher categorization in a rapid review. Res Synth Methods, 2021.

Thomas, J., et al., Machine learning reduced workload with minimal risk of missing studies: development and evaluation of a randomized controlled trial classifier for Cochrane Re-views. Journal of Clinical Epidemiology, 2021. 133: p. 140-151.

Digital Solution Foundry and EPPI-Centre (2020), EPPI-Mapper, Version 1.2.5. EPPI-Centre, UCL Social Research Institute, University College London.

Eppi Centre (2021). EPPI-Vis (beta). Visualising and Exploring review data. Retrieved 17. Des, 2021, from https://eppi.ioe.ac.uk/EPPI-Vis/Login/Index.Eppi Centre (2021).

Inkluderte studier

Vedlegg 1: Søkestrategi

[Tekst]

Vedlegg 2: Detaljer om avansert bruk av maskinlæring

Automatic text clustering

[Inkluder informasjon om parametere benyttet. Nedenfor er en oversikt over parame-terne som det skal rapporteres på]

Custom classifiers

[Inkluder detaljer om hvordan dere bygget, testet og implementerte egen classifier. Nedenfor er et eksempel over hvordan dette skal rapporteres ved bruk i screening. Malen for dette ligger i samme Sharepoint-mappe som rapportmalen]

Vedlegg 3: Kodebok

[Lim inn kodebok tilpasset rapportmalen (formatering/skriftstiler)]

Vedlegg 4: Relevante ekskluderte studier lest i fulltekst

[Tekst eller liste i tabell]

Studie	Eksklusjonsårsak
[Studie]	[Forklaring]