[Her skriver du inn tittel]

Prosjektplan for [type systematisk oversikt]

Sammendrag

[Skal være maks. én side. Bruk enkelt språk. Bruk Cambria 11, linjeavstand Flere 1,2 (gjelder all brødtekst i hele malen). Gi superkort innledning med bakgrunn. Tydeliggjør problemstillingen og hvilken type systematisk oversikt dette er.] [Gi en kort oppsummering av metoden]	Tittel: [Tekst] ----------------------------------- Prosjektplan for [type systematisk oversikt] ----------------------------------- Oppdragsgiver: [XXX] ----------------------------------- Bestillingsdato: [dd.mm.åååå] Leveringsfrist: [dd.mm.åååå] ----------------------------------- Lag: [Navn](lagleder) [Navn] [Navn] [Navn] ----------------------------------- Fagfeller: [Navn, stilling], FHI [Navn, stilling, institusjon] [Navn, stilling, institusjon] Godkjent av: [Navn], avdelingsdirektør, FHI [Navn], fagdirektør, FHI

Summary

[Summary skal speile norsk Sammendrag.]	Title: [Text] ----------------------------------- Protocol for [type of systematic review] -----------------------------------Commissioner: [XXXX] ----------------------------------- Commissioned date: [dd.mm.yyyy] Due date: [dd.mm.yyyy] ----------------------------------- Team: [Name] (team leader) [Name] [Name] [Name] ----------------------------------- Peer reviewers: [Name, position], NIPH [Name, position, institution] [Name, position, institution] Approved by: [Name], Department Director, NIPH [Name], Specialist Director, NIPH

Oppdrag

Folkehelseinstituttet (FHI) fikk [dd.mm.åååå] i oppdrag av [oppdragsgiver] å utarbeide en systematisk kunnskapsoppsummering over forskning om [problemstilling]. Formålet med denne kunnskapsoppsummeringen er [skriv inn hva oversikten skal brukes til].

Innledning

[Sett inn tekst og ev. ytterligere overskrifter etter behov iht. problemstillingen.]

Beskrivelse av problemet

[Tekst]

Beskrivelse av tiltaket

[Tekst]

Hvorfor det er viktig å utføre denne kunnskapsoppsummeringen

[Tekst]

Mål og problemstilling

Hensikten med denne systematiske kunnskapsoppsummeringen er å undersøke effekter av [tiltak eller sammenlikning] for/ved/av [helse- eller velferdsproblem] for/hos [typer mennesker, sykdom eller problem og kontekst hvis spesifisert].

Metode

[Kanskje innledende avsnitt her. Bruk presens eller futurum i hele kapitlet, f.eks.: «Vi utfører en systematisk kunnskapsoppsummering … Vi vil søke i fire databaser…».] Vi følger anbefalinger fra Folkehelseinstituttets metodehåndbok «Slik oppsummerer

vi forskning» (Ref1) og Cochrane Handbook (Ref2).

Inklusjonskriterier

Vi har følgende inklusjonskriterier:

Populasjon
Intervensjon, tiltak, eller eksponering	[Spesifiser dersom det er flere kategorier av intervensjonen.]
Sammenligning
Utfall	[Spesifiser dersom noen av utfallsmålene er spesifikke for noen studiedesign.]
Studiedesign
Publikasjonsår
Land/Kontekst
Språk
Annet

[Beskriv og begrunn inkluderte studiedesign mht. besvarelse av forskningsspørsmålet. Se eksempler.]

Med inklusjon av randomiserte studier vil vi kunne antyde kausalitet, avhengig av studienes risiko for systematiske skjevheter.

Vi inkluderer ikke-randomiserte studier fordi [tiltaket er ikke mulig å randomisere /dokumentasjon om tiltaket fra randomiserte studier er mangelfull] . Med hensyn til resultatene fra ikke-randomiserte studier vil vi være forsiktig med å antyde kausalitet.

Eksklusjonskriterier

Vi ekskluderer følgende typer studier og publikasjoner:

Litteratursøk

Søk i databaser

Bibliotekar [Navn] vil utarbeide en søkestrategi i samarbeid med prosjektgruppen og utføre søkene. Søket vil inneholde relevante kontrollerte emneord (f.eks. Medical Subject Headings), tekstord (ord tittel og sammendrag), og avgrensninger som gjenspeiler inklusjonskriteriene. En annen bibliotekar [(Sett inn navn hvis bestemt)] fagfellevurderer søkestrategien. Søket avsluttes etter planen i [måned 20xx] og inkluderer søk i følgende databaser:

[Database 1, (Plattform)]

[Database 2, (Plattform)]

[Database 3]

…

…

Søk i andre kilder

[Beskriv ev. søk etter grå litteratur, pågående studier, kontakt med eksperter og gjennomgang av referanselister. Oppgi planlagte søkekilder, hvem som skal gjøre søkene og ev. når og hvordan de skal utføres]

Utvelging av studier

To prosjektmedarbeidere ([Navn] og [Navn]) gjør uavhengige vurderinger («screening») av titler og sammendrag fra litteratursøket opp mot inklusjonskriteriene. Vi piloterer inklusjonskriteriene på de x første studiene, for å sikre at prosjektmedarbeiderne har en felles forståelse for inklusjonskriteriene. Studiene som vi er enige om at er relevante innhenter vi i fulltekst. To prosjektmedarbeidere ([Navn] og [Navn]) gjør uavhengige vurderinger fulltekstene opp mot inklusjonskriteriene. Uenighet om vurderingene av titler/sammendrag og fulltekster løser vi ved diskusjon eller ved å konferere med en tredje prosjektmedarbeider ([Navn]). Vi bruker det elektroniske verktøyet [navn (Ref3)] i utvelgelsesprosessen.

Vi bruker maskinlæringsfunksjoner for å hjelpe oss med å vurdere titler og sammendrag mer effektivt. Enkelt sagt betyr maskinlæring at vi tar i bruk algoritmer som gjør at datamaskinen er i stand å lære fra og utvikle sin beslutningsstøtte basert på empiriske data.

[Fjern tekst nedenfor om maskinlæring som ikke passer. I beskrivelsene fins det flere alternative løsninger: fjern de som ikke passer]

I arbeidet med å vurdere titler og sammendrag benytter vi «priority screening» som er en rangeringsalgoritme i programvaren EPPI-Reviewer (Ref4, 5). Algoritmen læres opp av forskernes avgjørelser om inklusjon og eksklusjon av referanser på tittel- og sammendragsnivå. Referanser som algoritmen anser som mer relevante blir skjøvet frem i «køen». På denne måten får vi et raskere overblikk over hvor mange referanser som muligens treffer inklusjonskriteriene enn om vi leser referansene i tilfeldig rekkefølge. Ved en inklusjonsrate på ≤ x % av de siste x referanser lest / ved en tydelig utflating av inklusjonskurven i programvaren / etter x antall timer med screening uten å finne én relevant studie / etter å ha screenet x antall studier uten å finne en relevant studie, vurderer én prosjektmedarbeider de gjenstående referansene alene / stopper vi å screene manuelt basert på antakelsen om at de resterende referansene høyst sannsynlig er irrelevante [beskriv ev. annen løsning som vil benyttes].

Vi bruker «automatic text clustering» i programvaren EPPI-Reviewer til å identifisere åpenbart relevante eller irrelevante temaområder (Ref6). Denne maskinlæringsfunksjonen analyserer fordelingen og konteksten av ord, deler av ord eller termer i titler og sammendrag, og genererer grupper automatisk basert på fellestrekk i referanseteksten. Hver referanse kan tilordnes én eller flere grupper. Grupper med referanser vi anser som åpenbart irrelevante, blir gjennomgått av kun én prosjektmedarbeider / blir automatisk ekskludert uten av vi leser dem manuelt.

For raskt å kunne identifisere referanser med randomisert kontrollert studiedesign (RCT) bruker vi «Cochrane RCT classifier» (Ref7). Classifieren er bygget, trent opp og validert på 280 000 helsefaglige referanser, som gjør at den med høy grad av sikkerhet klarer å skille mellom ønsket og ikke ønsket studiedesign innenfor dette fagfeltet. Vi ekskluderer studier klassifisert med 0-9% sannsynlighet for å være RCTer, uten å lese dem manuelt.

For raskt å kunne identifisere referanser med systematiske oversikter som studiedesign, bruker vi eksisterende «systematic review» classifier i EPPI-Reviewer. Den er bygget, trent opp og validert på et stort antall helsefaglige referanser (Ref5), som gjør at den med høy grad av sikkerhet klarer å skille mellom ønsket og ikke ønsket studiedesign innenfor dette fagfeltet. Referanser som blir klassifisert som < [10] % sannsynlig å være systematiske oversikter blir gjennomgått av kun én prosjektmedarbeider / blir ekskludert uten å leses manuelt.

Vi bygger en «custom classifier». Det er en maskinlæringsfunksjon med en tilpasset modell for den gitte problemstillingen som kategoriserer referansene som relevant eller ikke relevant. «Custom classifier» modellen presenterer referansene i henhold til prosentvis sannsynlighet for relevans. Referanser som blir predikert til å ha (over/under) x % sannsynlighet for å møte inklusjonskriteriene blir gjennomgått av kun én prosjektmedarbeider / blir basert på prediksjoner for seleksjon vurdert uten at vi leser dem manuelt / beskriv annen metode. Vi trener modellen på x studier, tester den på x studier, og bruker deretter classifieren på x antall uleste referanser.

Vurdering av risiko for systematiske skjevheter

Vi vurderer risiko for systematiske skjevheter i de inkluderte studiene. For RCTer benytter vi [Cochranes Risk of Bias v2 (Ref)]; for ikke-randomiserte kontrollerte studier benytter vi [sett inn f.eks. Risk Of Bias In Non-randomized Studies of Interventions (ROBINS-I) (Ref Sterne et al 2016); ….].

[Beskriv hvorvidt vurderingene er på utfall- og/eller studienivå og ev. hvilke områder som inngår i de ulike verktøyene/vurderingene.]

[For å effektivisere vurderingen av risiko for systematiske skjevheter i RCTer vil vi også bruke RobotReviewer (Ref8). Det er en maskinlæringsfunksjon tilgjengelig i EPPI-Reviewer og på egen nettside. RobotReviewer semi-automatiserer vurderingen av systematiske skjevheter ved å foreslå vurderinger for de første fire av de syv domenene i Cochrane Risk of Bias v1, samt viser tekstutdrag for å støtte beslutningene. I tillegg henter RobotReviewer ut tekstutdrag for å beskrive populasjon, tiltak, sammenligningsgruppe og utfall. Én eller to prosjektmedarbeider vil manuelt gjøre vurderinger i Cochrane Risk of Bias v2 i tillegg.]

To medarbeidere ([Navn] og [Navn]) gjør disse vurderingene uavhengig av hverandre. Uenighet om vurderingene løser vi ved diskusjon eller ved å konferere med en tredje prosjektmedarbeider ([Navn]).

Uthenting av data

Én medarbeider ([Navn]) henter ut data fra de inkluderte studiene og en annen ([Navn]) kontrollerer dataene opp mot de aktuelle publikasjonene. Ved uenighet konfererer vi med en tredje prosjektmedarbeider ([Navn]) for å bidra til enighet. Vi bruker et pilotert datauthentingsskjema i det digitale verktøyet [navn på verktøy (Ref)].

Vi henter ut følgende data fra de inkluderte studiene: [bibliografiske data om publikasjonen, data om populasjon, data om intervensjon/tiltak/eksponering, data om sammenligning, data om utfallsmålene, data om kontekst, variabler som ble justert for i analysene, studienes modeller/forståelser av kausalitet, andre data].

Analyser

Vi sorterer studiene og resultatene iht. [sett inn].

Effektestimater

[Beskriv ev. statistisk bistand eller veiledning i planlegging, implementering, eller fortolkning av analysene.]

For dikotome utfall, som [sett inn eksempel], beregner vi relativ risiko (RR) med 95 % konfidensintervaller (KI). For kontinuerlige utfall målt med like målemetoder, som [sett inn eksempel], beregner vi gjennomsnittsforskjeller (mean difference; MD) med 95 % KI. For kontinuerlige utfall målt med ulike målemetoder, som [sett inn eksempel], beregner vi standardiserte gjennomsnittsforskjeller (standardised mean difference; SMD) med 95 % KI. SMD tilsvarer Hedges g, som ofte tolkes på følgende måte: liten ef-fektstørrelse=0,2, medium effektstørrelse=0,5 og stor effektstørrelse=0,8.

Der det er mulig beregner vi også RR, MD og SMD med 95 % KI for studier der forsker-ne ikke har oppgitt disse selv. Vi beregner effektestimater for relevante utfall rapportert i de inkluderte studiene, selv om det ikke er mulig å gjøre metaanalyser.

Tabell x viser, for primærutfallene, effektestimatene vi forventer å hente ut fra de inkluderte studiene, samt skalaen som vi vil bruke når vi utfører ev. metaanalyser. Vi vil bruke relative effektestimater direkte fra de inkluderte studiene. Dersom studiene rapporterer data på andre måter, f.eks. i figurer eller grafer, vil vi hente ut tilgjengelig data og, når mulig, bruke standardmetoder for å imputere relative effektestimater som kan metaanalyseres.

Utfall	Studiedesign	Forventet effektestimat	Skala for metaanalyse
Primærutfall 1
Primærutfall 2
[…]

[Ev. beskriv andre effektestimater.]

Statistisk sett er justerte effektestimater å foretrekke fremfor ujusterte effektestimater (som f.eks. antall hendelser). Justeringer trengs for å håndtere både presisjon og systematisk skjevhet. [I RCTer inkluderer justering relatert til presisjon justering for baseline-verdier, clustering effekter (f.eks. hvis enheten av randomisering er forskjellig fra enheten brukt for å randomisere), og andre design-baserte justeringer (f.eks. justering for en variabel brukt i randomiseringsprosessen)]. [I ikke-randomiserte studier er justering relatert til systematisk skjevhet særlig viktig. Vi forventer at studiene måler et minimum av forvekslingsfaktorer: […][…][…]. Vi vil gjøre subgruppeanalyser av studier som måler dette minimumet vs. de som ikke måler det, og muligens gruppere studier ytterligere ifølge de spesifikke forvekslingsfaktorene.]

Metaanalyser

Vi sammenstiller resultatene fra inkluderte studier i metaanalyser der det er mulig. Det vil si at studiene må være tilstrekkelig homogene med tanke på studiedesign, deltakere, intervensjon, sammenlikning, utfallsmål, og ev. forvekslingsfaktorer som studien har justert for. Når det ikke er forsvarlig å utføre metaanalyser vil vi analysere resultatene narrativt.

Ettersom vi ikke kan forvente at populasjoner, intervensjoner og utfall er identiske i de inkluderte studiene bruker vi random effekt-modell i metaanalysene. Random effekt‐modellen tar utgangspunkt i at studiene har utvalg fra populasjoner som er ulike. Vi antar med andre ord at det ikke finnes én sann effekt, men at studiene hver for seg kan vise litt ulik effekt, og at vi finner en gjennomsnittlig effekt. Som regel gir dette noe bredere konfidensintervaller sammenlignet med fixed effekt‐modellen. Hvis studiene oppgir både justerte og ujusterte effektestimater, bruker vi de justerte estimatene. Vi vil gjøre en [parvis metaanalyse / nettverks-metaanalyse /metaregresjon]. Vi presenterer forestplots og samlete effektestimat for hver metaanalyse.

Metaanalysen vil modellere forskjellen mellom studiedesign [sett inn]. Vi tar hensyn til forskjeller i studiedesign ved å [gjøre subgruppeanalyser av studiedesign / inkludere design som en fixed-effekt i en metaregresjon / bruke en modell som tar hensyn til forventede forskjeller i heterogenitet mellom design].

Vi vil undersøke mulige kilder til heterogenitet i studienes resultater ved å inspisere KI, beregne I2 og Chi2. [Beskriv ytterligere hvordan du skal rapportere og forstå heterogenitet, f.eks. ved å sammenligne subgruppeestimater.] Vi vil utføre subgruppeanalyser av [studiedesign / risiko for skjevhet /sett inn og angi begrunnelse for subgruppeanalyser]. Vi presenterer forestplots og samlete effektestimat for hver subgruppe.

Alle analyser og beregninger blir utført i programvaren Review Manager (Ref9).

Narrative analyser

Vi beregner og viser effektestimater for relevante utfall rapportert i de inkluderte studiene, selv om det ikke er mulig å gjøre metaanalyser. [Beskriv hvordan du skal oppsummere og forklare effektestimater, f.eks. med forestplots uten «samlete effektestimat», i teksten, osv.]

Vurdering av tillit til resultatene

Med vurdering av tillit til resultatene, mener vi en bedømmelse av i hvor stor grad vi kan stole på at forskningsresultatene viser ‘sannheten’ eller den ‘virkelige’ effekten av tiltakene vi undersøker. En annen måte å uttrykke det på er hvor godt dokumentert forskningsresultatene er. For å vurdere tillit til dokumentasjonen bruker vi GRADE-tilnærmingen (Grading of Recommendations Assessment, Development and Evaluation) (Ref10) og det digitale verktøyet GRADEpro (Ref11). Grad av tillit er en kontinuerlig størrelse, men er av praktiske hensyn delt inn i fire kategorier: høy, middels, lav, svært lav. Kategoriene defineres slik:

Høy tillit	⨁⨁⨁⨁	Vi har stor tillit til at effektestimatet ligger nær den sanne effekten
Middels tillit	⨁⨁⨁◯	Vi har middels tillit til effektestimatet: effektestimatet ligger sannsynligvis (trolig) nær den sanne effekten, men effektestimatet kan også være vesentlig ulik den sanne effekten. Vi bruker uttrykket trolig for å uttrykke vår tillit til resultatet.
Lav tillit	⨁⨁◯◯	Vi har begrenset tillit til effektestimatet: den sanne effekten kan være vesentlig ulik effektestimatet. Vi bruker uttrykket muligens for å uttrykke vår tillit til resultatet.
Svært lav tillit	⨁◯◯◯	Vi har svært liten tillit til at effektestimatet ligger nær den sanne effekten. Vi bruker uttrykket uklart/usikkert for å uttrykke vår tillit til resultatet.

Vi bruker studiedesign som utgangspunkt og vurderer så fem kriterier for å komme fram til grad av tillit til dokumentasjonen: risiko for systematiske skjevheter (risk of bias), grad av konsistens/overensstemmelse mellom resultatene (consistency), sparsomme data/presisjon av data (precision), direkthet (directness) og formidlingsskjevhet (publication bias).

[For ikke-randomiserte studier er det mulig å vurdere oppgradering av dokumentasjonen. Det gjøres ved å vurdere følgende tre kriterier: sterke eller veldig sterke assosiasjoner/sammenhenger mellom tiltak og utfall (det vil si at den beregnede effekten er så stor at det er usannsynlig at den skyldes tilfeldigheter), store eller veldig store dose-responseffekter, der alle sannsynlige forvekslingsfaktorer (confounders) ville ha bidratt til å redusere effektestimatet.]

Vi vil vurdere tilliten til resultatene for følgende utfall: [utfall1], [utfall2], [utfall3], [utfall4], … og [utfall5].

To medarbeidere ([Navn] og [Navn]) vurderer tilliten til resultatene sammen. Uenighet om vurderingene løser de ved diskusjon eller ved å konferere med en tredje prosjektmedarbeider ([Navn]).

Flere beskrivelser av hvordan man bruker GRADE til å vurdere tilliten til resultatene finnes i Guyatt og medarbeidere (Ref10) og www.gradeworkinggroup.org.

Andre vurderinger

Problemstillingen angår [sett inn]. Siden det ikke er en del av oppdraget og følgelig heller ikke problemstillingen, vurderer vi ikke etiske eller økonomiske konsekvenser ved tiltaket. Vi vurderer heller ikke aspekter som aksept, likeverd, organisatoriske følger eller andre konsekvenser ved tiltaket. I en fremtidig beslutningsprosess vil det være viktig å vurdere slike aspekter og konsekvenser ved tiltaket samlet.

Leveranser og publisering

Hovedleveranse

Hovedleveransen fra dette arbeidet vil være en [sett inn produkttype] i rapportform. Rapporten er først og fremst beregnet for [sett inn hva oppdragsgiver skal bruke rapporten til], men skal også kunne leses av et bredt publikum. Rapporten skal skrives i et klart språk på norsk. Vi vil publisere rapporten sammen med en nyhetssak på www.fhi.no [sett inn antall] uker etter oversendelse til oppdragsgiver. Vi åpner også for å publisere hele eller deler av rapportenes innhold som en eller flere artikler i vitenskapelige tidsskrifter.

Delleveranser

Som delleveranser vil vi sende oppdragsgiver resultatet av hvert trinn i oppsummeringsprosessen som skissert i tidsplanen ovenfor.

Godkjent prosjektplan blir lagt ut på www.fhi.no sammen med en kort nettomtale av prosjektet.

Fagfellevurdering av prosjektplan og rapport

To eksterne fagfeller, [Fornavn Etternavn] og [Fornavn Etternavn] og én intern fagfelle ved Folkehelseinstituttet, [Fornavn Etternavn], fagfellevurderer prosjektplanen.

Prosjektplan og prosjektrapport klareres av kontaktperson i ledelsen før de fagfellevurderes av de to eksterne og den interne fagfellen og før godkjenning av fagdirektør i Folkehelseinstituttets klynge for vurdering av tiltak.

Tidsplan

Startdato:	[dd.mm.åååå, dato for endelig avklaring av problemstilling og inklusjonskriterier]

Leveringsfrist:	[dd.mm.åååå, avtalt dato for oversendelse til oppdragsgiver]

Trinn/delleveranse	Fra dato	Til dato
Utvikling av prosjektplan
Litteratursøk
Utvelging av studier
Vurdering av risiko for skjevheter
Uthenting av data
Analyser
Vurdering av tillit til resultatene
Rapportutkast
Fagfellevurdering
Godkjenning
Oversendelse oppdragsgiver
Publisering

Tiltak ved ev. forsinkelse

Hvis det oppstår forhold som utgjør en risiko for at leveringsfristen ikke kan overholdes, som f.eks. uforutsett langtidsfravær blant prosjektmedarbeiderne, et større antall søketreff [sett ev. inn øvre grense] eller inkluderte studier [sett ev. inn øvre grense] enn rammene for prosjektet tillater å håndtere, eller andre forhold, vil ett eller flere av følgende tiltak være aktuelle:

Økt bemanning innenfor den avtalte rammen av månedsverk

Erstatte prosjektmedarbeidere ved fravær/sykdom

Ytterligere avgrensninger i inklusjonskriterier (etter avtale med oppdragsgiver)

Forlengelse av leveringsfristen (etter avtale med oppdragsgiver)

Relaterte prosjekter/publikasjoner/studier ved FHI

[Tekst]

Referanser

Område for helsetjenester i Folkehelseinstituttet. Slik oppsummerer vi forskning. Håndbok for Folkehelseinstituttet. 4. reviderte utg. Oslo: Område for helsetjenester i Folkehelseinstituttet; 2018. Tilgjengelig fra:

Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021).

Elektronisk verktøy

Thomas J, Brunton J, Graziosi S. EPPI-Reviewer 4.0: software for research synthesis. 2010.

Thomas J GS, Brunton J, Ghouze Z, O'Driscoll P, Bond M EPPI-Reviewer: advanced software for systematic reviews, maps and evidence synthesis. EPPI-Centre, UCL Social Research Institute, University College London; 2020.https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2967

Muller, AE, Ames, HMR, Jardim, PSJ, Rose, CJ. Machine learning in systematic reviews: Comparing automated text clustering with Lingo3G and human researcher categorization in a rapid review. Res Syn Meth. 2021; 1- 13. doi:10.1002/jrsm.1541

Thomas, J., et al., Machine learning reduced workload with minimal risk of missing studies: development and evaluation of a randomized controlled trial classifier for Cochrane Reviews. Journal of Clinical Epidemiology, 2021. 133: p. 140-151.

Marshall, Iain J., Anna Noel-Storr, Joël Kuiper, James Thomas, and Byron C. Wallace. 2018. Machine Learning for Identifying Randomized Controlled Trials: An Evaluation and Practitioner’s Guide. Research Synthesis Methods, January. https://doi.org/10.1002/jrsm.1287.

Review Manager (RevMan) [Computer program]. Version 5.2. Copenhagen: The Nordic Cochrane Centre, The Cochrane Collaboration, 2012.

Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, et al. GRADE guidelines: 1. Introduction—GRADE evidence profiles and summary of findings tables. J Clin Epidemiol 2011;64(4):383-94.

GRADEpro GDT: GRADEpro Guideline Development Tool [Software]. McMaster University and Evidence Prime, 2021. Available from gradepro.org.