Urval och kritisk bedömning av bevis (2023)

Urval och kritisk bedömning av bevis

urval av bevis

Med hjälp av fördefinierade inkluderings- och uteslutningskriterier undersöks sökresultaten som hittas från respektive datakälla och verk som är relevanta för riktlinjen filtreras. Urvalet görs traditionellt i två steg och i bästa fall av två oberoende personer (kliniskt och metodiskt erfarna):

1. efter titel och abstrakt
2. med fulltext

AWMF-regel för rekommendationsregistret: Klassificering av rekommendationer S2 och S3 (utdrag):

Om det är en S2e- eller S3-rekommendation är kriterierna för val av bevis uttryckligen angivna. Orsaker till inkludering (t.ex. målpopulation, jämförelser, effektmått, språk, miljö, studiedesign) och exkludering presenteras (se AGREE II, kriterium 8).

Förhållande till AGREE II-instrumentet

Domän 3: Noggrannhet i utvecklingen av riktlinjer

Kriterium 8:Kriterier för val av bevis är tydligt beskrivna.

hjälp och råd

Inklusions- och uteslutningskriterier kan inkludera:

• Ålder, kön, medicinskt tillstånd eller samsjukligheter
• interventions-/jämförelsegrupp
• Timing/inställning
• Typ av studie eller publikation
• Språk

Skäl till uteslutning kan också sammanfattas på rubrik-/abstraktnivå. Skälen för att utesluta verifierade fulltexter bör registreras för varje publikation (se fig. 6). Som en allmän regel bör konferensbidrag (t.ex. abstracts) inte accepteras som bevis.

Om medlemmar i den rekommenderande gruppen bidrar med ytterligare material ska detta också anges. PRISMA-flödesschemat har visat sig dokumentera urvalsprocessen (1).
Det rekommenderas att litteraturen lagras i ett litteraturhanteringsprogram som är tillgängligt för hela riktlinjegruppen efter fulltextgranskningen.

Viktigt: Ange även urvalsprocessen i forskningsdokumentationen!

Illustration 6 :Exempel på forskningsdokumentation

Kritisk bedömning av bevisen

Bevis som ingår som relevant för riktlinjen bör bedömas på ett strukturerat sätt mot specificerade kvalitetskriterier (2). Kritisk bedömning innefattar att bedöma bevisens interna giltighet (bedömning av systematiska fel eller risk för bias (bias)) samt andra aspekter som är nödvändiga för att bedöma tillförlitligheten eller säkerheten hos slutsatser och tillämplighetsbevis.

Kritisk bedömning av systematiska översikter/metaanalyser

För systematiska översikter med eller utan metaanalyser är det första steget att bedöma kvaliteten på genomförandet (inklusive frågorna: Fanns det en omfattande och väl undersökt sökning efter lämpliga studier? Syntesstudiens resultat med hjälp av metaanalyser adekvata?). Användning av en checklista rekommenderas.

Utvärderingen av tillförlitligheten av de studier som ingår i de systematiska översikterna (med eller utan metaanalyser) måste skiljas från den. Förutom den formella bedömningen av risken för bias, bör även aspekter som studiernas direkthet till egenskaper hos studiepopulationer, interventioner eller effektmått, konsekvens eller heterogenitet och resultatens noggrannhet bedömas.

Slutligen sammanfattas bevisens kvalitet enligt ett klassificeringsschema (bevisnivå, bevisnivå eller kvaliteten på hela bevisningen efter utvärderingskriterium (3-5), se tilldelning av bevisnivåer).

Kritisk bedömning av riktlinjerna

För att kunna användas som evidensbas behöver riktlinjer också bedömas på ett strukturerat sätt med hänsyn till deras metodiska kvalitet (6). Som metodiskt väl utvärderade och tematiskt lämpliga riktlinjer kan de användas på ett antal sätt för ditt eget vägledningsarbete:

• att anta eller anpassa LL-rekommendationer från en eller flera källrekommendationer
• som en källa till bearbetade bevis (t.ex. bevistabeller)
• som bakgrundsinformation och fastställande av behovet av egen forskning

Om befintliga riktlinjer används som källa för dina egna rekommendationer bör de enskilda rekommendationerna bedömas utöver den övergripande metodologiska kvalitetsbedömningen. Detta inkluderar att bedöma relevansen av de evidensklasser och rekommendationsnivåer som anges i källriktlinjerna och litteraturen som rekommendationerna bygger på, samt aktualitet och tillämpbarhet i det tyska hälso- och sjukvårdssystemet ( 7). Vid behov bör lämpliga uppdateringssökningar utföras.

Ändringar av rekommendationer, till exempel på grund av ny evidens eller annan bedömning av nytta/skada av LL-gruppen, bör motiveras.

Formulering och poängsättning av rekommendationer

Kritisk bedömning av primärstudier

Kritisk bedömning av primärstudier bör också vara kriteriebaserad, beroende på utformningen av den underliggande studien. Förutom metodologiska kvalitetsaspekter - som med aggregerad evidens - bör andra kliniskt relevanta aspekter också beaktas, såsom hur direkt tillämpligheten är på egenskaper hos studiepopulationer, interventioner eller endpoints.

Vissa kriterier bör bedömas vid behov, helst beroende på PICO(S)-forskningsfrågan, till exempel precisionen av de erhållna effekterna, längden på uppföljningsperioderna eller relevansen av den jämförande interventionen.

Behandling av bedömd evidens

Studier bedömda på en kliniskt relevant fråga/ämne sammanfattas med hjälp av bevistabeller. Detta säkerställer transparens, bättre utvärdering och spårbarhet och därmed också acceptans och genomförande av rekommendationerna.

Som ett alternativ till tabellformen kan resultatet av den kritiska bedömningen beskrivas i den bifogade texten/grundtexten. I detta fall ska resultatet av utvärderingen dokumenteras med formella instrument eller utvärderingsstrategier. Rekommendationer från källriktlinjerna bör presenteras med de angivna bevisnivåerna (”Evidensnivåer”) och/eller rekommendationsgraderna (”Rekommendationsnivåer”) och den litteratur som källriktlinjen är baserad på.

Bedöma förtroende för beviskvaliteten - tilldela bevisnivåer

Bevisnivåer tilldelas efter en kritisk bedömning av studien och tjänar till att enkelt registrera förtroende för de effektuppskattningar som en rekommendation bygger på. Bedömning bör helst göras för en fråga per effektmått i alla studier som en bedömning av bevismaterialet på en fråga (8, 9). Alternativt kan evidensnivåer tilldelas för enskilda studier (10, 11).

AWMF-regel för rekommendationsregistret: Klassificering av rekommendationer S2 och S3 (utdrag):

Är detta ett S2e- eller S3-direktiv?

• den evidens som söks och väljs ut enligt a priori-kriterier bedöms kritiskt med avseende på dess metodiska kvalitet och resultaten presenteras i en sammanfattning av evidensen. Detta kan göras i tabellform med kommentarer om kvalitetsaspekter eller med hjälp av formella instrument eller strategier (t.ex. Cochrane Risk of Bias Tool, GRADE-metodik) (se AGREE II, Kriterium 8 +9).
• resultatet av bedömningen leder till fastställandet av förtroendet för bevisens kvalitet (evidensnivå).
• rekommendationerna är på ett begripligt sätt kopplade till beskrivningen av de bakomliggande bevisen i ett motsvarande avsnitt (saklig text) och/eller till en sammanfattning av bevisen med en referenslista (AGREE II, kriterium 12).

Förhållande till AGREE II-instrumentet

Domän 3: Noggrannhet i utvecklingen av riktlinjer

Kriterium 9:Bevisets styrkor och svagheter beskrivs tydligt.

Kriterium 12:De underliggande bevisen kan tydligt hänföras till rekommendationerna.

hjälp och råd

Kritisk bedömning av bevisen

Idealt sett bedömer experter med metodisk och klinisk erfarenhet bevisen i nära samråd. Utvärderingen kan genomföras centralt eller av medlemmarna i arbetsgruppen. Användbar vägledning för att utföra kritisk bedömning finns i manualerna för tyska Cochrane Center och AWMF-IMWi (3, 12). Följande checklistor/instrument är lämpliga för metodologisk bedömning:

• för systematiska översikter med och utan metaanalyser: AMSTAR (A MeaSurely Tool to Assess systematiska översikter) - checklista (13). Sedan 2017, reviderad som en AMSTAR-II checklista med explicit övervägande av inkludering av randomiserade och icke-randomiserade studier (14-16).
• för riktlinjer: AGREE-II-instrumentet (6). Om inga resurser finns tillgängliga för en detaljerad bedömning kan bedömningen reduceras till domän 3 (riktlinjeutvecklingens noggrannhet) och domän 6 (redaktionellt oberoende). Vid antagande av individuella LL-rekommendationer bör riktlinjeanvändare kunna se tillförlitligheten hos källriktlinjen genom att anta nivån av bevis och rekommendationer och de studier som citeras däri, samt bedömningen av eventuell ytterligare litteratur baserad på uppdaterad forskning (7, 17) ).
• för primärstudier (beroende på studiedesign): verktyget Cochrane Risk of Bias I eller II för randomiserade studier och verktyget för att bedöma icke-randomiserade interventionsstudier (3, 12, 18- 20). Scottish Intercollegiates Guideline Network (SIGN) (21), till exempel, tillhandahåller också checklistor som hjälper dig att slutföra dem.

Bevisbedömning och betygssystem

www.gradeworkinggroup.org/

Med GRADE-metoden betraktas den tillgängliga evidensen ur ett utfalls- eller utfallsperspektiv (bedömer alla studier som en "body of evidence" för varje relevant utfall, se fig. 7 och 8. Alla studier som ingår i en fråga bedöms inte enbart med hänsyn till dess risk för bias på grund av studiedesign, men också med hänsyn till resultatens indirekthet, heterogenitet eller bristande precision och publiceringsbias.

Bild 7: Bedömning av bevis på fyra nivåer enligt GRADE

Oxford 2011-klassificeringen baseras i första hand på den formella bedömningen av individuella studiers studiedesign med avseende på deras interna validitet. Devalveringar, till exempel vid hög risk för snedvridning eller indirekt effekt, är också möjliga.

https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence

Om möjligt bör ett enhetligt mönster för evidensbedömning användas i en evidensbaserad riktlinje. För uppdateringar kan beslutet att använda ett nytt bevisbedömningssystem tas. Delar som inte har renoverats kan finnas kvar i det tidigare systemet.

Vid urval kan det också vara nödvändigt att överväga om befintliga riktlinjer används i betydande omfattning som beviskällor och vilka scheman som används där. Beslut om endpoints och klassificering(ar) bör fattas inom riktlinjegruppen och dokumenteras i riktlinjerapporten.

Behandling av bedömd evidens

Förutom information om den metodologiska kvaliteten på de inkluderade publikationerna är de viktigaste kliniska egenskaperna och angivandet av de effektstorlekar som erhålls viktiga för användarna. För detta ändamål har G-I-N skapat en mall för bevistabell med minimikriterier, som kan modifieras av LL-grupper beroende på ämne och krav (28) (se tabell 2 och bilaga 7).

Däremot beskriver GRADE-bevisprofiler inte hela bevismaterialet per studie utan efter endpoint (se figur 8).

Vägledande mått kan också tabelleras.

Tabell 2:Exempel på bevistabell med poängsättning efter studie

litteratur

1. Moher D, Liberati A, Tetzlaff J, Altman DG. Föredragna rapporteringspunkter för systematiska översikter och metaanalyser: 2009 års PRISMA-utlåtande PMC2707599]. Verfügbar:http://www.prisma-statement.org/statement.htm(tillträde 13.11.2020)
2. McMaster University. G-I-N McMaster Guideline Development Checklista - 12. Bedöma kvaliteten, styrkan eller säkerheten hos ett bevismaterial. Verfügbar:https://cebgrade.mcmaster.ca/guidelinechecklistonline.html#Judgingtable(tillgänglig 16 november 2020)
3. Cochrane Tyskland, Association of Scientific Medical Societies - Institute for Medical Knowledge Management. Att bedöma risken för bias av systematiska översikter: en manual för utveckling av riktlinjer. 1:a upplagan. 2017
4. GRADE-Arbetsgrupp. Tillgängliga:gradeworkinggroup.org(tillgänglig 16 november 2020)
5. Kunz R, Burnand B, Schünemann HJ. [GRADE-systemet. En internationell metod för att standardisera betygsättningen av bevis och rekommendationer i riktlinjer. Internist. 2008;49(6):673-80.
6. OK Samarbeta. Bedömningsriktlinjer för forskning och bedömning II - AGREE Instrument II - tysk version: AGREE NEXT STEPS Consortium; 2014.Finns här som PDF-fil(tillgänglig 16 november 2020)
7. Schünemann HJ, Wiercioch W, Brozek J, Etxeandia-Ikobalzeta I, Mustafa RA, Manja V, et al. GRADE Evidence to Decision (EtD) ramverk för de novo antagande, anpassning och utveckling av tillförlitliga rekommendationer: GRADE-ADOLOPMENT. J Clin Epidemiol. 2017;81:101-10.
8. Guyatt G, Oxman A, Akl E, Kunz R, Vist G, Brozek J, et al. GRADE Riktlinjer: 1. Inledning - GRADE bevisprofiler och sammanfattande tabeller över resultat. J Clin Epidemiol. 2011;64:383-94.
9. Balshem H, Helfand M, Schnemann HJ, Oxman AD, Kunz R, Brozek J, et al. GRADE riktlinjer: 3. Bedöma kvaliteten på bevis. J Clin Epidemiol. 2011;64:401-6.
10. Howick J. Förklaring av 2011 Oxford Center for Evidence-Based Medicine (OCEBM) Evidensnivåer (document de référence) 2011. Verfügbar :https://www.cebm.net/2016/05/ocebm-levels-of-evidence/(tillträde 13.11.2020)
11. Marx RG, Wilson SM, Swiontkowski MF. Uppdatering av tilldelningen av bevisnivåer. J Bone Joint Surg Am. 2015;97(1):1-2.
12. Cochrane Tyskland, Association of Scientific Medical Societies - Institute for Medical Knowledge Management. Bedömning av risk för bias (risk för systematiska fel) i kliniska prövningar: en manual för utveckling av riktlinjer 1:a upplagan. 2016
13. AMSTAR II Tillgänglig:https://amstar.ca/Amstar-2.php(tillträde 13.11.2020)
14. Shea BJ, Hamel C, Wells GA, Bouter LM, Kristjansson E, Grimshaw J, et al. AMSTAR är ett tillförlitligt och giltigt mätverktyg för att bedöma den metodologiska kvaliteten på systematiska översikter. J Clin Epidemiol. 2009;62(10):1013-20.
15. Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, et al. Utveckling av AMSTAR: ett mätverktyg för att bedöma den metodologiska kvaliteten på systematiska översikter. Metodik BMC Med Res. 2007;7:10.
16. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, et al. AMSTAR 2: Ett kritiskt bedömningsverktyg för systematiska översikter som inkluderar randomiserade eller icke-randomiserade studier av sjukvårdsinsatser, eller båda. BMJ. 2017 21 september;358:j4008.
17. Working Group of Scientific Medical Societies (AWMF), Medical Center for Quality in Medicine (ÄZQ). German Instrument for Methodological Evaluation of Guidelines (DELBI). Version 2005/2006 + domän 8 - kriterier 30 - 34 (2008). Tillgänglig:https://www.leitlinien.de/mdb/edocs/pdf/literatur/delbi-fassung-2005-2006-domaene-8-2008.pdf(tillträde 13.11.2020)
18. Cochrane - Metodiska resurser och Verfügbar-utbildning:https://methods.cochrane.org/resources-list(tillträde 13.11.2020)
19. Higgins JP, Altman DG, Gøtzsche PC, Jüni P, Moher D, Oxman AD, et al. Cochrane Collaboration-verktyget för att bedöma risken för bias i randomiserade studier. BMJ. 2011 18 okt;343:d5928.
20. Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, et al. RoB 2: ett reviderat verktyg för att bedöma risken för bias i randomiserade studier. BMJ. 2019 28 aug;366:l4898.
21. Scottish Inter-University Guidelines Network (SIGN) Verfügbar:https://www.sign.ac.uk/what-we-do/methodology/checklists/(tillgänglig 16 november 2020)
22. Guyatt G, Oxman AD, Vist G, Kunz R, Brozek J, Alonso-Coello P, et al. GRADE-riktlinjer: 4. Bedömning av beviskvalitet - studiebegränsningar (risk för bias). J Clin Epidemiol. 2011;64:407-15.
23. Guyatt GH, Oxman AD, Montori V, Vist G, Kunz R, Brozek J, et al. GRADE riktlinjer: 5. Att bedöma kvaliteten på bevis -- publikationsbias. J Clin Epidemiol. 2011;64(12):1277-82.
24. Guyatt GH, Oxman AD, Kunz R, Brozek J, Alonso-Coello P, Rind D, et al. Riktlinjer för GRAD 6. Bedömning av beviskvalitet -- oprecision. J Clin Epidemiol. 2011;64(12):1283-93.
25. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. GRADE-riktlinjer: 7. Bedömning av beviskvalitet -- inkonsekvens. J Clin Epidemiol. 2011;64(12):1294-302.
26. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. GRADE riktlinjer: 8. Bedömning av kvaliteten på bevis -- indirekthet. J Clin Epidemiol. 2011;64(12):1303-10.
27. Guyatt GH, Oxman AD, Sultan S, Glasziou P, Akl EA, Alonso-Coello P, et al. GRADE riktlinjer: 9. Bedöm kvaliteten på bevis. J Clin Epidemiol. 2011;64(12):1311-6.
28. Mlika-Cabanne N, Harbour R, De Beer H, Laurence M, Cook R, Twaddle S. Arbetsgruppen för riktlinjer för internationellt nätverk (GIN) om bevistabeller. Dela det hårda arbetet: Utveckla en standardmall för datasammanfattningar vid utveckling av riktlinjer. BMJ Qual Saf. 2011 feb;20:141-5.
29. Kahale LA, Hakoum MB, Tsolakian IG, Matar CF, Barba M, Yosuico VED, et al. Oral antikoagulering hos personer med cancer som inte har någon terapeutisk eller profylaktisk indikation för antikoagulering. Cochrane Database of Systematic Reviews. 2017;12(12):Cd006466.

Formulera och betygsätt rekommendationer