Kritische Bewertung der Studien
Die kritische Beurteilung der identifizierten externen Evidenz stellt den anspruchsvollsten Teil der Problemlösung dar. Nach der Selektion der Publikationen müssen die einzelnen Übersichtsarbeiten kritisch gewürdigt werden. Hilfreich hierzu sind Basiskenntnisse der Epidemiologie (Sackett, Haynes, Guyatt et al. 1991) sowie die Nutzung von Checklisten zur kritischen Beurteilung von Interventionsstudien (Guyatt, Sackett, Cook 1994; DiCenso, Ciliska, Marks 2003). Diese Checklisten unterstützen den Leser bei der Einschätzung der Qualität der Studien.
Der Begriff „Qualität“ ist multidimensional und bezieht sich hier auf die externe und interne Validität von Studien. Die externe Validität berücksichtigt dabei inwieweit die Ergebnisse der Studien eine korrekte Grundlage für die Verallgemeinerung bzw. das Transferieren in andere Sachverhalte bietet. Die interne Validität berücksichtigt inwieweit ein systematischer Fehler (Bias) in klinischen Studien minimiert wurde.
Im vorliegenden Fall ist die Validität einer systematischen Übersichtsarbeit oder einer Meta-Analyse wie folgt zu prüfen:
Tabelle 3: Checkliste zur kritischen Beurteilung eines Artikels zur Intervention
Studienidentifikation (Autor, Titel, Referenz) |
||
Checkliste ausgefüllt von: | ||
Evaluationskriterium | Wie gut ist das Kriterium erfüllt? | |
1. Interne Validität | ||
1.1 | Hat der Übersichtsartikel eine klar definierte und angemessene klinisch relevante Fragestellung? | |
1.2 | Wurden alle klinisch relevanten Endpunkte in der Analyse berücksichtigt? | |
1.3 | Beinhaltet der Übersichtsartikel eine Methodenbeschreibung? | |
1.4 | War die Literatursuche sensitiv genug, um alle relevanten Studien zu identifizieren? | |
1.5 | Wurde die Studienqualität erhoben und berücksichtigt? | |
1.6 | Ist die Art, wie die Studien überprüft wurden, reproduzierbar? | |
1.7 | Beinhaltet der Übersichtsartikel alle potentiellen erwünschten und adversen Effekte (Nebenwirkungen) der Intervention? | |
1.8 | War es sinnvoll, die Ergebnisse der einzelnen Studien zu kombinieren? | |
1.9 | Wurden die individuellen Patientendaten in der Analyse benutzt oder wurden aggregierte Daten verwendet? | |
1.10 | Sind die Studienergebnisse der einzelnen Studien vergleichbar? | |
1.11 | Werden die Schlussfolgerungen direkt aus der gefundenen Evidenz abgeleitet? | |
2. Gesamtbeurteilung der Studie | ||
2.1 | Wie gut war die Studie angelegt, um einen potentiellen Bias zu minimieren? Codierung ++, +, oder - | |
2.2 | Falls codiert als +, oder – : In welche Richtung könnten die Studienergebnisse vom Bias verzerrt sein? | |
2.3 | Können die Ergebnisse des Übersichtsartikels direkt auf die Zielpopulation (individueller Patient, Patientengruppe) angewendet werden? | |
3. Beschreibung der Studie | ||
3.1 | Welche Studientypen wurden in den Übersichtsartikel eingeschlossen? Randomisiert-kontrollierte Studien (RCT), kontrollierte klinische Studien (CCT), Kohorten, Fall-Kontroll Studien |
|
3.2 | Welche Interventionen wurden in dem Übersichtsartikel berücksichtigt? | |
3.3 | Welche Ergebnisparameter wurden benutzt? Z.B. erwünschte und adverse Effekte |
|
3.4 | Wurden die möglichen Störgrößen (Confounder) berücksichtigt? Dies ist besonders wichtig, wenn andere Studientypen als RCTs im Übersichtsartikel eingeschlossen wurden. |
|
3.5 | Was sind die Charakteristika der Studienpopulation? Z.B. Alter, Geschlecht, krankheitsspezifische Merkmale, Krankheitsprävalenz. |
|
3.6 | Was sind die Charakteristika des Studiensettings? Z.B. ländlich, städtisch, stationär oder ambulant, Arztpraxis, öffentliche Gesundheitsversorgung. |
|
4. Anmerkungen und Kommentare | ||
Wird vom Leser hier bereits die überwiegende Anzahl der Fragen verneint, kann die Studie ungeachtet der Ergebnisse als irrelevant betrachtet werden.
Bei der Studie von Hill-Westmoreland, Soeken und Spellbring (2002) lautet die grundlegende Fragestellung: Was sind die Effekte von Programmen zur Sturzprävention auf die Sturzrate bei älteren Personen?
In die Übersichtsarbeit wurden 12 randomisiert-kontrollierte und quasi-randomisierte Studien eingeschlossen, die wie folgt gruppiert wurden. Studien, die:
- körperliche Übungen wie Gehübungen, Muskelstärkung, Reaktionszeit,
- Mobilität wie Gangübungen, Balance, Transfer, Gehhilfen,
- Schulung zur Prävention von Sturzgefahren, Relaxations-Training, Angestelltentraining,
- Screening auf Visus, Gehör, Alkoholkonsum, mentale Verfassung, Depression,
- biologisches und körperliches Assessment wie Blutdruck und EKG,
- Modifikationen von Medikamenten, der persönliche Sicherheit oder der Umgebungssicherheit
untersuchten.
Bei der systematischen Übersichtsarbeit von Gillespie, Gillespie, Robertson et al. (2003) lautet die grundlegende Zielsetzung: Ermittlung der Effekte von Interventionen, die die Sturzrate bei älteren Menschen (zu Hause oder institutionalisiert) reduzieren sollen.
In die Übersichtsarbeit wurden 40 randomisiert-kontrollierte Studien eingeschlossen. Lediglich 2 RCTs (Mulrow, Geretly, Kanten et al. 1994; Ray, Taylor, Meador et al. 1997) wurden in Altenpflegeheimen durchgeführt. Die anderen (34) in der Gemeinde, (2) in Langzeitpflegeeinrichtungen und (2) in Krankenhäusern.
Die Interventionen wurden wie folgt gruppiert:
- körperliche Übungen/physikalische Therapie,
- Veränderungen des Wohnraums,
- kognitive bzw. Verhaltensmodifikation,
- Ernährung bzw. Vitaminsupplementierung,
- Hormone und oder andere pharmakologische Therapien,
- multidisziplinäres, multifaktorielles, gesundheits- oder umweltbedingtes Risikofaktorscreening,
- strukturelle Systemmodifikation.
Augenscheinlich und anhand der Checkliste fallen bei der Veröffentlichung von Hill-Westmoreland, Soeken und Spellbring (2002) deutliche methodische Defizite auf. Es bleibt z.B. unklar, warum für die Übersichtsarbeit lediglich 19 relevante Literaturreferenzen identifiziert wurden, während Gillespie, Gillespie, Robertson et al. (2003) für die gleiche Fragestellung mehr als doppelt so viele Studien eingeschlossen hat. Auch ist die Darstellungsart der Übersichtsarbeit unübersichtlich und nicht transparent, so dass die Übersichtsarbeit von Gillespie, Gillespie, Robertson et al. (2003) zu bevorzugen ist.
Ergebnisse zur Sturzprävention bei insitutionalisierten Älteren
Die im Review eingeschlossene Studie von Ray, Taylor, Meador et al. (1997) hat ergeben, dass ein umfassendes strukturiertes individuelles Assessment mit spezifischen Sicherheitsvorschlägen, die auf suboptimale Praktiken für umweltbedingte und persönliche Sicherheit, Rollstuhlbenutzung, psychotropen Medikamenteneinsatz sowie Transfer und Heben abzielen, einen statistisch signifikanten positiven Effekt (p-Wert = 0.03) auf die Sturzhäufigkeit im Vergleich zur Kontrollgruppe hat.
Anhand der Studie von Ray, Taylor, Meador et.al. (1997) können folgende Rechnungen helfen, Aussagen über den tatsächlichen Behandlungseffekt zu formulieren:
Insgesamt wurden 499 Teilnehmer mit hohem Risiko zu stürzen (mittleres Alter = 82 Jahre) in einer Cluster-randomisierten Studie (7 x 2 Pflegeheime) rekrutiert, 267 Bewohner im Kontroll- und 232 im Behandlungsarm. 54% vs. 46% hatten das Ereignis von ³2 Stürze innerhalb eines Jahres. Tabellarisch dargestellt bedeutet dies:
Tabelle 4: Vierfeldertafel zur Darstellung der Wirksamkeit einer Intervention
Ja, Ereignis eingetreten (≥2Stürze) | Nein, kein Ereignis eingetreten | Gesamt | |
Behandlungs-gruppe | 102 (44%) a |
130 (56%) b |
232 a+b |
Kontroll-gruppe | 144 (54%) c |
123 (46%) d |
267 c+d |
Gesamt | 246 a+c |
259 b+d |
499 a+b+c+d |
Risiko in der Behandlungsgruppe = a ÷ (a+b) =
Risiko in der Placebogruppe = c ÷ (c+d) =
Relatives Risiko = Risiko in der Behandlungsgruppe ÷ Risiko in der Kontrollgruppe =
Relative Risikoreduktion = (Risiko in der Kontrollgruppe - Risiko in der Behandlungsgruppe)
÷ Risiko in der Kontrollgruppe =
Absolute Risikoreduktion = Risiko in der Kontrollgruppe - Risiko in der Behandlungsgruppe =
Anzahl der Personen, die ca. x Jahre behandelt werden müssen,
um ein Ereignis zu verhindern (Number Needed to Treat ) = 1 ÷ Absolute Risikoreduktion =
Errechnen lässt sich zudem eine relative Risikoreduktion (RRR) von 19% und eine absolute Risikoreduktion (ARR) von 10%. Berechnet man die Number needed to treat (NNT), müssten 10 Personen behandelt werden, um bei einer zusätzlichen Person ³ 2 Stürzen zu vermeiden.
In der Studie von Mulrow, Gerety, Kanten et al. (1994) wurden 194 ältere Altenheimbewohner untersucht, von denen eine Gruppe (n=97) drei Mal in der Woche ein körperliches Übungsprogramm erhielten und die andere (n=97) einen Besuch von gleicher Dauer. Nach einer Beobachtungszeit von vier Monaten konnte kein Effekt auf die Sturzrate zu Gunsten der körperlichen Übungen nachgewiesen werden (Relatives Risiko (RR) 1,16, 95% Konfidenzintervall 0,83-1,61). Die Anzahl der Personen, die in der Interventionsgruppe mindestens einmal stürzte, betrug 44 und die in der Kontrollgruppe 38. In beiden Gruppen unterschied sich die Schwere der Verletzungen nicht signifikant, d.h. dass 13 im Vergleich zu 7 Personen nach dem Sturz medizinische Hilfe benötigten.
Bei der Betrachtung des Konfidenzintervalls ist festzustellen, dass dieses sehr weit ist. Das bedeutet, dass die Möglichkeit besteht, dass die Intervention entweder in der Lage ist, die Sturzrate zu senken (< 1), dass kein Unterschied zwischen den Gruppen besteht (1), oder dass die Sturzrate sogar höher ist (> 1).