Systematische Übersichtsarbeiten klinischer Studien spielen bei der Beurteilung der Wirksamkeit prophylaktischer und therapeutischer Interventionen eine zentrale Rolle. Übersichtsarbeiten (im folgenden synonym mit der Bezeichnung Review gebraucht) werden dann als systematisch bezeichnet, wenn sie vordefinierte und transparente Methoden bzgl. Literatursuche, Studienselektion und Studienbewertung verwenden. Systematische Übersichtsarbeiten, bei denen die einbezogenen Studien (Primärstudien) in einer integrierenden statistischen Analyse wie eine einzige große Studie ausgewertet (gepoolt) werden, bezeichnet man als Meta-Analysen. Die vorliegende Monographie präsentiert 1. zwei größere eigene systematische Übersichtsarbeiten als Anwendungsbeispiele (Kapitel 2), 2. drei empirisch-methodische Untersuchungen zum Thema Studienqualität und deren Auswirkung auf das Ergebnis (Kapitel 3) und 3. eine Analyse der vorliegenden systematischen Übersichtsarbeiten in den Bereichen Akupunktur, Phytotherapie und Homöopathie (Kapitel 4). Sie versteht sich als Beitrag zur methodischen Diskussion und Entwicklung von systematischen Übersichtsarbeiten. Im ersten Anwendungsbeispiel wurde untersucht, ob Propranolol, Metoprolol und Flunarizin bei der prophylaktischen Behandlung der Migräne wirksamer sind als Placebo, ob die einzelnen Substanzen ähnlich wirksam sind bzw. wie wirksam sie im Vergleich zu anderen Medikamenten sind. Eingeschlossen wurden randomisierte klinische Studien an erwachsenen Migränepatienten mit mindestens 4 Wochen Dauer, in denen eine oder mehrere der genannten Substanzen mit Placebo oder einem anderen Medikament verglichen wurden. Die Literatursuche erfolgte in Medline und der Cochrane Library sowie über das Durchsuchen von Literaturverzeichnissen. Informationen zu Patienten, Interventionen und Ergebnissen wurden mit Hilfe eines vorgetesteten Formulars extrahiert. Die Qualität der Studien wurde mit drei Skalen beurteilt. Soweit möglich erfolgten Effektstärkeberechnungen für Therapieerfolg, Attackenhäufigkeit und Zahl der Patienten mit Nebenwirkungen. Eine quantitative Meta-Analyse wurde aufgrund der inkonsistenten und häufig inadäquaten Ergebnispräsentation in den Primärstudien nicht durchgeführt. Insgesamt entsprachen 57 Studien zu Propranolol (mit 25 Vergleichen vs. Placebo und 46 Vergleichen mit anderen Medikamenten), 16 zu Metoprolol (mit 4 Vergleichen vs. Placebo und 17 vs. andere) und 40 zu Flunarizin (mit 10 Vergleichen vs. Placebo und 36 vs. andere) den Einschlusskriterien. Die Qualität der Studien war in vielen Fällen unbefriedigend. Hauptproblem war die unzureichende Beschreibung von Studienabbrüchen und -ausschlüssen bzw. deren Berücksichtigung in der Analyse. Alle drei Substanzen waren in Bezug auf Therapieerfolg und Attackenzahl Placebo überlegen. Langzeiteffekte über 6 Monate hinaus und nach Absetzen können nicht sicher beurteilt werden. Mit wenigen Ausnahmen ergaben sich in Vergleichen mit anderen Substanzen keine signifikanten Unterschiede; die meisten Studien hatten jedoch zu geringe Fallzahlen, um potenziell relevante Unterschiede ausschließen zu können. Insgesamt kann die Wirksamkeit von Propranolol, Metoprolol und Flunarizin in der Migräneprophylaxe aufgrund der Konsistenz der Ergebnisse trotz der häufig unbefriedigenden Studienqualität als belegt angesehen werden. Im zweiten Anwendungsbeispiel wurde untersucht, ob Hypericumextrakte (Hypericum perforatum, Johanniskraut) bei der Behandlung von Depressionen (a) wirksamer sind als Placebo, (b) ähnlich wirksam sind wie synthetische Antidepressiva und (c) nebenwirkungsärmer sind als synthetische Antidepressiva. Eingeschlossen wurden randomisierte Studien an depressiven Patienten mit einer Therapiedauer von mindestens 4 Wochen, in denen ein Hypericummonoextrakt mit Placebo oder einem anderen Antidepressivum verglichen wurde. Die Literatursuche erfolgte in verschiedenen Datenbanken, über das Prüfen von Literaturverzeichnissen und über Kontakte mit Experten und Herstellern. Hauptzielkriterium für die Beurteilung der Wirksamkeit war der Responderanteil (meist definiert als ein Rückgang um 50% oder auf einen Wert von max. 10 auf der Hamilton Rating Scale for Depression). 33 Studien (23 Vergleiche mit Placebo, 12 mit anderen Antidepressiva) entsprachen den Einschlusskriterien. Im Vergleich zu Placebo erwiesen sich die Hypericumextrakte als deutlich überlegen, allerdings war der Effekt in neueren Studien und in Studien mit schwerer depressiven Patienten geringer ausgeprägt. Im Vergleich zu älteren und neueren Antidepressiva waren Hypericumextrakte ähnlich effektiv; Nebenwirkungen waren jedoch signifikant seltener. Aufgrund der vorliegenden Daten kann die Wirksamkeit von Hypericumextrakten bei leichten bis mittleren Depressionen als nachgewiesen gelten. Die Heterogenität in den Ergebnissen der einzelnen Studien deutet jedoch darauf hin, dass verschiedene Faktoren (möglicherweise Extraktwahl, Dosierung, Patientenklientel) die Effektivität beeinflussen. Die erste der drei empirisch-methodischen Analysen in Kapitel 3 untersucht die methodische Qualität randomisierter Studien zu Akupunktur, Phytotherapie und Homöopathie. Insgesamt 207 randomisierte Studien wurden einbezogen; diese waren im Rahmen von 5 systematischen Übersichtsarbeiten gesammelt und bewertet worden. Die Beurteilung der methodischen Qualität erfolgte mithilfe einer validierten Skala (Jadadscore) und Einzelitems. Die methodische Qualität der bewerteten Studien war in hohem Maße variabel, die Mehrzahl der Studien hatte relevante Schwächen. Hauptprobleme waren die Beschreibung der Verblindung der Gruppenzuteilung sowie von Studienabbrüchen und -ausschlüssen. Phytotherapiestudien hatten im Mittel bessere Qualität als Homöopathie- und Akupunkturstudien. Publikationen in einer Medline-gelisteten Zeitschrift, in jüngerer Vergangenheit und in englischer Sprache hatten im Mittel bessere Qualität als ältere, nicht in gelisteten Zeitschriften und in anderen Sprachen veröffentlichte Arbeiten. Die Qualitätsscores der komplementärmedizinischen Studien waren im Schnitt ähnlich wie diejenigen von Studien zu konventionellen Interventionen, die in ähnlichen Analysen bewertet worden waren. In der zweiten empirisch-methodischen Untersuchung wurde geprüft, ob ein Zusammenhang zwischen methodischer Qualität und Studienergebnis in 89 placebokontrollierten Studien zur Homöopathie besteht. Die Beurteilung der methodischen Qualität erfolgte mit zwei Skalen und Einzelkriterien. Ein potenzieller Zusammenhang zwischen methodischer Qualität wurde mit drei Methoden untersucht: Prüfung eines Zusammenhangs zwischen einzelnen Qualitätskomponenten und Studienergebnis (Komponentenanalyse), Vergleich von Studien, die eine bestimmte Minimumpunktzahl auf den Qualitätsskalen erreichten bzw. nicht erreichten (Mindestscoreanalyse), und konsekutiver Einschluss von Studien in die Meta-Analyse entsprechend den erreichten Qualitätsscores (kumulative Meta-Analyse). Mit allen drei Methoden ergab sich, dass bessere Studien weniger optimistische Ergebnisse erbracht hatten. In der dritten empirisch-methodischen Untersuchung wurde am Beispiel der klinischen Studien zu Akupunktur bei Kopfschmerzen die zuletzt angesprochene Thematik auch auf nichtkontrollierte Studien ausgeweitet. Es wurde geprüft, inwieweit sich randomisierte und nichtrandomisierte Studien in Bezug auf Patienten, Interventionen, design-unabhängige Qualitätsaspekte und Ergebnisse unterscheiden. 59 Studien (24 randomisierte und 35 nichtrandomisierte) konnten in die Analyse einbezogen werden. Randomisierte und nichtrandomisierte Studien unterschieden sich bzgl. Patienten und Interventionen zum Teil deutlich. Nichtrandomisierte Studien hatten im Schnitt schlechtere Qualität, jedoch gab es unter den randomisierten Studien sehr schlechte und unter den nichtrandomisierten auch gute Studien. Ein Randomisationsdesign und bessere Qualität waren mit weniger positiven Ergebnissen assoziiert. Die nichtrandomisierten Studien nutzten potenzielle Vorteile (bzgl. Fallzahl, Langzeitbeobachtung, Repräsentativität und Untersuchung prognostischer Faktoren) kaum. Der Einbezug nichtrandomisierter Studien in einen systematischen Review zur Evidenz für die Wirksamkeit der Akupunktur bei Kopfschmerzen hätte daher die Schlussfolgerungen kaum beeinflusst. In Kapitel 4 wurden die bis Frühjahr 2001 verfügbaren systematischen Übersichtsarbeiten zu Akupunktur, Phytotherapie und Homöopathie zusammengestellt. Die Suche erfolgte primär über die Datenbank des Bereichs Komplementärmedizin der Cochrane Collaboration und in Medline. Um als systematisch klassifiziert zu werden, mußte ein Review mindestens eines der folgenden drei Kriterien erfüllen: explizite Beschreibung von Literatursuche und Einschlusskriterien und/oder formale Beurteilung der methodischen Qualität der eingeschlossenen Studien und/oder Beschreibung und Durchführung einer quantitativen Meta-Analyse. 39 Reviews zur Akupunktur, 58 zur Phytotherapie und 18 zur Homöopathie entsprachen den Einschlusskriterien. Positive Schlussfolgerungen waren im Bereich Phytotherapie am häufigsten, bei der Akupunktur am seltensten. Die Qualität der Reviews war variabel, viele hatten jedoch relevante methodische Schwächen. Siebzehn Fragestellungen wurden von mehr als einer systematischen Übersicht bearbeitet. Die Zahl der eingeschlossenen Primärstudien variierte bei 10 von 17 Vergleichen um mehr als 50%. Unterschiede in den Einschlusskriterien und der Literatursuche erschienen als wahrscheinlichste Ursache für die Diskrepanzen, Unterschiede in der methodischen Qualität der Reviews schienen dagegen eine geringe Rolle zu spielen. Die Schlussfolgerungen waren trotz der Diskrepanzen häufig ähnlich. Die vorgelegten Anwendungsbeispiele, empirisch-methodischen Untersuchungen und die Zusammenstellung zu Akupunktur, Phytotherapie und Homöopathie demonstrieren Stärken und Schwächen von systematischen Reviews. Trotz der zu erwartenden methodischen Weiterentwicklungen werden derartige Übersichtsarbeiten auch in Zukunft mit Sorgfalt und Zurückhaltung interpretiert werden müssen.