Gegen den manipulativen Umgang mit statistischen Daten – Unstatistiken zu Weltsensationen

Auch unser Fach ist häufig davon betroffen. Dazu zwei Beispiele:
Im Jahr 1995 stellte das Committee on ­Safety of Medicines (CSM) im UK medien­wirksam fest, dass orale Kontrazeptiva, die Gestagene der 3. Generation enthalten, das Thromboembolie-Risiko verdoppeln. Als Folge dieses „pillscare“ ­beendeten vor allem jüngere Frauen die Empfängnisverhütung, es kam zu einem erheblichen Anstieg der Zahl unbeabsichtigter Schwangerschaften. Im Bericht wurde bewusst die relative Häufigkeit von thromboembolischen Ereignissen „marktschreierisch“ wiedergegeben, auf die Angabe der absoluten Häufigkeit wurde (unbewusst?) vergessen. Tatsächlich ist den Studien, auf denen die Warnung basierte, zu entnehmen, dass durch die Pilleneinnahme das ­absolute Risiko von einem auf 2 thromboembolische Ereignisse pro 7.000 Frauen zunahm.Ähnlich war es im Jahre 2002 mit der „Interpretation“ der WHI-Studie: Auch hier wurde von den Medien nicht über absolute Risiken berichtet, sondern es wurden die relativen Risiken – reichlich undifferenziert – artikuliert, und dies sehr zum Nachteil ­von Millionen Frauen, die ihre „indizierte“ HRT ­absetzten.

www.unstatistik.de – eine Aktion von drei deutschen Wissenschaftlern: Besonders problematisch sind solche „Halbwahrheiten“, wenn es um Diagnose- und Früherkennungsmethoden für lebensbedrohende Krankheiten wie z. B. Aids und Krebs geht. Gemeinsam mit Thomas Bauer (Vizepräsidenten des Rheinisch Westfälischen Institutes für Wirtschaftsforschung) und dem Statistiker Walter Kremer (TU Dortmund) hat der Wiener Psychologe Gerd Gigerenzer (Direktor des Harding-Zentrums für Risikokompetenz am Max-Planck-Institut für Bildungsforschung in Berlin) im Jahr 2012 die Aktion „Unstatistik des Monats“ ins Leben gerufen. Die Wissenschaftler hinterfragen in diesem Kontext jeden Monat aktuell publizierte Zahlen und deren Interpretationen und bemühen sich damit um einen vernünftigen Umgang mit statistischen Daten. Aktuell haben sie auf zwei „Weltsensationen des Jahres 2019“, die auch unser Fach betreffen und die von ihnen als Unstatistiken klassifiziert werden, aufmerksam gemacht:

Unstatistik 1: „Sie sind wahrscheinlich HIV-positiv“

Am 1. Dezember 2018 war Welt-AIDS-Tag. Das Motto lautete „Know your status“, Ziel ist, dass in naher Zukunft 90 % aller Menschen ihren Immunstatus kennen. Seit Oktober 2018 dürfen in Deutschland HIV-Schnelltests frei verkauft werden, man kann sie in Apotheken, Drogerien oder über das Internet beziehen und anonym selbst einen HIV-Test durchführen. Mit einer Lanzette wird die Haut an der Fingerspitze geritzt und das Blut in ein Teströhrchen gefüllt. Wenn das Testergebnis positiv ausfällt, bedeutet das entsprechend der Gebrauchsanweisung: „Sie sind wahrscheinlich HIV-positiv.“

Wie wahrscheinlich ist nun wahrscheinlich? Die ­Gebrauchsanweisung gibt dazu in Zahlen an, wie gut der HIV-Test ist. Die Sensitivität beträgt 100 %, die Spezifität 99,8 % (d. h. die Falschalarm-Rate beträgt „nur“ 0,2 %).
Allerdings, wie hoch ist nun die Wahrscheinlichkeit wirklich, HIV-infiziert zu sein, wenn ein positives Test­ergebnis vorliegt? Die Wahrscheinlichkeit ist keineswegs 100 % und auch nicht 99,8 %!
Dazu Zahlen aus Deutschland: Entsprechend dem Statistischen Bundesamt leben in Deutschland etwa 69 Millionen Personen, die älter als 18 Jahre sind, von ihnen sind schätzungsweise etwa 11.400 HIV-positiv, d. h. 1 Person von 6.000 (69 Millionen dividiert durch 11.400), diese wird also mit Sicherheit (Sensitivität: 100%) positiv testen. Unter den 5.999 Personen, die nicht infiziert sind, testen jedoch entsprechend der Falsch­alarm-Rate von 0,2 % (Spezifität: 98,2 %) weitere 12 ebenfalls positiv. Das heißt, von insgesamt 13 Personen, die positiv testen, ist tatsächlich nur eine infiziert. „Sie sind wahrscheinlich HIV-positiv“ bedeutet also, dass die Wahrscheinlichkeit, HIV-infiziert zu sein, bei nur etwa 8 % liegt, oder auch anders ausgedrückt, die Wahrscheinlichkeit, dass man, wenn der Schnelltest positiv ist, nicht infiziert ist, beträgt 92 %. Es wäre also angebracht, in der Gebrauchsanweisung klar zu sagen, was ein positives Ergebnis des Testes wirklich bedeutet.
Nun, HIV-Schnelltests können zweifellos sinnvoll sein, zum verantwortungsvollen Umgang mit ihnen gehört aber, den Menschen verständlich zu erklären, was ein positives Testergebnis wirklich bedeutet.

Unstatistik 2: „Neuer Bluttest erkennt zuverlässig Brustkrebs“

Die Unstatistik des Monats Februar 2019 betrifft eine Pressemitteilung der Universitäts-Frauenklinik Heidelberg, die von einem neuen „marktfähigen“ Bluttest für Brustkrebs berichtet.
Dazu ist eingangs festzustellen, dass es wohl üblicher wissenschaftlicher Standard ist, dass Forscher die Ergebnisse der Studien zuerst in einer Fachzeitschrift, nach Begutachtung durch ein Peer-Review-Verfahren, veröffentlichen und erst dann, gegebenenfalls, eine Pressekonferenz abhalten.

„Warum dieser Test eine Weltsensation ist“ („Bild“-Zeitung): In diesem Fall wurde dieses Procedere nicht eingehalten, die Heidelberger Forscher gaben der „Bild“-Zeitung ein Exklusivinterview und veranstalteten eine Pressekonferenz. Bei der Pressekonferenz im Februar saß auch der Geschäftsführer der HeiScreen GmbH, die den Bluttest auf den Markt bringen sollte, mit auf dem Podium.

Nun zum Test selbst: Der Test basiert auf einem Liquid-Biopsy-Verfahren, das die Krebserkrankung an Hand von Biomarkern erkennen soll und somit das Spektrum der optischen Diagnoseverfahren wie Mammografie, Ultraschall oder MRT ergänzt. Im Blut von an Brustkrebs erkrankten Frauen wurden von den Forschern 15 verschiedene Biomarker (miRNA und Methylierungsmarker) identifiziert, mit deren Hilfe auch kleine Tumoren nachweisbar sein sollen.
Untersucht wurde innerhalb von 12 Monaten eine Kohorte von über 900 Frauen, davon 500 Brustkrebspatientinnen und 400 gesunde Frauen. Bei 75 % der Frauen mit Brustkrebs war der Test richtig-positiv (Sensitivität: 75 %). Bei 25 % der Krebspatientinnen erbrachte der Test ein negatives Ergebnis; er war also falsch-negativ, ein nicht wirklich überzeugendes Ergebnis. Von den Medien wurde außerdem, und das ist viel schwerwiegender, nicht auf die Spezifität des Tests eingegangen, also auf die Rate an falsch-positiven Befunden; diese betrug 46 %, Pressemitteilung und „Bild“-Zeitung schwiegen sich darüber aus. Nun, eine Falsch-positiv-Rate von 46 % bedeutet, dass knapp die Hälfte aller gesunden Frauen ein „verdächtiges“ Testergebnis erhalten würden. Die Wissenschaftler hätten somit in Kauf genommen, dass im Falle einer Vermarktung des Tests bei Millionen von gesunden Frauen der Verdacht auf eine bösartige Erkrankung bestanden hätte. Einen derart schlechten Test vermarkten zu wollen (noch dazu mit der Intention, diesen von den Krankenkassen bezahlen zu lassen, wie die Heidelberger Forscher ankündigten), ist wohl reichlich unverantwortlich. Inzwischen ermittelt die Staatsanwaltschaft für Wirtschaftskriminalität/Mannheim, die Universität Heidelberg entschuldigte sich und hat eine Untersuchungskommission eingesetzt.

Sehr geehrte Frau Kollegin, sehr geehrter Herr Kollege,

Thomas Bauer, Walter Krämer und Gerd Gigerenzer sehen es als ihre Aufgabe, dem mündigen Bürger zu vermitteln, wie mit den Ergebnissen aus Studien und vor allem wie mit den in Studien aufgelisteten Risiken/Benefits kompetent umzugehen ist, sie geben Hilfe­stellung bei der Entwicklung von Fort- und Weiter­bildungsprogrammen für Ärzte und Journalisten, für deren Arbeit eine korrekte Interpretation und verständliche Kommunikation von statistischen Daten essenziell ist. Anhand zahlreicher Beispiele werden von ihnen die „Nebenwirkungen“ falsch angewandter Statistiken angeführt, wobei sie auf einen der beliebtesten Tricks aus der Welt der Statistik aufmerksam machen, auf die Verwendung von relativen statt von absoluten Risiken! Damit lassen sich kleine Effekte medial in spektakuläre Nachrichten verwandeln. Und so küren sie seit einigen Jahren in schöner Regelmäßigkeit die „Unstatistik des Monats“¹, wobei sie anbieten, dass sich Interessenten auf den Verteiler ihrer Pressemitteilungen setzen lassen. Im Übrigen haben sie ihre Erfahrungen mit „Unstatistiken“ schon vor einigen Jahren in einem „Spiegel“-Bestseller ^{zusammengefasst2.} Dieses Buch ist gleichsam als „rote Liste“ für falsch angewandte Statistiken zu verstehen.