„Das KI-System weiß einfach nicht, was es lernt.“

Welche Rolle hat aus Ihrer Sicht künstliche Intelligenz (KI) und welchen Stellenwert nimmt die Ethik ein?
Künstliche Intelligenz wird als Lösung aller Probleme gepriesen. Mit dem Begriff wird eine Art Solutionismus transportiert, den es kritisch zu hinterfragen gilt, um sich ein differenzierteres Bild von der künstlichen Intelligenz und ihren ethischen Implikationen für die Medizin machen zu können. Die KI stellt zwar ein nützliches Werkzeug zur Unterstützung ärztlicher Beurteilung dar, aber sie bleibt nun mal unabdingbar auf menschliche Entscheidungshoheit angewiesen, um sich tatsächlich als segensreich für die Medizin zu erweisen. Nicht die KI an sich kann Probleme lösen, sondern erst ein besonnener Umgang mit den Chancen und auch Grenzen der KI.

Gibt es ethische Prinzipien, die Ihrer Meinung nach auf die Anwendung von KI in der Medizin besonders zutreffen?
Die Anwendung der KI in der Medizin muss ethischen Grundlagen genügen, damit sie sich als segensreich erweisen kann. So ist es dringend notwendig, dass die Datensätze, die man als Lerndaten verwendet, tatsächlich repräsentativ sind. Das heißt, dass diese keine Einseitigkeiten enthalten dürfen, sondern dass sie weitgehend frei sind von Verzerrungen. Es gilt hier, der Gefahr von Diskriminierungen vorzubeugen. Solche Diskriminierungen sind jederzeit möglich, weil das KI-System einfach nicht weiß, was es lernt. Erschwert wird das Problem dadurch, dass es oft schwierig zu beurteilen ist, ob eine systematische Verzerrung vorliegt oder nicht; in die Daten können sich Gruppenstereotypien einschleichen, die unerkannt bleiben. Auch können sich hinter den Lerndaten durchaus auch nicht transparente Interessenlagen verbergen, gerade wenn Algorithmen vermarktet werden. Abgesehen davon lässt sich sagen, dass es im Umgang mit der KI tendenziell einen Bias der Mehrheit gibt, das heißt, dass das mengenmäßig Überlegene auch eine stärkere Gewichtung erhält und dass dadurch immer die Gefahr der Benachteiligung der Minderheiten verbunden ist. Aus alldem wird deutlich, wie wichtig das Desiderat einer Nicht-Diskriminierung durch die Gewährleistung von Datenqualität wäre. Andere ethische Maßgaben wären die Gewährleistung von Durchsichtigkeit und Erklärbarkeit der Algorithmen, die Vermeidung einer Verantwortungsdiffusion und die Einsicht in die Notwendigkeit einer ärztlichen Letztentscheidung.

Sie kritisieren häufig eine technokratische Sichtweise auf die Medizin und warnen vor Entfremdung. Wie soll man im Gesundheitswesen grundsätzlich damit umgehen, was davon betrifft Hersteller von Medizinprodukten?
Viele Ärztinnen und Ärzte dazu neigen, in der Konfrontation mit einer Klassifizierung des Computers eher ihre eigene Einschätzung infrage zu stellen als die Rechenoperation des Computers. Ein etwaiger Zweifel an der Entscheidung des Computers erscheint geradezu abwegig, weil implizit davon ausgegangen wird, dass die Computer besser sind als Menschen. Das Problem ist somit der implizite Glaube an die Überlegenheit des Algorithmus gegenüber menschlicher Erkenntnis. Das ist genau das, was man unter dem Schlagwort des „Automation Bias“ in der Literatur beschrieben hat. Selbst wenn menschliche Entscheiderinnen und Entscheider den Vorschlag des Algorithmus lediglich als eine Informationsquelle heranziehen, werden sie doch stark davon beeinflusst und neigen dazu, Vorgeschlagenes zu bestätigen. Durch eine solche Neigung, sich weniger auf das eigene als auf das technisch erzeugte Urteil zu verlassen, entsteht ein Umgang mit Algorithmen-gestützten Systemen, der dadurch charakterisiert ist, dass die Menschen tendenziell dem Urteil der Computer vertrauen und die eigenen Kompetenzen sukzessive abtreten. Man kann somit von einem ausgeprägten Anwendungsoptimismus sprechen, der nicht nur deswegen so naheliegt, weil mit der Übertragung der Entscheidung an den Computer eine Verantwortungsentlastung assoziiert wird, sondern weil die KI-Systeme schlichtweg eine hohe suggestive Wirkung entfalten. Diese suggestive Wirkung gilt es zu bedenken und kritisch zu reflektieren.

Wer trägt Ihrer Meinung nach die ethische Verantwortung für Entscheidungen, die durch KI-gestützte Systeme in der Medizin getroffen werden?
Die Undurchsichtigkeit und Opazität der algorithmischen Entscheidungswege kann zu einer Verantwortungsdiffusion führen, denn wenn man gar nicht genau weiß, auf dem Boden welcher Gesichtspunkte die Maschine bestimmte Rückschlüsse zieht, so weiß man am Ende auch nicht, wer jetzt für diesen intransparenten Rückschluss tatsächlich die Verantwortung tragen muss. Wenn aufgrund der Undurchsichtigkeit der KI-Entscheidungen am Ende niemand für einen Fehler verantwortlich gemacht werden kann, käme es zu der untragbaren Situation einer Verantwortungslücke. Das gilt es, mit allen Mitteln zu verhindern, allein schon deswegen, da eine solche Verantwortungsdiffusion unweigerlich mit ungeklärten Haftungsfragen bei etwaigen Fehldiagnosen und Fehlentscheidungen verbunden wäre. Um das zu vermeiden, muss zunächst die Gefahr erkannt werden, dass man sich zu schnell in Sicherheit wiegt, wenn die Maschine etwas vorgibt, und dass man gar nicht mehr genau hinzuschauen braucht. Diese Tendenz hat auch einen haftungsrechtlichen Hintergrund, denn im Falle dessen, dass eine Ärztin oder ein Arzt die Maschinenentscheidung überstimmt, übernimmt sie oder er eine besondere Verantwortung, wenn in dem Fall etwas schiefgeht. Es ist daher leichter für die Ärztin oder den Arzt, mit der Maschine mitzulaufen, weil er oder sie auf diese Weise die Verantwortung einfach abschieben kann. Daraus wird deutlich, dass im Zuge der Algorithmen-basierten Entscheidungen die Verantwortungsverhältnisse vage werden. Das hat auch mit der entlastenden Tendenz zur Übertragung von Entscheidungen an Maschinen zu tun. Damit wird den Maschinen eine besondere Handlungsmacht zugeschrieben, die sich formend auf die sozialen Kontexte auswirkt. Am Ende aber muss man sich im Klaren sein, dass es zur ärztlichen Verantwortung dazugehört, kritisch mit den Vorschlägen der KI umzugehen und sie eben durch ärztliche Beurteilungskraft zu überprüfen.

Wie lässt sich das Risiko für Patientinnen und Patienten, das durch die Anwendung von KI in Medizinprodukten entsteht, ethisch vertretbar minimieren?
Die zentrale Grenze der Anwendung der KI in der Medizin betrifft den Stellenwert der ärztlichen Kontrolle von KI-Resultaten. Es wird immer so getan, als könne die Leistung der KI die Leistung der Ärztinnen und Ärzte geradezu übernehmen. Doch dies ist ein Trugschluss. Zunächst einmal gilt es zu bedenken, dass die eigentliche Leistung des Gesundheitspersonals sehr viel komplexer und vielschichtiger ist, als die Euphorie für die künstliche Intelligenz suggeriert. So ist zum Beispiel die Diagnosestellung ein sehr anspruchsvoller Prozess, der nicht einfach auf eine Addition von Daten reduziert werden kann. Die Diagnosestellung ist schlichtweg mehr als eine bloße Bildinterpretation. Im Zuge der Diagnosefindung werden zunächst Arbeitshypothesen gebildet, die dann im Zuge eines investigativen Prozesses nach und nach abgearbeitet werden, indem die infrage kommenden Differentialdiagnosen weiter untermauert oder falsifiziert werden. Für diesen hochkomplexen und dynamischen Prozess werden eben nicht nur Daten, Bilder und Befunde gesammelt, sondern es fällt genauso die Anamnese ins Gewicht und der Gesamteindruck der Betroffenen. Es ist die Fähigkeit der Ärztinnen und Ärzte, zunächst das Gesamte zu sehen, das sie dazu in die Lage versetzt, Differenzialdiagnosen sukzessive auszuschließen. Ohne Anamnese und ohne Blick auf die Gesamtsituation würde man im Zweifelsfall auch mit vielen objektiven Daten trotzdem lange im Dunkeln tappen. Richtungsweisend sind eben objektive Daten genauso wie subjektive Eindrücke, die sich nicht leicht in Daten überführen lassen, um auf der Suche nach der richtigen Diagnose die richtige Fährte einzuschlagen. Wenn Algorithmen die Diagnose stellen sollen, so wird dieser dynamische und investigative Prozess der Diagnosestellung eliminiert und der Weg vom Befund zur Diagnose einfach abgekürzt. Diese Abkürzung mag in manchen Fällen sinnvoll sein, wenn die Befunde eindeutig sind, im Zweifelsfall aber kann eine solche Abkürzung auch damit einhergehen, dass man eine mögliche Differentialdiagnose schlichtweg übersieht, weil das kritische Hinterfragen ausbleibt und blinde Flecken entstehen. Das heißt nichts anderes, als dass gegenwärtig eine sukzessive Unterschätzung der ärztlichen klinischen Intelligenz erfolgt, die gepaart wird mit einer epistemischen Überschätzung der künstlichen Intelligenz.

Wie sollte die Medizin mit der Tatsache umgehen, dass KI-gestützte Systeme manchmal unerwartete Ergebnisse oder Entscheidungen treffen?
Es gilt, Strategien zu entwickeln, die eine Durchsichtigkeit und Erklärbarkeit der algorithmischen Entscheidungswege ermöglichen. Hierzu gibt es schon zahlreiche vielversprechende Ansätze. So versucht man neue Verfahren des „interpretable machine learning“ zu etablieren, die allesamt unter dem Schlagwort der „explainable AI“ subsumiert werden. Vor diesem Hintergrund haben manche Juristinnen und Juristen gefordert, dass die Hersteller darlegen können müssen, dass ausreichende und geeignete Trainingsdaten verwendet wurden und ein Bias in den Daten vermieden wurde. Sie müssen begründen können, warum die Ergebnisse nicht nur zufällig richtig sind. Manche Autorinnen und Autoren verweisen darauf, dass es auch sonst in der Medizin Situationen gebe, in denen man eine genaue Erklärung nicht liefern könne. Und in diesen Situationen sehe man ja auch keine Probleme in Bezug auf die Autonomie der Patientinnen und Patienten. Auch in der sonstigen medizinischen Praxis bestehe oftmals eine limitierte Erklärbarkeit möglicher Nebenwirkungen aufgrund beschränkten Wissens. Hier gilt es jedoch zu bedenken, dass man sonst in der Medizin die Unerklärbarkeit in Kauf nimmt, ohne das Defizitäre solcher theorieblinden Entscheidungen dabei zu übersehen. Dieses Inkaufnehmen wird hingenommen, in der Annahme, dass es sich nur um ein Zwischenstadium handelt, weil man weiter an der Erklärung arbeiten wird. Und genau hier liegt der Unterschied zur künstlichen Intelligenz, bei der man Ergebnisse, auch ohne sie verstanden zu haben, einfach wie Orakel annimmt, weil sie ja rechnergestützt und damit vermeintlich objektiver und genauer sind. Bei der KI fehlt nicht nur die Transparenz, sondern es fehlt die Einsicht, dass jedes Resultat transparent sein muss, um wirklich ein gutes Resultat zu sein. Die fehlende Einsicht in das Defizitäre der mangelnden Erklärbarkeit ist das Problem der KI, der man durch eine ethische Forderung nach Durchsichtigkeit zu begegnen hat.

Inwieweit schränkt KI die ärztliche Entscheidungsfreiheit ein?
Künstliche Intelligenz kann eine gute Unterstützung sein, aber ohne eine ärztliche Plausibilitätsprüfung dessen, was der Computer von sich aus vorschlägt, verkäme die nützliche Hilfe zu einer gefährlichen Hörigkeit. Dem Algorithmus blind zu folgen, wäre eine Missachtung der ärztlichen Verantwortung, denn es ist erst die ärztliche Plausibilitätsprüfung, die aus der Rechenleistung des Computers eine der Patientin oder dem Patienten dienliche Leistung macht, indem die Ärztin oder der Arzt eben nicht weniger übernimmt als eine Überblicksverantwortung. Die Devise kann somit nicht lauten, die KI selbst zu verhindern, sondern vielmehr den blinden Gehorsam gegenüber der KI zu verhindern. Die KI kann den Ärztinnen und Ärzten bestimmte Dinge abnehmen und Teilfunktionen dadurch übernehmen, indem sie eine Entscheidungsstütze bietet, aber die ärztliche Entscheidung selbst erfordert mehr als KI; sie erfordert ärztliche Beurteilungskunst, und diese wird durch die KI nicht obsolet, sondern wichtiger denn je.

Wie beeinflusst der Einsatz von KI die Autonomie der Betroffenen?
Über die Anwendung der KI wird eine implizite Reduktion des Wissens vorgenommen. Diese Wissensreduktion ist für die Medizin sehr folgenreich, denn gerade das gute Vorgehen in der Medizin zeichnet sich dadurch aus, dass man es erst mit einem sehr vagen und unvollständigen Wissen zu tun hat, das unabdingbar auf implizite Wissensformen angewiesen ist, um als Gesamtwissen Handlungsorientierung geben zu können. Die über die Algorithmisierung vorgenommene Reduktion des Wissens auf das datenmäßig erfassbare Wissen führt unweigerlich zu einem sukzessiven Verlust von zentralen impliziten Wissensformen, wie Alltagswissen und Erfahrungswissen, die von konstitutiver Bedeutung sind für eine gute ärztliche Empfehlung. So geht es in der Medizin ja nicht nur um die Verobjektivierung von Befunden, sondern ganz essenziell um das Reflektieren einer Vorgehensweise, die nur dann eine richtige Vorgehensweise sein wird, wenn sie als Problemlösung fungiert, und zwar als Lösung eines lebenspraktischen Problems der Patientinnen oder des Patienten. Medizin hat es daher unweigerlich damit zu tun, auf dem Boden harter Fakten zugleich und in jedem Moment menschlicher Problemlöser sein zu müssen. Während für das Erste die Explizierungslogik KI-gestützter Vorgehensweisen eine Erleichterung sein kann, erweist genau diese sich für Letzteres als deletär, weil durch die KI-produzierte Wissensreduktion das praktische Handlungswissen abgewertet wird, obwohl man ohne dieses Wissen die Patientin oder den Patienten im Angesicht ihrer oder seiner ganz konkreten und lebensweltlich verankerten Problemlage nicht gut beraten kann. Deswegen lässt sich gerade in der Medizin gar von einem Recht auf eine ärztliche Entscheidung sprechen, die im Interesse einer guten Problemlösung für die Patientin oder den Patienten eben nie einfach durch eine automatisierte maschinelle Entscheidung ersetzt werden sollte. Daher gilt es, sich in ethischer Hinsicht immer im Klaren zu bleiben, dass jede Patientin und jeder Patient ein Anrecht auf das Primat ärztlicher Entscheidungshoheit hat.