Über die Befreiung von der Tastatur und halluzinierende Sprachmodelle

Es gibt große Erwartungen, was den Einsatz von künstlicher Intelligenz (KI) im Spital betrifft. Zwei der in den Fokus geratenen Anwendungen betreffen den Electronic Medical Record (EMR) der Patient:innen. Was aus dem EMR mittels KI generiert wird, ist allerdings offenbar deutlich weniger problematisch, als was in den EMR über ein Large Language Model (LLM) eingespeist werden könnte.

Konkret geht es einerseits darum, wie die Daten aus der ärztlichen Dokumentation in den EMR kommen und andererseits, wie aus den Daten des EMR der Patientenbrief für die Entlassung erstellt wird. Beide Aufgaben werden bis dato manuell von den Ärzt:innen übernommen und kosten sehr viel Zeit. Dies betrifft vor allem den Patientenbrief, wie DigitalDoctor in seiner ersten Ausgabe 2023 anlässlich des Projektes “Arztbriefgenerator” (in Deutschland wird so der Patientenbrief genannt), des Fraunhofer Institutes IAIS  berichtet hat.

Markteintritt über Rehakliniken

Bei Fraunhofer ist man derzeit dabei, das Produkt im Rahmen des Projektes Smart Hospital.NRW im deutschen Bundesland Nordrhein-Westphalen für den Regeleinsatz zu optimieren. Wie Dario Antweiler, Teamleiter Healthcare Analytics am Fraunhofer IAIS gegenüber DigitalDoctor berichtet, habe man seit Sommer einen parallel für Rehakliniken entwickelten Arztbrief-Assistenten als Angebot am Markt. „Der Assistent basiert auf ähnlichen KI-Technologien, spart Zeit bei der Erstellung von Reha-Entlassbriefen, kann lokal eingesetzt werden und wird an die jeweilige Klinik angepasst“, so Antweiler. „Wir unterstützen die Kliniken bei der Hardware-Auswahl und der Einrichtung.“

Ein Partner, der den Arztbrief-Assistenten bereits im Einsatz hat und den das Fraunhofer Institut IAIS bereits nennen könne, sei die Luisenklinik in Stuttgart.

Während der Einsatz von speziell trainierten Large Language Modells (LLM) für die Erstellung von Texten, wie Patientenbriefen, auf der Basis vorhandener Daten aus dem EMR zweifellos eine große Erleichterung für das ärztliche Personal bringen kann und mit entsprechenden Auflagen – jeder Brief muss von einem Arzt freigegeben werden – auch in einer sicheren Form realisierbar ist, scheint der Traum von der automatisierten Dokumentation noch mit einigen Fragen verbunden zu sein.

Patientenkontakt ohne Bildschirmarbeit

Um den Arzt nämlich tatsächlich von der Tastatur zu befreien, also die „Keyboard Liberation“, wie es der amerikanische Kardiologe und erfolgreiche Autor von Büchern zum Thema Digitalisierung in der Medizin Eric Topol nennt, zu realisieren, müssen nicht nur offensichtliche Datenschutzthemen berücksichtigt werden. „Keyboard Liberation“ bedeutet ja, dass eine künstliche Intelligenz beim Arztgespräch mithört, die aus medizinischer Sicht relevanten Gesprächsanteile herausfiltert und in der Struktur des EMR korrekt abspeichert. Die KI muss also unterscheiden können, ob es gerade um anamnestisch relevante Symptome oder um Smalltalk über den letzten Urlaub des Patienten geht. Tatsächlich gibt es bereits Systeme, die dazu in der Lage sind. Werden also schon bald von der Tastatur befreite Ärzt:innen ihren Patient:innen ungestört von Dokumentationsaufgaben zuhören können?

Verlust an Qualität und Informationsdichte

Der kanadische Neurologe und KI-Experte Liam McCoy warnt vor zu viel Euphorie. In der Podcast-Serie „NEJM-Interviews” des New England Journal of Medicine erläutert er, warum beim Einsatz von LLM in der automatisierten Dokumentation von Arztgesprächen ein Verlust an Qualität und Informationsdichte droht. „Im Gegensatz zur Dr. House-Funktion von KI-Programmen, also der Assistenz in der Diagnostik, ist die Dokumentation von klinischen Konsultationen durch Large Language Models mit einem deutlich höheren Risiko verbunden“, so McCoy. Derzeit im Einsatz befindliche Programme hätten die Neigung zum Halluzinieren, also zur Generierung von Inhalten, die zwar plausibel klingen, aber schlichtweg falsch sind. In der Medizin sind das zum Beispiel Diagnosen, die der Patient gar nicht hat, die aber ergänzt werden, weil sie im vorliegenden Kontext häufig vorkommen. LLMs hätten zudem die Tendenz zur Vereinfachung, indem sie etwa eine häufige Behandlungsform eher generieren als eine seltenere. „Besonders problematisch wird es, wenn ein LLM auf der Dokumentation eines anderen LMM aufsetzt und so weiter“, betont McCoy. Dies führe unweigerlich zu einem Qualitätsverlust und zu einer Ausdünnung der Information. Ein weiterer Faktor, der zu reduzierter Informationsdichte führen kann, ist der so genannte „Chart clutter“ (Datenmüll)-Effekt. McCoy: „Wenn es so einfach ist, Notizen aufzuzeichnen, fällt auch mehr davon an.“ Wir Menschen hätten zudem die Tendenz, einer KI mehr zu vertrauen als einem anderen Menschen, also einem „Automation Bias“ zu unterliegen. Vor dem Hintergrund all dieser problematischen Faktoren fordert der Experte im NEJM-Podcast, dass die Modelle in Real-World-Trials sorgsam getestet werden.