Sprachmodell UroBot beantwortet Fachfragen genauer als Urolog:innen

Das Deutsche Krebsforschungszentrum (DKFZ) und die Urologische Universitätsklinik Mannheim haben gemeinsam UroBot entwickelt: einen auf künstlicher Intelligenz basierenden Chatbot, der medizinische Fachfragen im Bereich Urologie mit hoher Präzision beantworten kann. In einer aktuellen Studie übertraf der Chatbot nicht nur andere KI-Modelle, sondern auch die durchschnittliche Leistung erfahrener Urolog:innen bei Facharztprüfungen.

Beeindruckende Ergebnisse: UroBot basiert auf dem neuesten Sprachmodell GPT-4o und nutzt die innovative Methode der abrufunterstützten Generierung (Retrieval augmented Generation, RAG). Dadurch ist es möglich, relevante Informationen aus umfangreichen Dokumenten gezielt abzurufen und klinisch nachvollziehbare, leitliniengerechte Antworten zu liefern. Getestet wurde das Modell mit 200 Fachfragen des European Board of Urology – mit beeindruckenden Ergebnissen: UroBot erreichte eine Korrektheit von 88,4 % und übertraf damit den aktuellen GPT-4o-Standard um 10,8 Prozentpunkte. Auch im Vergleich zur durchschnittlichen Leistung von Urolog:innen bei der Facharztprüfung (68,7 %) zeigt UroBot signifikant bessere Ergebnisse.
Dank seiner Fähigkeit, evidenzbasierte Informationen nachvollziehbar und präzise darzustellen, könnte UroBot zukünftig Ärzt:innen im Klinikalltag, bei Tumorboards und in der Praxis unterstützen. Titus Brinker, Leiter des Entwicklungsteams, betont das Potenzial von UroBot: „Die Kombination von großen Sprachmodellen und evidenzbasierten Leitlinien eröffnet neue Wege für Assistenzsysteme in der Patientenversorgung, besonders bei zunehmend komplexen Therapieentscheidungen.“
Das Forschungsteam hat den Code und die Anleitung zur Nutzung von UroBot veröffentlicht, um künftige Weiterentwicklungen in der Urologie, aber auch in weiteren medizinischen Fachbereichen zu ermöglichen.