Bei großen Sprachmodellen im Gesundheitswesen geht es nicht nur darum, was technisch möglich ist. Entscheidend ist, für welchen Zweck ein System eingesetzt wird, welche Daten es verarbeitet und welchen Einfluss seine Ergebnisse auf die Versorgung haben.

LLMs können beispielsweise Gesprächsnotizen zusammenfassen, Schreiben vorbereiten, medizinische Informationen verständlich aufbereiten und unstrukturierte Daten ordnen. Ob und unter welchen Bedingungen ein konkreter Einsatz zulässig ist, hängt jedoch vom vorgesehenen Verwendungszweck, vom Anwendungskontext und von den erforderlichen Schutzmaßnahmen ab.

Wann eine regulatorische Prüfung erforderlich wird

Werden die Ergebnisse eines LLM für diagnostische oder therapeutische Entscheidungen verwendet, sollte frühzeitig geprüft werden, welche regulatorischen Anforderungen gelten und ob die Anwendung als Medizinprodukt einzustufen ist. Die menschliche Kontrolle allein beantwortet diese Frage nicht. Entscheidend sind ein klar definierter Verwendungszweck, verlässliche Prozesse für Prüfung und Freigabe sowie eine nachvollziehbare Dokumentation der vom Modell erzeugten Inhalte.

• Administrative Unterstützung: Auch beim Entwurf von Dokumenten müssen die fachliche Prüfung, der Datenschutz und die Freigabe vor der Verwendung verbindlich geregelt sein.
• Kommunikation mit Patientinnen und Patienten: Chat-Anwendungen benötigen klare Einsatzgrenzen, definierte Eskalationswege und eine transparente Kennzeichnung ihrer Funktion.
• Klinische Klassifikation: Anwendungen, die Vitalparameter, Bilder oder Symptome bewerten, erfordern eine frühzeitige regulatorische und klinische Prüfung.
• Personalisierte Behandlung: Systeme, die Therapieentscheidungen oder individuelle Empfehlungen unterstützen, benötigen belastbare klinische Evidenz und geeignete Maßnahmen zur Risikokontrolle.

“„Besonders sinnvoll sind LLM-Anwendungen, die medizinisches Fachpersonal gezielt unterstützen, statt dessen Entscheidungen ersetzen zu wollen.“”

— Dietrich Charisius – Technischer Leiter