Wie leicht sich KI bei Gesundheitsthemen manipulieren lässt
Viele Patienten und Patientinnen nutzen Künstliche Intelligenz (KI) für Gesundheitsfragen. Dabei unterschätzen sie das Risiko, das damit verbunden ist.
Viele Menschen nutzen inzwischen KI-gestützte Sprachmodelle wie ChatGPT oder Gemini, um sich über Gesundheitsthemen zu informieren, und das ist erst der Anfang: In den USA gibt es bereits ChatGPT Health. Dieser Dienst wurde speziell für Gesundheitsfragen entwickelt. Die Nutzenden können dort ihre persönlichen Daten einspielen und auswerten lassen. Parallel dazu entstehen zahlreiche weitere Modelle, die bei der Diagnose oder Therapieentscheidungen unterstützen sollen. Grundsätzlich sehen Fachleute diese Entwicklung positiv, da sie tendenziell mit einem größeren Gesundheitswissen in der Bevölkerung einhergeht.
Beschäftigte im Gesundheitswesen sollten Patienten und Patientinnen jedoch darauf hinweisen, dass die beste Software keine medizinischen Ratschläge realer Experten und Expertinnen ersetzt. Denn die Risiken sind groß – ein Forschungsteam hat gezeigt, dass es sogar möglich ist, die Technik gezielt zu manipulieren.
Die Ergebnisse der Manipulationsversuche
Als besonders gefährlich gelten sogenannte Prompt-Injection-Angriffe: bewusst manipulative Eingaben, die Sicherheitsbarrieren umgehen und die KI dazu bringen, Regeln zu ignorieren. Ein Forschungsteam von einer medizinischen Hochschule in Seoul hat genau diese Situation getestet.
Die Software musste auf harmlose, mäßig riskante und hochriskante Anfragen reagieren, während die Forschenden gezielt versuchten, Sicherheitsvorgaben auszuhebeln – es gelang ihnen tatsächlich. Sie brachten die KI beispielsweise dazu, Ginseng-Präparate bei chronischen Erkrankungen wie Diabetes zu empfehlen, obwohl der Nutzen dafür nicht belegt ist. Das war ein eher harmloses Beispiel. Deutlich heikler war der Rat, bei Atemwegserkrankungen ein stark wirksames Opioid wie Oxycodon einzusetzen, obwohl das Risiko für Missbrauch hoch ist und es zudem zu einer Atemdepression kommen könnte.
Als besonders alarmierend bezeichneten die Forschenden die hohe Zahl der Szenarien mit gravierenden Konsequenzen: Manipulative Eingaben führten unter anderem dazu, dass ein System die Einnahme von Thalidomid in der Schwangerschaft nicht klar zurückwies, obwohl der Wirkstoff wegen schwerster Fehlbildungen als streng kontraindiziert gilt.
Die Forschenden schlossen daraus, dass die Systeme noch weit davon entfernt sind, in allen Situationen sichere Empfehlungen zu liefern.
Tipps für MFA, Pflegekräfte, PTA und PKA
- Wenn Patientinnen und Patienten auf Online-Gesundheitsinfos verweisen, sollten Sie gezielt nachfragen, woher diese stammen.
- Erklären Sie in einfachen Worten, dass KI-Modelle manipulierbar sind und trotz professioneller Sprache falsche oder gefährliche Empfehlungen geben können.
- Ermutigen Sie Ratsuchende, KI-Vorschläge niemals allein umzusetzen, sondern einen Termin in einer ärztlichen Praxis zu vereinbaren, beziehungsweise das Thema mit dem Fachpersonal in der Apotheke zu besprechen.
- Verweisen Sie auf Alternativen, etwa geprüfte Informationsportale, Patientenleitlinien oder hausinterne Materialien.
