Die Systeme reagieren empathisch, passen sich an und bauen Vertrauen auf. Für psychisch belastete Menschen kann das gefährlich werden, wenn aus Orientierung schnell emotionale Abhängigkeit entsteht. Die Forscher fordern deshalb verbindliche Sicherheitsstandards und eine klare Einordnung solcher Anwendungen als regulierte Medizinprodukte, sobald sie therapienahe Funktionen übernehmen. Ein zentraler Vorschlag ist eine „Schutzengel-KI”. Diese unabhängige Instanz soll Gespräche im Hintergrund überwachen, Risiken erkennen und im Ernstfall auf Hilfsangebote hinweisen. Ergänzt werden soll dies durch Altersprüfungen, verpflichtende Risikoanalysen und klare Hinweise, dass es sich nicht um eine ärztliche Beratung handelt.
Die Botschaft ist deutlich. KI kann helfen, aber nur, wenn sie verantwortungsvoll gestaltet wird. Gerade dort, wo Worte die Psyche berühren, braucht es klare Leitplanken, damit technischer Fortschritt nicht unbeabsichtigt Schaden anrichtet.
Pressemitteilung der "Technischen Universität Dresden" vom 05.12.2025