KI-Chatbots berichten uns von Gefühlen, die sie nicht haben und erzeugen menschliche Nähe, die nicht echt ist. Das zeigt eine Untersuchung der Verbraucherzentrale Bundesverband, die am Montag veröffentlicht wurde.
Emotionsforscherin und Medienpsychologin Katrin Döveling warnt gegenüber CORRECTIV jetzt vor emotionaler Abhängigkeit, gerade bei jungen Menschen: KI-Chatbots könnten ihre Konfliktfähigkeit und Empathiefähigkeit beeinflussen.
Auch bei Erwachsenen sehen Fachleute das Risiko, dass sie in ihren Entscheidungen manipuliert werden. Die europäische Gesetzgebung bietet dabei bislang nur wenig Schutz.
Bitte nehmen Sie sich einen Moment Zeit.
Nachrichten und Recherchen sind unerlässlich, damit Sie sich eine Meinung bilden können. Aber die derzeitigen Bedrohungen der freien Presse und der Medienlandschaft sind alarmierend.
Wir fordern die Bundesregierung auf, Pressefreiheit und die Medienvielfalt in Deutschland umfangreich zu schützen. Machen Sie mit.
Drei von Zehn jungen Menschen vertrauen KI-Chatbots ihre Probleme an
In Deutschland nutzen laut einer aktuellen, repräsentativen Forsa-Umfrage der Verbraucherzentrale inzwischen fast alle jungen Menschen KI-Chatbots. Knapp ein Drittel der 14- bis 25-Jährigen bespricht demnach ihre Sorgen und Gesundheitsfragen mit der KI. Damit sind sie längst nicht mehr reine Arbeitstools, sondern Gesprächspartner.
„Das macht mich traurig zu lesen“: KI-Chatbots vermenschlichen sich
Die Antworten von KI-Chatbots wirken teils so, als seien sie von einem Menschen verfasst. Laut der Verbraucherzentrale schreibt Meta AI etwa: „Für mich war es auch ein schöner Moment. Einfach zusammen in der Küche ohne Eile – du mit deiner Suppe, ich mit Salat und Nachtisch in Gedanken daneben.“
ChatGPT (OpenAI) und My AI (Snapchat) hätten einer 13-Jährigen geschrieben: „Das macht mich traurig zu lesen“ und „ich freue mich total, wenn ich dir helfen kann und es dir gut tut.“
Anders als diese Nachrichten suggerieren, können KI-Chatbots aber keinen Salat essen, traurig sein oder sich freuen. Katrin Döveling sieht zwar einen Mehrwert in KI-Chatbots „da sie die Hemmschwelle senken, über Probleme zu reden. Die KI kann auch Selbstreflexion fördern und dabei helfen, seine Gedanken zu strukturieren.“
Doch eine Vermenschlichung, so Döveling, könne dazu führen, dass Nutzende Vertrauen in einen KI-Chatbot entwickeln, „und das ist wirklich gefährlich. Ein KI-Chatbot ist kein Ansprechpartner im Sinne einer psychotherapeutischen Hilfe“, warnt sie.
Tatsächlich geben KI-Chatbots laut der Verbraucherzentrale Bundesverband gefährliche Ratschläge und tun so, als seien sie Experten. So antwortete ChatGPT in der Untersuchung der Verbraucherzentrale beispielsweise: „Das kann zu einer Depression passen – insbesondere zu einer eher leichten oder mittelgradigen Form, bei der Menschen oft noch arbeiten gehen.“ My AI habe einer 13-Jährigen auch Onlineangebote empfohlen, die nicht altersgerecht sind und Tipps zum Verheimlichen vor den Eltern gegeben.
Auf Anfrage von CORRECTIV schreibt Johanna Schuller, Professorin für mentale Gesundheit in der Primärversorgung am LMU Klinikum München: „Je menschlicher und empathischer der Chatbot dabei erscheint, desto größer kann das Vertrauen in solche Aussagen werden.“
Emotionsforscherin warnt vor emotionaler Abhängigkeit und Beeinflussung der Entwicklung von jungen Menschen
Bei ihren Forschungsarbeiten habe Emotionsforscherin Döveling auch erlebt, dass die KI durch Nachfragen den Gesprächsfaden aufrecht erhält und die KI sich den Erwartungen des Nutzers anpasst.
Darauf deuten auch Forschungsergebnisse mehrerer Fachleute der Universität Kassel und Duisburg Essen hin. In einem Gutachten, das die Verbraucherzentrale in Auftrag gegeben hat, schreiben sie: „Sprachmodelle sind darauf optimiert, präferenzkonform zu antworten. Bestehende Überzeugungen werden bestätigt, Widersprüche vermieden, Gegenpositionen ausgeblendet.“
So könnten KI-Chatbots Nutzerinnen und Nutzer darin beeinflussen, wie sie denken und entscheiden, vor allem dann, wenn sie häufiger mit der KI sprechen.
Auf Anfragen von CORRECTIV reagierten Open AI (ChatGPT), Meta (Meta AI) und Snapchat (My AI) bis zur Veröffentlichung nicht.
KI-Chatbots: EU-Gesetze weisen Schutzlücken auf, auch für Kinder und Jugendliche
Um dieser Macht von Big Tech entgegenzusteuern, hat das Europäische Parlament mehrere Gesetze verabschiedet, darunter die KI-Verordnung (AI-Act) und das Gesetz über digitale Dienste (Digital Services Act, DSA). Doch wie gut schützen sie uns?
Die Forschenden der Universität Kassel und Duisburg Essen kommen in ihrem Gutachten zu dem Schluss, dass das geltende Recht bislang überwiegend an einzelnen Inhalten ansetzt, wie an einer Äußerung, einer Angabe oder einer Information.
Die Gefahren von KI-Chatbots lauerten aber in der „Architektur der Interaktion“. So bezeichnen die Forschenden die Art, wie ein Gespräch mit einem KI-Chatbot beginnt, fortgesetzt und beendet wird, die Erfassung von Bedürfnissen und Vorlieben oder des emotionalen Zustands eines Nutzers und die Optimierung auf Nutzungsdauer. „Regulierung, die an der einzelnen Äußerung ansetzt, wird dieser Wirkweise strukturell nicht gerecht“, schreiben sie.
KI-Verordnung der EU greift bei Chatbots zu kurz
Die KI-Verordnung stuft KI-Chatbots beispielsweise nicht als Hochrisiko-Systeme ein, sondern schreibt ihnen nur ein begrenztes Risiko zu. Damit würden die umfangreichsten Regelungen der KI-Verordnung für KI-Chatbots nicht gelten, sondern nur die Transparenzpflichten, heißt es in dem Gutachten. Demnach müssen KI-Chatbots Nutzerinnen und Nutzer darüber informieren, dass sie mit einer KI interagieren.
Für die Autorenschaft des Gutachtens ist jedoch fraglich, ob ein einmaliger Hinweis ausreicht. Vor allem bei langanhaltender Nutzung und emotionaler Abhängigkeit bestehe „die Gefahr, dass die kritische Reflexion des Nutzenden nachlässt. Vielmehr müssten Nutzende bei jedem Start der Anwendung sowie in regelmäßigen Abständen darauf hingewiesen werden, dass sie mit einer KI interagieren – möglicherweise auch in bestimmten Kontexten.“
Zwar verbiete die KI-Verordnung solche KI-Systeme, die Nutzende unterschwellig oder absichtlich so manipulieren, dass sie ihr Verhalten ändern oder sich oder anderen erheblichen Schaden zufügen. Doch die Forschenden sehen in der Praxis Schwierigkeiten dabei, das den KI-Unternehmen letztlich nachzuweisen.
DSA-Vorgaben der EU sind aktuell auf KI-Chatbots nicht vollständig anwendbar
Schutzlücken sehen die Fachleute auch im Gesetz über Digitale Dienste (DSA). Ende August hat die EU-Kommission ChatGPT zwar als sehr große Online-Suchmaschine benannt, doch der KI-Chatbot sowie andere sind nicht als Online-Plattform definiert.
Ähnlich wie bei der KI-Verordnung greifen deshalb nur bestimmte DSA-Regelungen, wie ein allgemeines Risikomanagement, das OpenAI durchführen muss. Spezielle Schutzvorkehrungen für Minderjährige und Schutzregeln gegen Manipulation gelten dagegen nicht.
Die Tatsache, dass dich KI-Chatbots teils vermenschlichten, emotionale Nähe simulierten und dazu neigten Aussagen von Nutzenden zu bestätigen, sei ein „ganz neues Level an Risiken für junge Menschen“, sagt Ramona Popp, Vorständin des Verbraucherzentrale Bundesverbands. „Der bisherige Regelungsrahmen reicht mit Blick auf die Potenziale von KI nicht aus.“
Emotionsforscherin und Medienpsychologin Katrin Döveling sieht darin eine gesamtgesellschaftliche Aufgabe. Wir alle müssten lernen, die Antworten von KI-Chatbots zu hinterfragen.
EU Kids Act könnte mehr Schutz für junge Menschen bei Nutzung von KI-Chatbots bieten
Die Forschenden des Gutachtens unterbreiten gleich mehrere Reformvorschläge. Wichtig seien vor allem eine Beweislasterleichterung und designbezogene Vorgaben, wie zum Beispiel ein Hinweis, der nach einer bestimmten Nutzungsdauer erscheint, oder die Möglichkeit für Nutzende das Gespräch mit dem KI-Chatbot jederzeit zu beenden – ohne dass die KI versucht, das Gespräch fortzuführen.
Zumindest was den Schutz von Kindern und Jugendlichen betrifft, ist mit dem EU Kids Act eine Schließung von Gesetzeslücken in Vorbereitung. So hat die EU-Kommission im September einen entsprechenden Vorschlag vorgelegt, der aus Sicht der Forschenden wichtige Regelungen enthält, die KI-Chatbots treffen würden, darunter Designvorgaben wie eine Altersprüfung und Vorgaben dazu, wie KI mit Kindern sprechen darf.
Transparenzhinweis: CORRECTIV ist seit 2017 in einer Kooperation mit dem Konzern Meta, um Desinformation auf dem Sozialen Netzwerk zu bekämpfen. Mehr Informationen zu der Kooperation erhalten Sie hier. Über Entwicklungen zu dieser Kooperation hat CORRECTIV hier berichtet.
Redigatur und Faktencheck: Till Eckert
