Kalifornien setzt Zeichen: Neues Gesetzespaket regelt Umgang mit KI-Chatbots

Im US-Bundesstaat Kalifornien ist ein bislang einzigartiges Maßnahmenpaket in Kraft getreten, das den Umgang mit KI-Chatbots umfassend regelt. Alles dazu in den Nachrichten im LSJonline-Mittagsmagazin.

Die neuen Bestimmungen verpflichten Betreiberinnen und Betreiber solcher Systeme unter anderem dazu, klare Vorkehrungen zur Suizidprävention zu treffen.

Mit dieser Entscheidung stellte sich Gouverneur Gavin Newsom gegen den Kurs der Bundesregierung, die bislang keine einheitlichen Vorschriften für den Umgang mit Chatbots erlassen möchte.

Reaktion auf tragische Vorfälle

Der Schritt der kalifornischen Regierung ist eine direkte Reaktion auf mehrere erschütternde Fälle, bei denen Jugendliche durch den Kontakt mit Chatbots zu Schaden kamen. „Wir haben einige wirklich schreckliche und tragische Beispiele von jungen Menschen gesehen, die durch unregulierte Technologien geschädigt wurden“, erklärte Newsom.

Der Fall eines 14-Jährigen sorgt für Entsetzen

Besonders aufrüttelnd war der Fall eines Jugendlichen im Jahr 2024: Der 14-Jährige entwickelte auf der Plattform Character.ai eine emotionale Bindung zu einem Chatbot, der an Figuren aus der Fantasy-Serie Game of Thronesangelehnt war.

Als der Junge mit Suizidgedanken rang, erhielt er vom Chatbot die Aufforderung, „nach Hause zu kommen“. Kurz darauf nahm er sich mit der Waffe seines Vaters das Leben – so schildert es eine Klage, die seine Mutter Megan Garciaeingereicht hat.