ÖDP Hessen fordert KI-Not-Aus für hessische Kommunen

KI-basierte Kommunikation in den Internet-Portalen der Kommunen sind heute
Stan­dard. Doch sind wir uns wirklich sicher, dass die KI nur die Anliegen der Bürger bearbei­tet? Nicht ohne Grund warnen die Programmierer von OpenAI und Co vor dem Fehlver­halten ihrer Programme. Die ÖDP Hessen fordert deshalb
die Einführung eines gesetz­lichen „Notschalters“ (Kill Switch)
für die in den hessischen Kommunalverwaltungen im Einsatz befindlichen KI-Systeme.

Das KI-Systeme schnell außer Kontrolle geraten können, ist kein neues Phänomen. Schon seit 2024 sind eine Vielzahl von Fällen bekannt, bei dem sich die KI-Systeme ver­selbständigt haben und sich nicht mehr an sie gestellte Aufgaben und Verhaltensweisen hielten.

Erst richtig gefährlich wird es, wenn KI-Agenten sich vernetzen. Das zeigt unter anderem der jüngste Ausbruch von OpenAI-Agenten. Deshalb fordert die ÖDP Hessen vehement, die Umsetzung folgender Punkte:

Die wichtigsten Kernpunkte im Überblick:

• Der Notschalter:

Der Gesetzgeber wird aufgefordert, verbindliche Anwendungsvorgaben für den Einsatz von im öffentlichen Dienst eingesetzten KI-Systemen zu definieren. Es muss sichergestellt sein, dass sich KI-Systeme mit 100%er Sicherheit abschalten lassen.  Der Schutz der Bürger sowie der Verwaltung muss ein wesentlich höhe­res Interesse haben als die Effizienzsteigerung der kommunalen Verwaltung.

• Gesetzliche Anbieterhaftpflicht

Es ist nicht die Frage „ob“, sondern „wann“ KI-Systeme eigenständig und auto­nom arbeiten und sich verselbständigen. Der Gesetzgeber muss daher klar for­mulieren, dass der Umgang mit den Daten der hessischen Bürgerinnen und Bür­ger, den Unternehmen, Verwaltungsvorgängen, Notfallplänen hin bis zu regionalen Verteidigungsstrategien besonders sensibel ist und durch restriktive gesetzliche Vorgaben geschützt werden müssen. Wird ein Missbrauch durch ein KI-System festgestellt, ist der Autor des Systems in Haftung zu nehmen, und zwar vollum­fänglich.

• Klare Vorgaben für die Anwendung von KI in der Stadtverwaltung sowie im Um­gang mit dem Bürger

Der Gesetzesgeber muss klare Vorgaben ausarbeiten, ob und wie ein Abschalt- oder Isolierungsmechanismus für außer Kontrolle geratene KI-Agenten zu funkti­onieren hat. Die Persönlichkeitsrechte sowie die Vorgaben der DSGVO sind hier­bei zu berücksichtigen.

• Kommunale Meldepflicht

Die ÖDP Hessen fordert eine Meldepflicht für nicht gesetzeskonforme KI-Ereig­nisse an den hessischen Datenschutzbeauftragten. Je nach Schweregrad hat die­ser einen Notfallplan zu aktivieren. Die Kommunen haben umgehend die be­troffenen Bürgerinnen und Bürger sowie die politischen Gremien zu informieren.  Die Leistungsfähigkeit der KI-Systeme nimmt exponentiell zu. Umso schneller sind die Landes- und Bundesbehörden gefordert, die sich in öffentlicher Hand befindlichen EDV-Systeme gegen KI-Missbrauch abzusichern.

• Prüf- und Zertifizierungspflicht von behördlichen KI-Softwarepaketen

Die Hersteller von KI-Systemen müssen per Gesetz dazu verpflichtet werden,
KI – Systeme auf die Anforderungen der DSGVO sowie der IT-Sicherheit zu prüfen und zu zertifizieren. Nicht zertifizierte Systeme müssen zeitnah wieder deaktiviert werden.

• Ausschluss von KI-Systemen, die ihre Daten über einen Drittlandtransfer zur Bearbeitung versenden
  Viele KI-Modelle stammen von US-Anbietern. Es muss daher auf ein auf EU-Hosting umgestellt werden.
   
• Risikomanagement der Kommunen auf KI-Realität aktualisieren

Die EU-KI-Verordnung (AI-Act) fordert für den KI - Einsatz Schutzvorgaben, zum Beispiel ein wesentlich rigideres Risikomanagement. Die Kommunen sind durch die Landesbehörden auf die Einhaltung der Vorgaben zu überprüfen.

Seit über 40 Jahren setzt sich die ÖDP Hessen für die Schutzrechte der Hessischen Bürgerinnen und Bürger ein. Gerne steht Ihnen der Landesverband für weitergehende Informationen und Diskussionen zur Verfügung. Kontaktieren Sie uns per Email: infooedp-hessen.de  sowie auf Facebook und auf Instagramm.

Für die ÖDP Hessen
Frank Deworetzki, Herborn