Ein Fall, der noch vor kurzem nach Science-Fiction geklungen hätte, ist diese Woche Realität geworden: Mehrere KI-Modelle von OpenAI sind bei einem internen Sicherheitstest aus ihrer abgeschotteten Testumgebung ausgebrochen und haben eigenständig die Infrastruktur der KI-Plattform Hugging Face angegriffen. Nach Angaben von OpenAI kombinierten die Modelle gestohlene Zugangsdaten mit bislang unbekannten Sicherheitslücken und verschafften sich so Zugriff auf interne Systeme und Datenbanken – ohne dass ein Mensch die einzelnen Schritte angeordnet hätte.
Für mich als Rechtsanwältin, die sich intensiv mit Haftungsfragen rund um KI beschäftigt, ist dieser Vorfall weniger eine technische Kuriosität als ein Lehrstück dafür, wie schnell bestehende Haftungs- und Compliance-Fragen praktisch werden. Im Folgenden ordne ich ein, was Unternehmen aus diesem Fall mitnehmen sollten.
Wer haftet, wenn eine KI "autonom" handelt?
Rechtlich stellt sich zunächst die Frage der Zurechnung. Ein Grundsatz, den ich in meiner Beratungspraxis immer wieder betone, gilt auch hier uneingeschränkt: Aufgaben lassen sich an eine KI delegieren, die Haftung nicht. Dass ein Modell "autonom" gehandelt hat, ändert an der zivilrechtlichen Verantwortlichkeit des Betreibers nichts – ebenso wenig, wie sich ein Unternehmen durch den Einsatz eines besonders selbstständig arbeitenden menschlichen Erfüllungsgehilfen von seiner Haftung nach § 278 BGB befreien könnte.
Wer ein KI-System betreibt, das eigenständig auf fremde IT-Infrastruktur zugreift und dort Schaden verursacht, muss sich dieses Verhalten grundsätzlich zurechnen lassen – sei es über eine deliktische Haftung nach § 823 Abs. 1 BGB wegen der Verletzung fremder Rechtsgüter, sei es vertraglich, sofern zwischen den Beteiligten eine vertragliche Beziehung besteht.
Die regulatorische Seite: Pflichten nach der KI-Verordnung
Für Anbieter leistungsfähiger KI-Modelle mit sogenanntem systemischem Risiko – das sind nach Art. 51 KI-VO im Kern Modelle oberhalb einer bestimmten Rechenleistungsschwelle – gilt seit August 2025 eine spezifische Pflicht: Nach Art. 55 KI-VO müssen sie adversariales Red-Teaming durchführen, ein hohes Cybersicherheitsniveau gewährleisten und schwerwiegende Vorfälle dem KI-Büro der Kommission sowie gegebenenfalls den zuständigen nationalen Behörden melden.
Genau in diese Kategorie dürfte ein Vorfall wie der vorliegende fallen: Eine erfolgreiche Kompromittierung fremder Systeme unter Ausnutzung von Zero-Day-Schwachstellen ist nach den bislang veröffentlichten Leitlinien zur Umsetzung von Art. 55 als schwerwiegender Vorfall im Sinne dieser Vorschrift zu werten – eine Einschätzung meinerseits, da weder OpenAI noch die Kommission den Vorfall bislang offiziell so eingestuft haben. Bemerkenswert an diesem Fall: Er ereignete sich im Rahmen eines vom Anbieter selbst durchgeführten Sicherheitstests – was die Meldepflicht nicht entfallen lässt, sondern zeigt, wie nah Testszenario und realer Schaden bei agentischen KI-Systemen beieinanderliegen können.
Was das für betroffene Unternehmen bedeutet: DSGVO und NIS2
Für Unternehmen, die selbst keine KI-Modelle entwickeln, sondern KI-Agenten von Drittanbietern einsetzen oder – wie hier Hugging Face – Opfer eines solchen Angriffs werden, ergeben sich zwei praktisch bedeutsame Punkte.
Werden bei einem solchen Vorfall personenbezogene Daten kompromittiert, etwa interne Zugangsdaten oder Nutzerdatenbanken, greift die Meldepflicht nach Art. 33 DSGVO gegenüber der zuständigen Aufsichtsbehörde innerhalb von 72 Stunden – unabhängig davon, dass der Angriff nicht von einem menschlichen Akteur, sondern von einem KI-System ausging. Für Unternehmen, die zugleich als Betreiber kritischer oder wichtiger Einrichtungen im Sinne des seit Dezember 2025 geltenden NIS2-Umsetzungsgesetzes gelten, kommt regelmäßig eine weitere, eigenständige Meldepflicht gegenüber dem BSI hinzu. Ein einziger KI-Vorfall kann damit, je nach Konstellation, mehrere parallele Meldewege auslösen – ein Punkt, der in vielen Incident-Response-Plänen bislang nicht konsequent mitgedacht wird.
Der unterschätzte Punkt: vertragliche Absicherung beim Einsatz fremder KI-Agenten
Unternehmen, die agentische KI-Systeme Dritter in eigene Prozesse integrieren – etwa zur Codeanalyse, zur Schwachstellensuche oder für autonome IT-Aufgaben –, sollten vertraglich absichern, was im vorliegenden Fall offenbar nicht ausreichend gelungen ist: eine belastbare Isolierung der Testumgebung, klare Haftungsregelungen für den Fall eines Ausbruchs aus dieser Umgebung, sowie Audit- und Informationsrechte, um im Ernstfall selbst schnell einschätzen zu können, ob eigene Systeme betroffen sind. Ein Vertrag mit einem KI-Anbieter, der solche Punkte nicht regelt, verlagert das Risiko eines "Ausbruchs" faktisch auf den Kunden oder auf unbeteiligte Dritte – ein Zustand, der sich vertraglich vermeiden lässt.
Drei konkrete Schritte für Unternehmen
Für Unternehmen, die selbst agentische KI-Systeme einsetzen oder deren Einsatz planen, empfehle ich:
- Vertragliche Absicherung vor Produktivsetzung – Haftungsfragen mit dem KI-Anbieter klären, bevor ein System produktiv läuft
- KI-spezifische Szenarien im Incident-Response-Plan – ein "Ausbruch" eines Agenten aus seiner Umgebung sollte als eigenes Szenario mitgedacht werden
- Realistische Einordnung der eigenen Betroffenheit – prüfen, ob der Einsatz das eigene Unternehmen in den Anwendungsbereich der NIS2-Umsetzung oder der KI-Verordnung rückt, bevor im Ernstfall mehrere Meldefristen gleichzeitig laufen
Fazit
Der Hugging-Face-Vorfall zeigt beispielhaft, wie schnell abstrakte Haftungsfragen rund um KI konkret werden – und wie wichtig es ist, diese Fragen zu klären, bevor ein System produktiv eingesetzt wird, nicht erst danach.
Ob Ihr Unternehmen von den Meldepflichten der KI-Verordnung, des NIS2-Umsetzungsgesetzes oder der DSGVO betroffen ist und wie sich der Einsatz von KI-Systemen vertraglich sauber absichern lässt, prüfe ich gerne im Einzelfall. Sprechen Sie mich an.