Die technologische Entwicklung schreitet rasant voran: Moderne KI-Agenten erzeugen heute nicht mehr nur statischen Code, sondern können eigenständig Ziele definieren, Werkzeuge ansteuern und komplexe Entscheidungen treffen. Während frühere Systeme lediglich Vorschläge machten, greifen autonome Agenten nun direkt in Prozesse ein – sie analysieren Fehlermeldungen, starten CI/CD-Pipelines oder nehmen selbstständig Änderungen in Repositories vor.
Diese neue Stufe der Autonomie stellt Unternehmen vor enorme rechtliche Herausforderungen, da unser Rechtssystem primär auf menschliche Entscheidungen ausgerichtet ist. In diesem Blogeintrag beleuchten wir die kritischen Punkte zwischen Effizienzgewinn und regulatorischer Compliance.
1. Der AI Act: Wenn der Assistent zum Hochrisiko-System wird
Der europäische AI Act verfolgt einen risikobasierten Ansatz, der bei dynamischen KI-Agenten jedoch an seine Grenzen stößt. Ein System, das ursprünglich als harmloser Assistenzagent für die Softwareentwicklung eingestuft wurde, kann sein Risikoprofil im laufenden Betrieb verändern.
- Dynamische Risikoklassen: Wenn ein Agent beginnt, automatisiert Libraries auszuwählen oder eigenständig sicherheitsrelevante Build-Konfigurationen zu ändern, kann er plötzlich in den Bereich kritischer Prozesse fallen.
- Beispiel Personalwesen: Ein einfacher Sortier-Agent für Bewerbungen wird sofort zum Hochrisikosystem, sobald er Bewerber nicht nur alphabetisch listet, sondern eigenständig nach Eignung bewertet – selbst wenn dies ungeplant durch maschinelles Lernen geschieht.
- Sensible Bereiche: Besonders kritisch ist der Einsatz in der biometrischen Fernidentifizierung, in kritischen Infrastrukturen, in der Rechtspflege oder im Bereich Beschäftigung und Bildung.
2. Die Pflicht zur wirksamen menschlichen Aufsicht
Unternehmen sind gemäß Artikel 14 des AI Acts verpflichtet, eine wirksame menschliche Aufsicht über die gesamte Verwendungsdauer sicherzustellen. Dabei haben sich drei Konzepte etabliert:
- Human in the Loop: Der Mensch ist direkt in jeden Entscheidungsschritt eingebunden.
- Human on the Loop: Der Mensch überwacht den Prozess und kann bei Bedarf eingreifen.
- Human in Command: Der Mensch behält die volle Kontrolle über das Gesamtsystem.
Je eigenständiger ein KI-Agent handelt, desto ausgefeilter müssen die technischen Eingriffs- und Stoppmechanismen sein. Ein Echtzeit-Handelssystem kann beispielsweise nicht bei jeder Transaktion gestoppt werden, benötigt aber intelligente Monitoringsysteme, die Anomalien erkennen und automatische Eskalationsprozesse auslösen.
3. Haftung und die „Beweislastumkehr“
Ein KI-Agent besitzt keine eigene Rechtspersönlichkeit und kann daher nicht selbst haften. Er gilt als Werkzeug, dessen Handlungen dem betreibenden Unternehmen zugerechnet werden.
Mit der neuen EU-Produkthaftungsrichtlinie werden Software und KI-Systeme ausdrücklich als haftungsrelevante Produkte eingestuft. Dies führt zu einer grundlegenden Reform:
- Haftung bei Datenverlust: Ansprüche können nun auch bei Datenverlusten geltend gemacht werden, die auf KI-Fehler zurückzuführen sind.
- Beweislastumkehr (Entlastungsbeweis): Unternehmen müssen im Schadensfall darlegen und beweisen, dass sie die erforderliche Sorgfalt beachtet, Risikoanalysen durchgeführt und Schutzmechanismen implementiert haben. Ohne lückenlose Dokumentation ist eine wirksame Begrenzung der Haftungsrisiken kaum möglich.
4. Der Betreiber wird zum Anbieter: Vorsicht bei Modifikationen
Ein oft unterschätzter Punkt ist Artikel 25 des AI Acts. Ein Unternehmen, das einen fremden KI-Agenten nutzt, kann rechtlich automatisch in die Rolle des KI-System-Anbieters rutschen. Dies geschieht, wenn:
- Das System unter eigenem Namen vertrieben wird (Rebranding).
- Das System wesentlich modifiziert wird (z. B. durch Feintuning mit zusätzlichen Datenquellen).
- Der Verwendungszweck so geändert wird, dass ein Hochrisikosystem entsteht.
In diesen Fällen übernimmt der Betreiber alle Pflichten eines Anbieters, inklusive Konformitätsbewertung und CE-Kennzeichnung.
5. Datenschutz, Urheberrecht und Branchenregeln
Neben dem AI Act müssen KI-Agenten weitere Hürden nehmen:
- Datenschutz (DSGVO): Wenn Agenten Zugriff auf echte Unternehmensdaten haben, müssen Grundsätze wie Zweckbindung und Datenminimierung streng eingehalten werden.
- Urheberrecht: Durch KI-Agenten generierter Sourcecode genießt mangels menschlichem Beitrag grundsätzlich keinen urheberrechtlichen Schutz. Zudem besteht die Gefahr, Urheberrechte Dritter zu verletzen, wenn der Agent beim Training oder der Code-Generierung fremden Code ohne Erlaubnis einbezieht.
- Sektorspezifische Vorgaben: Wie wir bereits in unserer Diskussion zu DORA gesehen haben, müssen Finanzagenten zusätzlich komplexe Bankenregeln und Resilienz-Vorgaben erfüllen. Ähnliches gilt für die Medizinprodukteverordnung im Gesundheitswesen.
Fazit: Strukturierte Governance als Erfolgsfaktor
KI-Agenten sind kein einfaches technisches Zusatzmodul, sondern bilden eine neue juristische Kategorie. Für einen rechtssicheren Einsatz empfiehlt sich ein strukturiertes Vorgehen:
- Use Cases klar definieren und mit Risikoanalysen versehen.
- Rollen- und Rechtekonzepte sowie klare Freigabeschleifen etablieren.
- Technische Robustheit durch Monitoring, Audit-Trails und Stresstests sicherstellen.
- Vertragliche Absicherung: Schriftliche Vereinbarungen mit Zulieferern über Informationspflichten und technischen Zugang treffen.
Wer frühzeitig klare Prozesse und eine lückenlose Dokumentation etabliert, schafft nicht nur Vertrauen, sondern minimiert effektiv seine Haftungsrisiken in einer zunehmend autonomen digitalen Welt.
