an artificial intelligence illustration on the wall
Photo by Tara Winstead on Pexels.com

Der VERIFIZIERT-Ansatz zur Revision KI-generierter Inhalte

Der VERIFIZIERT-Ansatz ist ein von Prof. Dr. Nicole Jekel entwickeltes, kompaktes und praxistaugliches Prüfschema für die Interne Revision, um KI-generierte Inhalte systematisch auf Fehler und sogenannte KI-Halluzinationen zu untersuchen. Da generative künstliche Intelligenz probabilistische Ergebnisse liefert und Halluzinationen oft sprachlich perfekt, inhaltlich jedoch frei erfunden sind, hilft dieser strukturierte Leitfaden Revisorinnen und Revisoren dabei, die Verlässlichkeit und Qualität von KI-Antworten risikoorientiert zu bewerten.

Das Akronym VERIFIZIERT steht dabei für elf konkrete Prüfschritte:

  • V – Valide Quellen: Antworten ohne konkrete Quellenangaben sind grundsätzlich als unsicher einzustufen. Es sollten stets präzise Nachweise eingefordert werden, während vage Aussagen wie „Studien zeigen“ als typisches Warnsignal dienen.
  • E – Existenz prüfen: Da KIs auch Quellen frei erfinden können, muss aktiv in offiziellen Datenbanken oder Suchmaschinen abgeglichen werden, ob die genannten Studien, Gesetze oder Institutionen tatsächlich existieren und auffindbar sind.
  • R – Realitätscheck durchführen: KI-Inhalte müssen mit dem eigenen Fachwissen, bekannten Fakten und Erfahrungswerten abgeglichen werden. Ein gesunder fachlicher Zweifel schützt vor plausibel klingenden Fehlern.
  • I – Interne Konsistenz prüfen: Der logische Aufbau des Textes wird im Gesamtzusammenhang analysiert. Widersprüchliche Zahlen, Zeitangaben oder Argumente innerhalb einer Antwort deuten oft darauf hin, dass die KI versucht hat, Wissenslücken kreativ zu füllen.
  • F – Gegenargumente einfordern: Indem man die KI gezielt nach Gegenargumenten oder alternativen Sichtweisen fragt, lässt sich prüfen, ob eine Antwort ausgewogen ist oder einseitig konstruiert wurde. Eine belastbare Aussage hält auch kritischen Rückfragen stand.
  • I – In die Tiefe gehen: Mit gezielten Detailfragen zu Methodik, Annahmen und Herleitung können Schwachstellen aufgedeckt werden, da Halluzinationen bei tieferem Nachbohren meist ungenau oder ausweichend werden.
  • Z – Zahlen kritisch prüfen: Weil Zahlen eine hohe Autorität ausstrahlen, aber ein häufiges Einfallstor für Halluzinationen sind, müssen sie konsequent auf ihre Herkunft und Plausibilität hin validiert werden.
  • I – Independente Validierung: Wichtige Aussagen dürfen nicht ungeprüft übernommen, sondern müssen mit unabhängigen, externen Quellen wie Fachliteratur oder offiziellen Registern abgeglichen werden.
  • E – Eloquenz nicht überschätzen: KI-Systeme sind darauf optimiert, sprachlich flüssig und überzeugend zu formulieren. Stil, Struktur oder komplexe Fachsprache dürfen daher nicht mit inhaltlicher Richtigkeit verwechselt werden.
  • R – Risikoorientiert prüfen: Da nicht jede Aussage dieselbe Prüftiefe erfordert, entscheidet die Relevanz der Information für die jeweilige Prüfung oder Entscheidung über die Intensität der Validierung. Dies ermöglicht einen effizienten Ressourceneinsatz.
  • T – Transparent prüfen: Um die Revisionssicherheit zu gewährleisten, müssen genutzte Quellen, durchgeführte Prüfschritte sowie verbleibende Unsicherheiten oder Interpretationsspielräume im Prüfprozess offen dokumentiert und kommuniziert werden.

In der Praxis lässt sich dieser Ansatz direkt in den Prüfungsalltag integrieren, um KI-Systeme als effiziente Werkzeuge zu nutzen, ohne dabei neue Prüfungsrisiken durch ungeprüftes Vertrauen einzugehen.

checklist_verifiziert