Leitfaden
Sobald ein KI-Agent in echten Systemen handelt, stellt sich eine Frage: Wer hat das veranlasst, und können Sie es beweisen? Ein Logfile beantwortet sie nicht. Dieser Leitfaden zeigt, was einen Audit-Trail zum Nachweis macht und wie er aufgebaut ist.
Ein Audit-Trail zeichnet jede Aktion eines Agenten auf: welches Werkzeug, wann, in wessen Auftrag, mit welchen Eingaben und mit welchem Ergebnis. Er ist eine der wenigen Kontrollen, die noch greifen, wenn das Modell daneben liegt. Aus seinem Prompt lässt sich ein Agent herausreden, aus einem signierten Protokoll seiner Taten nicht.
Wir entwickeln Pinchy und haben diesen Teil am häufigsten überarbeitet. Wir sind hier also nicht neutral. Eine breitere Einordnung gibt der Leitfaden zu souveränen KI-Agenten, die rechtliche Sicht beleuchtet die DSGVO-Seite.
Der naheliegende Weg: bei jeder Werkzeugnutzung eine Zeile schreiben. Das hilft bei der Fehlersuche, taugt aber nicht als Nachweis. Denn wer Datenbankzugriff hat, kann einen Eintrag ändern, löschen oder erfinden. Lässt sich das Protokoll spurlos verändern, beweist es im Ernstfall nichts. Es geht also nicht darum, festzuhalten, was geschah, sondern so festzuhalten, dass eine unbemerkte Änderung auffällt.
Der Mechanismus dafür ist eine Signatur je Eintrag. Ein HMAC über den Inhalt signiert jede Zeile. Ändert jemand einen gespeicherten Eintrag nachträglich, passt seine Signatur nicht mehr, und ein eingebauter Prüfer meldet jede Zeile, die nicht mehr stimmt. Wichtig und ehrlich: Das ist manipulations-erkennbar, nicht manipulations-unmöglich. Wer vollen Datenbankzugriff hat, kann Eintrag und Signatur gemeinsam neu schreiben. Die Signatur verhindert das nicht, sie macht es sichtbar. Außerdem können Sie die Einträge samt Signaturen exportieren und von einer unabhängigen Stelle offline nachrechnen lassen, ohne dem laufenden System zu vertrauen.
Das Lehrbuch empfiehlt eine Hash-Kette: Jeder Eintrag enthält den Hash des vorigen, jede Änderung bricht alles Folgende. Das ist elegant, für KI-Agenten aber die falsche Wahl. Denn ein Audit-Trail protokolliert Handlungen im Auftrag realer Personen, und unter der DSGVO kann eine Person ihr Recht auf Löschung geltend machen. Dann wird die Kette zum Problem: Entfernen Sie ein Glied, bricht der Integritätsnachweis für alle folgenden Einträge. Pro Zeile unabhängig signierte Einträge umgehen das. Eine rechtmäßige Löschung entfernt genau einen Eintrag und lässt die Prüfbarkeit des Rests unberührt. So hält die scheinbar schwächere Bauweise dem Datenschutzrecht stand.
Sensible Inhalte wie Schlüssel oder Passwörter entfernt Pinchy vor dem Speichern, damit der Audit-Trail nicht selbst zum Datenleck wird. Nachträgliches Schwärzen wäre eine Änderung und bräche die Signatur. Deshalb geschieht es vorher.
Dieser Abschnitt beschreibt unser eigenes Produkt. Pinchy erfasst jede Agenten-Aktion in einem Audit-Trail, in dem jeder Eintrag einzeln per HMAC signiert ist. Exportieren lässt er sich als CSV mitsamt den Signaturen, sodass eine unabhängige Stelle ihn prüfen kann. Datenbank-Trigger verhindern, dass jemand bestehende Einträge unbemerkt ändert; eine rechtmäßige Löschung einzelner Einträge bleibt möglich, ohne die Prüfbarkeit der übrigen zu brechen. Die volle Sicht zeigt die Audit-Trail-Seite.
FAQ
Ein Audit-Trail zeichnet jede Aktion eines KI-Agenten auf: welches Werkzeug er aufgerufen hat, wann, in wessen Auftrag, mit welchen Eingaben und mit welchem Ergebnis. Ein belastbarer Audit-Trail ist manipulationssichtbar: Jeder Eintrag ist kryptografisch signiert, sodass nachträgliche Änderungen auffallen. Er beantwortet die Frage, die jede Prüfung stellt: Wer hat was getan, und wie beweisen Sie es?
Ein Logfile hilft bei der Fehlersuche, doch jeder mit Schreibzugriff kann es ändern. Als Nachweis taugt es nicht, denn eine unbemerkte Änderung bleibt möglich. Zum Beweismittel wird ein Audit-Trail erst, weil jeder Eintrag signiert ist und sich unabhängig prüfen lässt, ohne dem System zu vertrauen, das ihn erzeugt hat.
Manipulationssichtbar heißt manipulations-erkennbar, nicht manipulations-unmöglich. Niemand kann verhindern, dass ein Angreifer mit vollem Datenbankzugriff einen Eintrag samt Signatur neu schreibt. Die Signatur leistet etwas anderes, nämlich Erkennbarkeit: Ein geänderter Eintrag besteht die Prüfung nicht mehr, und ein Export mitsamt Signaturen lässt eine unabhängige Stelle die Integrität selbst nachrechnen.
Pinchys Audit-Trail signiert jede Aktion pro Zeile und ist append-only. Sie exportieren ihn mitsamt Signaturen und lassen ihn unabhängig prüfen. Quelloffen und selbst gehostet.
Oder schreiben Sie uns: info@heypinchy.com