Leitfaden
Sobald ein KI-Agent in echten Systemen handelt, stellt sich eine Frage: Wer hat das veranlasst, und können Sie es beweisen? Ein Logfile beantwortet sie nicht. Dieser Leitfaden zeigt, was einen Audit-Trail zum Nachweis macht und wie er aufgebaut ist.
Ein Audit-Trail zeichnet jede Aktion eines Agenten auf: welches Werkzeug, wann, in wessen Auftrag, mit welchen Eingaben und mit welchem Ergebnis. Er ist eine der wenigen Kontrollen, die noch greifen, wenn das Modell daneben liegt. Aus seinem Prompt lässt sich ein Agent herausreden, aus einem signierten Protokoll seiner Taten nicht.
Wir entwickeln Pinchy und haben diesen Teil am häufigsten überarbeitet. Wir sind hier also nicht neutral. Eine breitere Einordnung gibt der Leitfaden zu souveränen KI-Agenten, die rechtliche Sicht beleuchtet die DSGVO-Seite.
Der naheliegende Weg: bei jeder Werkzeugnutzung eine Zeile schreiben. Das hilft bei der Fehlersuche, taugt aber nicht als Nachweis. Denn wer Datenbankzugriff hat, kann einen Eintrag ändern, löschen oder erfinden. Lässt sich das Protokoll spurlos verändern, beweist es im Ernstfall nichts. Es geht also nicht darum, festzuhalten, was geschah, sondern so festzuhalten, dass eine unbemerkte Änderung auffällt.
Der Mechanismus dafür ist eine Signatur je Eintrag. Ein HMAC über den Inhalt signiert jede Zeile. Ändert jemand einen gespeicherten Eintrag nachträglich, passt seine Signatur nicht mehr, und ein eingebauter Prüfer meldet jede Zeile, die nicht mehr stimmt. Wichtig und ehrlich: Das ist manipulations-erkennbar, nicht manipulations-unmöglich. Wer vollen Datenbankzugriff hat, kann Eintrag und Signatur gemeinsam neu schreiben. Die Signatur verhindert das nicht, sie macht es sichtbar. Außerdem können Sie die Einträge samt Signaturen exportieren und offline nachrechnen lassen. Bei einem HMAC braucht die prüfende Stelle dafür den Schlüssel oder einen Prüfer, dem sie vertraut.
Klassisch empfiehlt sich eine Hash-Kette: Jeder Eintrag enthält den Hash des vorigen, jede Änderung entwertet alle folgenden Einträge. Das ist elegant. In der Praxis muss ein System aber manchmal Daten entfernen. Nach der DSGVO kann eine Person ihr Recht auf Löschung geltend machen. Dann wird die Kette zum Problem. Entfernen Sie ein Glied, bricht der Integritätsnachweis für jeden folgenden Eintrag. Auf den ersten Blick müssen Sie sich entscheiden: rechtmäßig löschen oder ein prüfbares Protokoll behalten.
Der übliche Ausweg schwächt die Kette: Man signiert jede Zeile einzeln und gibt die Reihenfolge-Garantie auf. Dann lässt sich eine Zeile löschen, ohne den Rest zu entwerten. Das ist ein möglicher Weg, aber nicht der einzige. Die Kollision entsteht nur, wenn in der Kette überhaupt löschbare personenbezogene Daten stehen. Halten Sie diese Daten aus der Kette heraus, behalten Sie beides: die Reihenfolge-Garantie der Kette und die rechtmäßige Löschung.
Pinchy signiert jeden Eintrag mit einem HMAC-SHA256 über die kanonisch serialisierten Felder des Eintrags und bindet jede Signatur an die des Vorgängers. So entsteht eine Hash-Kette. Die Signatur je Zeile zeigt genau, welche Zeile manipuliert wurde. Die Kette macht zusätzlich sichtbar, wenn jemand Einträge löscht, kürzt oder umsortiert.
Und das prüfen Sie selbst. Eine Admin-Schnittstelle (/api/audit/verify) rechnet auf Abruf jede Signatur und jedes Kettenglied nach. Sie meldet genau, welche Zeilen verändert wurden und wo die Kette gebrochen ist. Ein zeitgesteuerter Prüflauf macht dasselbe automatisch. Die meisten Anbieter werben mit „manipulationssicheren“ Protokollen, geben Ihnen aber kein Mittel, das nachzuprüfen. Pinchy legt Ihnen die Prüfung in die Hand.
Kette und Löschrecht kollidieren nur, wenn in der Kette die Daten stehen, die Sie löschen müssten. Pinchy hält deshalb so viel wie möglich davon heraus. So weit reicht das heute:
Ehrlicher Hinweis: Ein HMAC oder ein Pseudonym ist pseudonymisiert, nicht anonymisiert. Streng genommen kann es weiterhin als personenbezogene Daten gelten. Pinchys Position: Die Löschpflicht erfüllen Sie am Quell-Datensatz, sobald die Zuordnung gelöscht ist. Das Protokoll behält nur einen Verweis, der praktisch nicht umkehrbar ist. Das ist eine Design-Entscheidung, keine Rechtsberatung. Klären Sie sie mit Ihrem Datenschutzbeauftragten.
Sensible Inhalte wie Schlüssel oder Passwörter entfernt Pinchy vor dem Speichern, damit der Audit-Trail nicht selbst zum Datenleck wird. Nachträgliches Schwärzen wäre eine Änderung und bräche die Signatur. Deshalb geschieht es vorher.
Dieser Abschnitt beschreibt unser eigenes Produkt. Pinchy erfasst jeden Werkzeugaufruf eines Agenten in einem Audit-Trail. Jeder Eintrag wird einzeln per HMAC signiert und an den Vorgänger gekettet. Datenbank-Trigger machen das Protokoll nur anhängbar: Sie weisen UPDATE, DELETE und TRUNCATE ab. So kann niemand einen bestehenden Eintrag ändern oder löschen. Das Protokoll ist so gebaut, dass eine Löschung nie eine Zeile entfernen muss. Den handelnden Nutzer führt es als Pseudonym, E-Mail-Adressen als HMAC, Nachrichtentexte nur als Größe. Gelöscht werden soll die Zuordnung im Datensatz des Nutzers. Diesen Schritt liefert Pinchy in v0.9.1 noch nicht aus. Parameter anderer Werkzeuge, etwa einen Odoo-Suchbegriff, protokolliert Pinchy so, wie der Agent sie übergibt. Alles lässt sich als CSV exportieren, mitsamt den Signaturen. Und die Admin-Schnittstelle /api/audit/verify rechnet Signaturen und Kette jederzeit nach. Den vollen Überblick bietet die Audit-Trail-Seite.
FAQ
Ein Audit-Trail zeichnet jede Aktion eines KI-Agenten auf: welches Werkzeug er aufgerufen hat, wann, in wessen Auftrag, mit welchen Eingaben und mit welchem Ergebnis. Ein belastbarer Audit-Trail ist manipulationssichtbar: Jeder Eintrag ist kryptografisch signiert, sodass nachträgliche Änderungen auffallen. Er beantwortet die Frage, die jede Prüfung stellt: Wer hat was getan, und wie beweisen Sie es?
Ein Logfile hilft bei der Fehlersuche, doch jeder mit Schreibzugriff kann es ändern. Als Nachweis taugt es nicht, denn eine unbemerkte Änderung bleibt möglich. Zum Beweismittel wird ein Audit-Trail erst, weil jeder Eintrag signiert ist und sich nachrechnen lässt.
Manipulationssichtbar heißt manipulations-erkennbar, nicht manipulations-unmöglich. Niemand kann verhindern, dass ein Angreifer mit vollem Datenbankzugriff einen Eintrag samt Signatur neu schreibt. Die Signatur leistet etwas anderes, nämlich Erkennbarkeit: Ein geänderter Eintrag besteht die Prüfung nicht mehr, und mit einem Export samt Signaturen kann eine unabhängige Stelle die Integrität selbst nachrechnen. Bei einem HMAC braucht sie dafür den Schlüssel.
Pinchy signiert jeden Werkzeugaufruf zeilenweise und kettet ihn an den Vorgänger. Das Protokoll ist nur anhängbar. Prüfen können Sie das selbst: über eine Admin-Schnittstelle, einen zeitgesteuerten Prüflauf und einen CSV-Export mit allen Signaturen. Quelloffen, selbst gehostet und kostenlos betreibbar.
Oder schreiben Sie uns: info@heypinchy.com