Audit-Trail für KI-Agenten: Nachweisbarkeit statt Logfile.

Ein Audit-Trail zeichnet jede Aktion eines Agenten auf: welches Werkzeug, wann, in wessen Auftrag, mit welchen Eingaben und mit welchem Ergebnis. Er ist eine der wenigen Kontrollen, die noch greifen, wenn das Modell daneben liegt. Aus seinem Prompt lässt sich ein Agent herausreden, aus einem signierten Protokoll seiner Taten nicht.

Wir entwickeln Pinchy und haben diesen Teil am häufigsten überarbeitet. Wir sind hier also nicht neutral. Eine breitere Einordnung gibt der Leitfaden zu souveränen KI-Agenten, die rechtliche Sicht beleuchtet die DSGVO-Seite.

Logfile gegen Beweismittel

Der naheliegende Weg: bei jeder Werkzeugnutzung eine Zeile schreiben. Das hilft bei der Fehlersuche, taugt aber nicht als Nachweis. Denn wer Datenbankzugriff hat, kann einen Eintrag ändern, löschen oder erfinden. Lässt sich das Protokoll spurlos verändern, beweist es im Ernstfall nichts. Es geht also nicht darum, festzuhalten, was geschah, sondern so festzuhalten, dass eine unbemerkte Änderung auffällt.

Manipulationssichtbar durch Signatur pro Zeile

Der Mechanismus dafür ist eine Signatur je Eintrag. Ein HMAC über den Inhalt signiert jede Zeile. Ändert jemand einen gespeicherten Eintrag nachträglich, passt seine Signatur nicht mehr, und ein eingebauter Prüfer meldet jede Zeile, die nicht mehr stimmt. Wichtig und ehrlich: Das ist manipulations-erkennbar, nicht manipulations-unmöglich. Wer vollen Datenbankzugriff hat, kann Eintrag und Signatur gemeinsam neu schreiben. Die Signatur verhindert das nicht, sie macht es sichtbar. Außerdem können Sie die Einträge samt Signaturen exportieren und von einer unabhängigen Stelle offline nachrechnen lassen, ohne dem laufenden System zu vertrauen.

Warum die Hash-Kette und das Recht auf Löschung kollidieren

Klassisch empfiehlt sich eine Hash-Kette: Jeder Eintrag enthält den Hash des vorigen, jede Änderung entwertet alle folgenden Einträge. Das ist elegant. In der Praxis muss ein System aber manchmal Daten entfernen. Nach der DSGVO kann eine Person ihr Recht auf Löschung geltend machen. Dann wird die Kette zum Problem. Entfernen Sie ein Glied, bricht der Integritätsnachweis für jeden folgenden Eintrag. Auf den ersten Blick müssen Sie sich entscheiden: rechtmäßig löschen oder ein prüfbares Protokoll behalten.

Der übliche Ausweg schwächt die Kette: Man signiert jede Zeile einzeln und gibt die Reihenfolge-Garantie auf. Dann lässt sich eine Zeile löschen, ohne den Rest zu entwerten. Das ist ein möglicher Weg, aber nicht der einzige. Die Kollision entsteht nur, wenn in der Kette überhaupt löschbare personenbezogene Daten stehen. Halten Sie diese Daten aus der Kette heraus, behalten Sie beides: die Reihenfolge-Garantie der Kette und die rechtmäßige Löschung.

Pinchys Ansatz: manipulationssichtbar, ohne die Löschfalle

Pinchy signiert jeden Eintrag mit einem HMAC-SHA256 über die kanonisch serialisierten Felder des Eintrags und bindet jede Signatur an die des Vorgängers. So entsteht eine Hash-Kette. Die Signatur je Zeile zeigt genau, welche Zeile manipuliert wurde. Die Kette macht zusätzlich sichtbar, wenn jemand Einträge löscht, kürzt oder umsortiert.

Und das prüfen Sie selbst. Eine Admin-Schnittstelle (/api/audit/verify) rechnet auf Abruf jede Signatur und jedes Kettenglied nach. Sie meldet genau, welche Zeilen verändert wurden und wo die Kette gebrochen ist. Ein zeitgesteuerter Prüflauf macht dasselbe automatisch. Die meisten Anbieter werben mit „manipulationssicheren" Protokollen, geben Ihnen aber kein Mittel, das nachzuprüfen. Pinchy legt Ihnen die Prüfung in die Hand.

Die Kollision mit dem Recht auf Löschung tritt hier gar nicht erst auf, denn in der Kette stehen gar keine löschbaren personenbezogenen Daten:

• Personenbezogene Daten schwärzt Pinchy beim Schreiben. E-Mail-Adressen speichert Pinchy als HMAC mit geheimem Schlüssel und einer maskierten Vorschau, nie im Klartext. Statt der echten ID speichert Pinchy pro Nutzer ein Pseudonym. Ein Löschverlangen erfüllen Sie dort, wo die personenbezogenen Daten wirklich liegen: im Datensatz des Nutzers. Löschen Sie diesen Datensatz, sind die Audit-Einträge nicht mehr der Person zuzuordnen, und das Protokoll selbst bleibt vollständig.
• Das Protokoll ist nur anhängbar; die Datenbank erzwingt das. Ein PostgreSQL-Trigger weist jedes UPDATE, DELETE und TRUNCATE ab. Nichts in der Kette wird umgeschrieben. Löschen kann die Kette also nicht entwerten, weil es gar nicht möglich ist.

Ehrlicher Hinweis: Ein HMAC oder ein Pseudonym ist pseudonymisiert, nicht anonymisiert. Streng genommen kann es weiterhin als personenbezogene Daten gelten. Pinchys Position: Die Löschpflicht erfüllen Sie am Quell-Datensatz. Das Protokoll behält nur einen Verweis, der praktisch nicht umkehrbar ist. Das ist eine Design-Entscheidung, keine Rechtsberatung. Klären Sie sie mit Ihrem Datenschutzbeauftragten.

Was ein guter Audit-Trail festhält

• Akteur (Nutzer und Agent): wer veranlasst und welcher Agent gehandelt hat.
• Aktion / Werkzeugaufruf: was der Agent tatsächlich getan hat.
• Zeitstempel: belegen Reihenfolge und Zeitverlauf eines Vorfalls.
• Eingaben und Ergebnis: erlauben es, einen Vorgang zu rekonstruieren und Streit zu klären.
• Signatur: macht Manipulation erkennbar.

Sensible Inhalte wie Schlüssel oder Passwörter entfernt Pinchy vor dem Speichern, damit der Audit-Trail nicht selbst zum Datenleck wird. Nachträgliches Schwärzen wäre eine Änderung und bräche die Signatur. Deshalb geschieht es vorher.

So setzt Pinchy das um

Dieser Abschnitt beschreibt unser eigenes Produkt. Pinchy erfasst jede Aktion eines Agenten in einem Audit-Trail. Jeder Eintrag wird einzeln per HMAC signiert und an den Vorgänger gekettet. Datenbank-Trigger machen das Protokoll nur anhängbar: Sie weisen UPDATE, DELETE und TRUNCATE ab. So kann niemand einen bestehenden Eintrag ändern oder löschen. Das Recht auf Löschung erfüllen Sie nicht am Protokoll, sondern am Datensatz des Nutzers, denn personenbezogene Daten schwärzt Pinchy schon beim Schreiben. Alles lässt sich als CSV exportieren, mitsamt den Signaturen. Und die Admin-Schnittstelle /api/audit/verify rechnet Signaturen und Kette jederzeit nach. Den vollen Überblick bietet die Audit-Trail-Seite.