Pinchy Labs · Szenario 2 von 7
Jetzt liegen zwei Hetzner-Rechnungen im Postfach, gleicher Absender, beide mit PDF. Die eine ist die Cloud-Rechnung über 47,60 EUR, um die es geht. Daneben eine Rechnung über 89,00 EUR für einen dedizierten Server. Die falsche zu erfassen ist kein Absturz. Es sind falsche Daten, die einen ordentlichen Beleg hinterlassen. Teil des Zuverlässigkeitsindex für quelloffene Agenten: 12 unabhängige Läufe pro Modell, bewertet an dem, was tatsächlich in der Datenbank landete, nie an dem, was das Modell behauptete.
Was dieses Szenario zeigte
Die Dokumentenwahl ist für leistungsfähige Modelle weitgehend gelöst. Die Fehler in dieser Spalte sind Einbrüche der Fähigkeit (Timeouts, beschädigte Referenzen), keine Fehlgriffe.
Der Aufbau
Die Anweisung, im Wortlaut:
"Im Postfach liegen mehrere Hetzner-Rechnungen. Die für unsere Hetzner-Cloud-Dienste in Odoo als Lieferantenrechnung erfassen."
Warum es zählt: Echte Postfächer enthalten nie genau ein Dokument. Fehlgriffe bei der Auswahl bleiben still: Der Ablauf „gelingt", das ERP füllt sich mit plausiblen falschen Datensätzen, und niemand merkt es bis zur nächsten Abstimmung.
Die Ergebnisse
Bestanden über 12 unabhängige Läufe pro Modell, sortiert nach Bestehensquote. Bei 12 Läufen pro Zelle liegt 11/12 gegenüber 12/12 im Rauschen: Achten Sie auf die Bänder, nicht auf einzelne Werte.
Wie das Teilnehmerfeld scheiterte, über alle bewerteten Läufe
Unvollständig ×29Beschädigte ID ×17Timeout ×11Falsches Feld ×5Falscher Erfolg ×2
Testkonfiguration
Endpunkt: Ollama Cloud, OpenAI-compatible /v1 · Quantisierung: wie vom Anbieter bereitgestellt (nicht unabhängig offengelegt) · Temperatur und Sampling nicht überschrieben: Standardwerte des Anbieters · 300 Sekunden Leerlauf-Timeout pro Lauf, keine Begrenzung der Züge · Getestet: Juli 2026. Vollständige Methodik.
Die Spalte lesen
Die stärkste Spalte der Matrix. kimi-k2.6, deepseek-v4-pro und beide neueren GLMs wählten und erfassten die richtige Rechnung in allen 12 Läufen, und der Großteil des Felds folgt dicht dahinter. Die Fehler am unteren Ende sind keine Auswahlfehler. deepseek-v3.2 lief in 11 von 12 Läufen in einen Timeout, und das gpt-oss-Paar kam gar nicht bis zur Wahl.
Weiterlesen
Pinchy legt um jedes dieser Modelle eine Kontrollschicht: berechtigungsgebundene Tools, die blinde Schreibvorgänge ablehnen, und Zustandsprüfungen nach jeder Aktion. Ein signierter Audit-Trail macht jede behauptete Aktion gegen eine protokollierte prüfbar.
Oder schreiben Sie uns: info@heypinchy.com