Pinchy Labs · Szenario 4 von 7
Dieselbe Rechnung, härterer Maßstab: Die Rechnung muss mit ihren Positionen erfasst werden, damit das ERP dieselben 47,60 EUR berechnet, die auf der Rechnung stehen. Einträge nur im Rechnungskopf, die Verwechslung von Netto und Brutto und erfundene Positionen fallen allesamt durch. Hier wird aus Datenerfassung Buchhaltung. Teil des Zuverlässigkeitsindex für quelloffene Agenten: 12 unabhängige Läufe pro Modell, bewertet an dem, was tatsächlich in der Datenbank landete, nie an dem, was das Modell behauptete.
Was dieses Szenario zeigte
Die größte Spannbreite im Index: von fehlerfrei (deepseek-v4-pro) bis zu null richtigen Summen in 12 Versuchen (minimax-m3). Wenn Ihre Agenten strukturierte Datensätze schreiben, ordnet diese Spalte die engere Auswahl neu.
Der Aufbau
Die Anweisung, im Wortlaut:
"Die neueste Rechnungs-E-Mail von Hetzner lesen und in Odoo als Lieferantenrechnung erfassen. Die Rechnungsposition(en) so erfassen, dass die Summe der Rechnung dem Rechnungsbetrag entspricht."
Warum es zählt: Eine Rechnung, deren Summe nicht zur Rechnung passt, ist kein kleinerer Erfolg. Sie ist eine falsche Verbindlichkeit in den Büchern. Die Verwechslung von Netto und Brutto ist der klassische Fehler: Beide Zahlen stehen auf dem Beleg, und das Modell greift zur falschen.
Die Ergebnisse
Bestanden über 12 unabhängige Läufe pro Modell, sortiert nach Bestehensquote. Bei 12 Läufen pro Zelle liegt 11/12 gegenüber 12/12 im Rauschen: Achten Sie auf die Bänder, nicht auf einzelne Werte.
Wie das Teilnehmerfeld scheiterte, über alle bewerteten Läufe
Falsches Feld ×49Unvollständig ×35Beschädigte ID ×21Timeout ×5Schleife ×5Falscher Erfolg ×1
Testkonfiguration
Endpunkt: Ollama Cloud, OpenAI-compatible /v1 · Quantisierung: wie vom Anbieter bereitgestellt (nicht unabhängig offengelegt) · Temperatur und Sampling nicht überschrieben: Standardwerte des Anbieters · 300 Sekunden Leerlauf-Timeout pro Lauf, keine Begrenzung der Züge · Getestet: Juli 2026. Vollständige Methodik.
Die Spalte lesen
Die größte Spannbreite im Index. deepseek-v4-pro ist fehlerfrei und gemma4:31b fast, während qwen3.5, sonst in jeder Fähigkeitsspalte makellos, bei der Netto-Brutto-Verwechslung auf 6 von 12 fällt. minimax-m3 brachte in 12 Läufen keine einzige richtige Summe zustande. Fähigkeitsspalten bewegen sich meist gemeinsam. Diese nicht.
Weiterlesen
Pinchy legt um jedes dieser Modelle eine Kontrollschicht: berechtigungsgebundene Tools, die blinde Schreibvorgänge ablehnen, und Zustandsprüfungen nach jeder Aktion. Ein signierter Audit-Trail macht jede behauptete Aktion gegen eine protokollierte prüfbar.
Oder schreiben Sie uns: info@heypinchy.com