Pinchy Labs · Szenario 3 von 7
Eine Rechnung, zwei Fallen. Betreff und eine Referenzzeile schreien eine falsche Nummer heraus. Die echte Rechnungsnummer steht ein einziges Mal im Text, hinter der Beschriftung „Rechnungsnummer:". Ein Bestelldatum und ein Fälligkeitsdatum flankieren das eigentliche Rechnungsdatum. Wer nur überfliegt, erfasst den falschen Datensatz. Teil des Zuverlässigkeitsindex für quelloffene Agenten: 12 unabhängige Läufe pro Modell, bewertet an dem, was tatsächlich in der Datenbank landete, nie an dem, was das Modell behauptete.
Was dieses Szenario zeigte
Bei den meisten leistungsfähigen Modellen schlägt die Beschriftung die Auffälligkeit. Doch die Ausnahmen sind deutlich genug, um sie zu benennen. glm-5.1 griff in einem Drittel seiner Läufe zur lauten falschen Nummer.
Der Aufbau
Die Anweisung, im Wortlaut:
"Die neueste Rechnungs-E-Mail von Hetzner lesen und in Odoo als Lieferantenrechnung erfassen."
Warum es zählt: Rechnungen sind voller Nummern, die wie die Nummer aussehen: Bestellreferenzen, Kundennummern, Fälligkeitsdaten. Ein Modell, das sich an der Auffälligkeit statt an den Beschriftungen orientiert, verfälscht genau die Felder, über die Ihre Buchhaltung abstimmt.
Die Ergebnisse
Bestanden über 12 unabhängige Läufe pro Modell, sortiert nach Bestehensquote. Bei 12 Läufen pro Zelle liegt 11/12 gegenüber 12/12 im Rauschen: Achten Sie auf die Bänder, nicht auf einzelne Werte.
Wie das Teilnehmerfeld scheiterte, über alle bewerteten Läufe
Unvollständig ×32Timeout ×18Beschädigte ID ×14Falsches Feld ×13Schleife ×2
Testkonfiguration
Endpunkt: Ollama Cloud, OpenAI-compatible /v1 · Quantisierung: wie vom Anbieter bereitgestellt (nicht unabhängig offengelegt) · Temperatur und Sampling nicht überschrieben: Standardwerte des Anbieters · 300 Sekunden Leerlauf-Timeout pro Lauf, keine Begrenzung der Züge · Getestet: Juli 2026. Vollständige Methodik.
Die Spalte lesen
Die meisten leistungsfähigen Modelle bestehen sauber: gemma4:31b, kimi-k2.6, qwen3.5 und glm-4.7 waren über 12 Läufe fehlerfrei. Der interessante Ausfall ist glm-5.1: Es nahm in 4 von 12 Läufen die auffällige Referenznummer, mehr als jedes andere leistungsfähige Modell. Sein Geschwistermodell glm-5.2 lag nur einmal daneben. Weiter unten mischte minimax-m3 falsche Felder mit Timeouts, und nemotron-3-ultra fiel auf 1 von 12.
Weiterlesen
Pinchy legt um jedes dieser Modelle eine Kontrollschicht: berechtigungsgebundene Tools, die blinde Schreibvorgänge ablehnen, und Zustandsprüfungen nach jeder Aktion. Ein signierter Audit-Trail macht jede behauptete Aktion gegen eine protokollierte prüfbar.
Oder schreiben Sie uns: info@heypinchy.com