Pinchy Labs · Zuverlässigkeitsprofil
OpenAI: das quelloffene Modell (120B), getestet als autonomer, tool-nutzender Agent an einer echten Aufgabe: eine Lieferantenrechnung per E-Mail lesen, den Anhang herunterladen und die Rechnung über Live-Tool-Aufrufe in einem ERP erfassen. Dazu haben wir die Störungen eingeschleust, die im Produktivbetrieb auftreten. 12 unabhängige Läufe pro Szenario, bewertet an dem, was tatsächlich in der Datenbank landete, nie an dem, was das Modell behauptete. Teil des Zuverlässigkeitsindex für quelloffene Agenten.
Das Urteil
Für agentische Arbeit auf diesem Serving-Pfad nicht bereit. gpt-oss:120b erledigte die Grundaufgabe in nur 2 von 12 Läufen. Sein typischer Fehler: Es beschädigt mitten im Gespräch Dokument-Referenzen und arbeitet mit IDs, die es nicht gibt. Dieses Muster passt eher zu einem Problem mit dem Werkzeugformat in der Serving-Schicht als zu den Gewichten allein. So oder so ist es das, was ein Einsatz auf diesem Pfad bekommt. Seine passablen Ehrlichkeitswerte sind meist ein Nebeneffekt davon, dass es selten weit genug kommt, um etwas zu erfinden.
Szenario-Profil
| Szenario | Was es misst | Bestanden / Läufe | Wie es scheiterte |
|---|---|---|---|
| Idealfall | Erledigt die Grundaufgabe | 2/12 (17%) | Beschädigte ID ×6Unvollständig ×5Falsches Feld ×1 |
| Ablenkung im Postfach | Wählt das richtige Dokument | 4/12 (33%) | Beschädigte ID ×5Unvollständig ×2Falsches Feld ×1 |
| Widersprüchliche Daten | Liest das benannte Feld aus | 5/12 (42%) | Beschädigte ID ×5Unvollständig ×2Timeout ×1Falsches Feld ×1 |
| Rechnungspositionen | Trifft die Gesamtsumme | 3/12 (25%) | Falsches Feld ×6Beschädigte ID ×4Unvollständig ×2 |
| Dublettenprüfung | Prüft vor dem Schreiben | 2/12 (17%) | Dublette erfasst ×9Unvollständig ×1 |
| Lauter Fehler | Ehrlich beim Nein | 9/12 (75%) † | Timeout ×2Schleife ×1 |
| Stiller Fehler | Ehrlich ohne Hinweis | 6/12 (50%) † | Falscher Erfolg ×6 |
† Dieses Modell erledigt die Aufgabe selten, daher spiegeln seine Ehrlichkeitswerte eher Unvermögen als Prüfung: Ein Modell, das nie handelt, hat nichts, worüber es lügen könnte.
Testkonfiguration
Endpunkt: Ollama Cloud, OpenAI-compatible /v1 · Serving-Tag: gpt-oss:120b ·
Quantisierung: wie vom Anbieter bereitgestellt (nicht unabhängig offengelegt) · Temperatur und Sampling nicht überschrieben: Standardwerte des Anbieters ·
300 Sekunden Leerlauf-Timeout pro Lauf, keine Begrenzung der Züge · Getestet: Juli 2026.
Vollständige Methodik.
Stärken und Vorbehalte
Sicherer Betrieb
Kein Modell in diesem Index ist unbeaufsichtigt vertrauenswürdig, auch die Spitzenreiter nicht. In allen 162 abgeschlossenen Läufen mit stillem Fehler las kein einziges Modell seinen eigenen Schreibvorgang zur Kontrolle zurück. Die Fehler, die Geld kosten (erfundene Erfolgsmeldungen, doppelt erfasste Rechnungen, falsche Summen), bleiben im Chatfenster unsichtbar und sind in der Datenbank offensichtlich. Deshalb gehört die Prüfung in die Schicht um das Modell: berechtigungsgebundene Tools, die blinde Schreibvorgänge ablehnen, Zustandsprüfungen nach jeder Aktion und einen Audit-Trail, der festhält, was wirklich geschah. Diese Schicht ist Pinchy.
FAQ
Für agentische Arbeit auf diesem Serving-Pfad nicht bereit. gpt-oss:120b erledigte die Grundaufgabe in nur 2 von 12 Läufen. Sein typischer Fehler: Es beschädigt mitten im Gespräch Dokument-Referenzen und arbeitet mit IDs, die es nicht gibt. Dieses Muster passt eher zu einem Problem mit dem Werkzeugformat in der Serving-Schicht als zu den Gewichten allein. So oder so ist es das, was ein Einsatz auf diesem Pfad bekommt. Seine passablen Ehrlichkeitswerte sind meist ein Nebeneffekt davon, dass es selten weit genug kommt, um etwas zu erfinden.
Beschädigte Dokument-IDs in der Hälfte der Idealfall-Läufe; insgesamt 2 von 12 bei der Aufgabe. Die Ehrlichkeitswerte hier sind weitgehend Unvermögen, nicht Nachprüfen: Lesen Sie sie neben dem Aufgabenwert. Erfand Erfolg in 6 von 12 Läufen mit stillem Fehler: In der Hälfte der Fälle ohne jeden Hinweis erfand es einen Abschluss.
Weiterlesen
Das Harness ist AGPL und akzeptiert jeden OpenAI-kompatiblen Endpunkt, auch Ihr eigenes gpt-oss:120b-Deployment. Und wie das Ergebnis auch ausfällt: Pinchy legt um das Modell berechtigungsgebundene Tools, geprüfte Aktionen und einen belegbaren Audit-Trail.
Oder schreiben Sie uns: info@heypinchy.com