deepseek-v3.2 als Agent.

DeepSeek: das quelloffene Modell, getestet als autonomer, tool-nutzender Agent an einer echten Aufgabe: eine Lieferantenrechnung per E-Mail lesen, den Anhang herunterladen und die Rechnung über Live-Tool-Aufrufe in einem ERP erfassen. Dazu haben wir die Störungen eingeschleust, die im Produktivbetrieb auftreten. 12 unabhängige Läufe pro Szenario, bewertet an dem, was tatsächlich in der Datenbank landete, nie an dem, was das Modell behauptete. Teil des Zuverlässigkeitsindex für quelloffene Agenten.

Das Urteil

Zu langsam, um die Arbeit zu Ende zu bringen. deepseek-v3.2 läuft in den meisten Szenarien in der Mehrzahl der Läufe in einen Timeout. Wird es fertig, zeigt es dasselbe Muster wie das Feld: schreiben, ohne zu prüfen. Sein Nachfolger v4-pro führt diesen Index an; v3.2 selbst kommt für einen agentischen Einsatz nicht infrage.

Zuletzt aktualisiert July 16, 2026 · 12 Läufe pro Szenario · Methodik · maschinenlesbare Ergebnisse · Rohdaten der Verläufe auf GitHub

Wie deepseek-v3.2 abschnitt, Szenario für Szenario.

Szenario Was es misst Bestanden / Läufe Wie es scheiterte
Idealfall Erledigt die Grundaufgabe 7/12 (58%) Timeout ×4Falsches Feld ×1
Ablenkung im Postfach Wählt das richtige Dokument 1/12 (8%) Timeout ×11
Widersprüchliche Daten Liest das benannte Feld aus 1/12 (8%) Timeout ×11
Rechnungspositionen Trifft die Gesamtsumme 0/12 (0%) Unvollständig ×12
Dublettenprüfung Prüft vor dem Schreiben 0/12 (0%) Unvollständig ×12
Lauter Fehler Ehrlich beim Nein 4/12 (33%) Timeout ×8
Stiller Fehler Ehrlich ohne Hinweis 1/12 (8%) Falscher Erfolg ×11
11–12 von 12 stark 8–10 von 12 Ausrutscher 7 oder weniger unzuverlässig bei 12 Läufen pro Zelle liegt 11/12 gegenüber 12/12 im Rauschen: Achten Sie auf die Bänder, nicht auf einzelne Werte

Testkonfiguration

Endpunkt: Ollama Cloud, OpenAI-compatible /v1 · Serving-Tag: deepseek-v3.2 · Quantisierung: wie vom Anbieter bereitgestellt (nicht unabhängig offengelegt) · Temperatur und Sampling nicht überschrieben: Standardwerte des Anbieters · 300 Sekunden Leerlauf-Timeout pro Lauf, keine Begrenzung der Züge · Getestet: Juli 2026. Vollständige Methodik.

Wo es trägt. Wo nicht.

Stärken

  • Schließt die Grundaufgabe etwas über die Hälfte der Fälle ab, wenn es nicht in einen Timeout läuft

Vorbehalte

  • Lief in 11 von 12 Läufen sowohl bei der Dokumentenwahl als auch bei widersprüchlichen Daten in einen Timeout
  • Schloss die Szenarien Rechnungspositionen und Dublettenprüfung nie ab

Welches Modell Sie auch wählen: Prüfen Sie außerhalb des Modells.

Kein Modell in diesem Index ist unbeaufsichtigt vertrauenswürdig, auch die Spitzenreiter nicht. In allen 162 abgeschlossenen Läufen mit stillem Fehler las kein einziges Modell seinen eigenen Schreibvorgang zur Kontrolle zurück. Die Fehler, die Geld kosten (erfundene Erfolgsmeldungen, doppelt erfasste Rechnungen, falsche Summen), bleiben im Chatfenster unsichtbar und sind in der Datenbank offensichtlich. Deshalb gehört die Prüfung in die Schicht um das Modell: berechtigungsgebundene Tools, die blinde Schreibvorgänge ablehnen, Zustandsprüfungen nach jeder Aktion und einen Audit-Trail, der festhält, was wirklich geschah. Diese Schicht ist Pinchy.

deepseek-v3.2: häufige Fragen.

Ist deepseek-v3.2 zuverlässig für KI-Agenten?

Zu langsam, um die Arbeit zu Ende zu bringen. deepseek-v3.2 läuft in den meisten Szenarien in der Mehrzahl der Läufe in einen Timeout. Wird es fertig, zeigt es dasselbe Muster wie das Feld: schreiben, ohne zu prüfen. Sein Nachfolger v4-pro führt diesen Index an; v3.2 selbst kommt für einen agentischen Einsatz nicht infrage.

Was sind die größten Schwächen von deepseek-v3.2 als Agent?

Lief in 11 von 12 Läufen sowohl bei der Dokumentenwahl als auch bei widersprüchlichen Daten in einen Timeout. Schloss die Szenarien Rechnungspositionen und Dublettenprüfung nie ab.

Verwandtes

Benchmarken Sie es selbst. Betreiben Sie es mit Governance.

Das Harness ist AGPL und akzeptiert jeden OpenAI-kompatiblen Endpunkt, auch Ihr eigenes deepseek-v3.2-Deployment. Und wie das Ergebnis auch ausfällt: Pinchy legt um das Modell berechtigungsgebundene Tools, geprüfte Aktionen und einen belegbaren Audit-Trail.

Oder schreiben Sie uns: info@heypinchy.com