MZP · Agenten-Evals · MZP-113 · 2026-09-23

Erster Eval-Lauf: Gate grün

Die deterministische Stufe hat alle zehn Aufgaben mit festen Eingaben gegen Produktion abgearbeitet. Keine Regression. Vier bekannte Mängel sind seit dem Deploy behoben, einer (E3, Auto-Layout) steht noch aus. Dieser Report ist die Baseline für jeden folgenden Lauf.

Ziel
https://publisher.maierzone.de (Stand von main 1387b1f, deployt am 2026-09-23)
Stufe
deterministisch (Skill /mzp-eval); die LLM-Stufe startet der Auftraggeber selbst
Baseline
keine — erster Lauf
Vertrag
Repo docs/agent-workflows/evals/README.md, Aufgaben unter docs/agent-workflows/evals/tasks/
Rohdaten
results.json · calls.jsonl.txt (jeder Aufruf mit exaktem Payload)

Handlungsbedarf: 4 × UNEXPECTED_PASS

Diese Aufgaben tragen einen knownIssue-Marker und bestehen trotzdem. Der Mangel ist also behoben (E1 und E7 sind mit dem Deploy live). Der Marker muss raus, sonst verdeckt die Aufgabe beim nächsten Rückfall eine Regression als „gelb“. Im Arbeitsstand des Repos sind die vier Marker bereits entfernt, aber noch nicht committet.

Ergebnis

grün
5
gelb
1
rot
0
UNEXPECTED_PASS
4
AufgabeFamilieStatusAufrufeknownIssueKernbefund
art-asset-bundleartifactgrün3—3 Dateien, erreichbar, Render sauber
art-brokenartifactUNEXPECTED_PASS2E1validateArtifact meldet jetzt ok:false mit allen vier Codes (E1 live)
art-patchartifactgrün5—Patch hält app.js, Diff nur index.html
art-reportartifactgrün3—validate → stagingToken → publish, Render sauber
dia-architecture-autodiagramgelb1E39 Knoten ohne Koordinaten: 4 Kreuzungen (Schwelle 3), 3 Überlappungen, 16 Knicke
dia-diffdiagramgrün4—diffDiagram meldet genau 1 Knoten + 1 Kante
dia-mermaid-flowdiagramgrün3—Mermaid + Overlay: 7 Knoten, 1 Zone
dia-quadrant-longlabelsdiagramUNEXPECTED_PASS2E7Achsentexte bleiben in der viewBox (B3 behoben)
dia-radar-wrappeddiagramUNEXPECTED_PASS3E7typeBlocks-Container wird entpackt (TYPE_BLOCKS_UNWRAPPED)
edge-invalid-slugedgeUNEXPECTED_PASS2E7INVALID_SLUG strukturiert, suggestion eval-slug-test

Insgesamt 28 MZP-Aufrufe. Die Laufzeit je Aufruf (ms) ist in diesem Lauf nicht gemessen: der Skill ruft die Tools über die MCP-Verbindung auf und sieht keine Zeitstempel.

Was keine Prüfung fängt

Beim Ansehen der Ergebnisse fielen Mängel auf, bei denen der Server ok meldet. Sie beeinflussen das Gate nicht, sind aber Kandidaten für neue silent-Prüfungen.

  1. S1quadrant
    Der Achsentext „GROSSER AUFWAND“ überlagert die Beschriftung „E11 Lebende Reports“. Alles liegt in der viewBox, visualProof meldet keine Kollision. Kandidat: Prüfung textOverlap.
  2. S2radar
    Die Seriennamen („Heute“, „Erreichbar bis Q1/2027“) erscheinen nirgends. Zwei Polygone ohne Legende (B8 ist offen).
  3. S3line
    Das Trenddiagramm unten zeichnet weder Titel noch Achsenwerte noch Legende. Serien mit nur einem Punkt sind unsichtbar (visualProof: 5 ohne Ausdehnung), nur der focal-Punkt erscheint.
  4. S4Client
    Claude Code kürzt die Beschreibung von publishArtifact von 2678 auf 2048 Zeichen. Was hinten steht (Patch-Modus, verbosity), sieht ein Agent dort nicht (E8).

Im Lauf korrigiert

Drei Diagramm-Aufgaben speisten in ihrer Nachprüfung das diagram.json des Bundles in validateDiagram. Das ist aber das kanonische Delta-Modell (MZP-55), nicht die Eingabe, und die Eingabe liegt nicht im Bundle. So konnten diese Aufgaben nie bestehen. Der Vertrag hat dafür den Pfad json(…) und den Operator contains bekommen, und die Nachprüfung zählt jetzt Knoten und Zonen im Modell bzw. sucht einen Achsentext im SVG. dia-mermaid-flow lief mit der alten Fassung schon an und wurde nach Aufräumen des Slugs neu gestartet. Die verworfenen Aufrufe stehen in calls.jsonl.txt mit superseded.

Verlauf

Liniendiagramm des Eval-Verlaufs. Beim ersten Lauf ist nur ein Punkt sichtbar: 28 Aufrufe.
Abb. 1 · Gezeichnet von MZP (Diagrammtyp line, Slug mzp-eval-trend-2026-09-23). Serien: grün, gelb, rot, UNEXPECTED_PASS, Aufrufe. Mit einem Lauf gibt es noch keine Linie. Die Werte stehen oben in der Tabelle, die Historie in results.json.