MZP · Agenten-Evals · MZP-113 · 2026-09-30
Vierter Eval-Lauf: 12 von 12 grün, Haiku 14 von 15
Zwölf Aufgaben liefen mit festen Eingaben gegen Produktion, nach dem Deploy von queryDiagram (MZP-133) und der Mermaid-Import-Korrektur (MZP-134). Es gibt keine Regression, und zum ersten Mal sind alle zwölf grün: die zwei überholten knownIssue-Marker sind entfernt. Die LLM-Messung zu MZP-134 bringt Haiku 4.5 von 13 auf 14 von 15. Das Ziel 15 von 15 ist nicht erreicht.
Deterministische Stufe
| Aufgabe | Familie | Status | Aufrufe | knownIssue | Kernbefund |
|---|---|---|---|---|---|
art-a11y-check | artifact | grün | 1 | — | A11Y_IMAGE_ALT als WARNING, 1 Element, ok bleibt true |
art-asset-bundle | artifact | grün | 3 | — | 3 Dateien, erreichbar, Render sauber |
art-broken | artifact | grün | 2 | — | ok:false mit allen vier Codes, keine Seite entstanden |
art-live-report | artifact | grün | 3 | — | Live-Daten stats im Snapshot (427 Seiten), Render sauber; Marker E11 entfernt |
art-patch | artifact | grün | 5 | — | Patch lässt app.js stehen, der Diff zeigt nur index.html |
art-report | artifact | grün | 3 | — | validate → stagingToken → publish, Render sauber |
dia-architecture-auto | diagram | grün | 3 | — | 3 Kreuzungen, 8 Überlappungen, 24 Knicke (28.09.: 3 / 8 / 24); Marker E3 entfernt |
dia-diff | diagram | grün | 4 | — | diffDiagram meldet genau 1 Knoten + 1 Kante |
dia-mermaid-flow | diagram | grün | 3 | — | 7 Knoten, 1 Zone, Ids unverändert; 2 Kreuzungen, 0 Überlappungen, 12 Knicke wie am 28.09. |
dia-quadrant-longlabels | diagram | grün | 2 | — | textInsideViewBox sauber |
dia-radar-wrapped | diagram | grün | 3 | — | typeBlocks entpackt, Achsentext und Legende im SVG |
edge-invalid-slug | edge | grün | 2 | — | INVALID_SLUG strukturiert, suggestion eval-slug-test |
Insgesamt 34 MZP-Aufrufe, wie in der Baseline. ms ist nicht gemessen, weil der Skill über MCP keine Zeitstempel sieht. Seit diesem Lauf gilt: mehr als 3 Kreuzungen bei dia-architecture-auto oder ein Scheitern von art-live-report ist rot, nicht mehr gelb.
LLM-Stufe: Haiku 4.5 nach MZP-134
Fünf Diagramm-Aufgaben, je drei Läufe, nur Haiku 4.5, abgeschottet wie am 28.09. Alle 15 Läufe sind gemessen, keiner ungültig. Warnungen nach Q18 gibt es keine.
| Aufgabe | Erfolg 28.09. | Erfolg heute | Aufrufe 28.09. | Aufrufe heute | DIAGRAM_INVALID 28.09. → heute |
|---|---|---|---|---|---|
dia-architecture-auto | 2/3 | 3/3 | 2 (2–3) | 2 (1–2) | 4 → 2 |
dia-diff | 3/3 | 3/3 | 2 (2–2) | 2 (2–2) | 0 → 0 |
dia-mermaid-flow | 2/3 | 2/3 | 1 (1–2) | 1 (1–2) | 1 → 0 |
dia-quadrant-longlabels | 3/3 | 3/3 | 3 (2–6) | 4 (4–4) | 2 → 6 |
dia-radar-wrapped | 3/3 | 3/3 | 3 (3–5) | 4 (2–4) | 4 → 5 |
Aufrufe als Median mit Spanne (min–max) über drei Läufe.
Was MZP-134 bewirkt hat: Bei dia-architecture-auto bestehen jetzt alle drei Läufe, die Fehlversuche halbieren sich. Bei dia-mermaid-flow gibt es keinen abgelehnten Aufruf mehr.
Was offen bleibt: Ein Lauf von dia-mermaid-flow scheitert an der Nachprüfung, weil das publizierte Diagramm 8 statt 7 Knoten trägt. Der Server hat die Eingabe angenommen, es war kein Importfehler. Dieselbe Fehlerart stand schon am 28.09. im Report; MZP-134 adressiert sie nicht.
Gegenläufig: dia-quadrant-longlabels braucht in allen drei Läufen 4 Aufrufe mit je 2 abgelehnten Eingaben (Median 3 → 4, unter der Warnschwelle von +2). dia-radar-wrapped steigt ebenfalls von 3 auf 4. Beide Typen berührt MZP-134 nicht; bei drei Läufen je Aufgabe kann das Streuung sein.
Was der Lauf zum Deploy sagt
MZP-134 hat die acht Knotenmuster des Flowchart-Parsers von ASCII auf \p{L} erweitert. dia-mermaid-flow läuft deterministisch über genau diesen Pfad und liefert dieselben Knoten-Ids, dieselbe Zone und dieselben Layout-Kennzahlen wie vor dem Deploy. Das neue Verhalten selbst (Umlaut-Ids, Meldung bei unbekanntem Dialekt) deckt keine deterministische Aufgabe ab; es wurde von Hand gegen Produktion geprüft.
MZP-133 (queryDiagram) hat keine Aufgabe im Korpus; eine Eval-Aufgabe war laut Ticket außer Umfang. dia-diff nutzt denselben Ladeweg über DiagramDeltaService und ist grün.
Verlauf
line, Slug mzp-eval-trend-2026-09-30). Aufrufe 28 → 30 → 34 → 34, grün 5 → 9 → 10 → 12, gelb 1 → 0 → 0 → 0, rot 0. Die Historie steht in results.json.