MZP · Agenten-Evals · MZP-113 · 2026-10-02

Sechster Eval-Lauf: 15 von 15 grün

Fünfzehn Aufgaben liefen mit festen Eingaben gegen Produktion. Es gibt keine Regression, kein knownIssue und keinen UNEXPECTED_PASS. Neu im Korpus sind art-analog-tusche (MZP-147, Tuschestrich im analog-Stil) und dia-ascii-architecture (MZP-148, Architekturdiagramm aus einer ASCII-Skizze). Alle übrigen Kennzahlen sind gegenüber dem 01.10. unverändert. Die LLM-Stufe lief heute nicht.

Ziel: https://publisher.maierzone.de
Aufgaben: 8ec6013, 15 Aufgaben; gegenüber der Baseline kommen art-analog-tusche und dia-ascii-architecture hinzu
Stufe: deterministisch (Skill /mzp-eval); LLM-Stufe nicht gelaufen
Baseline: mzp-eval-2026-10-01: Gate grün, 13 grün; LLM-Baseline bleibt mzp-eval-2026-09-30 (Haiku 4.5: 14/15)
Rohdaten: results.json · calls.jsonl.txt (jeder Aufruf bis zum Trenddiagramm mit exaktem Payload)

Deterministische Stufe

grün

gelb

rot

UNEXPECTED_PASS

Aufgabe	Familie	Status	Aufrufe	knownIssue	Kernbefund
`art-a11y-check`	artifact	grün	1	—	`A11Y_IMAGE_ALT` als WARNING, 1 Element, `ok` bleibt true
`art-analog-tusche`	artifact	grün	3	—	neu: 4 Schwellstriche, `FIGURE_CLEAN` (2 Rahmen); Seite und `figure.svg` tragen die Tusche-Kontur
`art-asset-bundle`	artifact	grün	3	—	3 Dateien, erreichbar, Render sauber
`art-broken`	artifact	grün	2	—	`ok:false` mit allen vier Codes, keine Seite entstanden
`art-live-report`	artifact	grün	3	—	Live-Daten `stats` im Snapshot (446 Seiten), Render sauber
`art-patch`	artifact	grün	5	—	Patch lässt app.js stehen, der Diff zeigt nur index.html
`art-report`	artifact	grün	3	—	validate → stagingToken → publish, Render sauber
`dia-architecture-auto`	diagram	grün	3	—	3 Kreuzungen, 8 Überlappungen, 24 Knicke (01.10.: 3 / 8 / 24)
`dia-ascii-architecture`	diagram	grün	3	—	neu: 4 Knoten, 3 Kanten, 2 Zonen; 1 Lage-Vorgabe, 0 unerfüllt; 0 Kreuzungen, 2 Knicke, Layout sauber
`dia-constraints`	diagram	grün	2	—	1 Wunsch, 0 unerfüllt; 0 Kreuzungen, 4 Knicke, Layout sauber
`dia-diff`	diagram	grün	4	—	`diffDiagram` meldet genau 1 Knoten + 1 Kante
`dia-mermaid-flow`	diagram	grün	3	—	7 Knoten, 1 Zone; 2 Kreuzungen, 0 Überlappungen, 12 Knicke wie am 01.10.
`dia-quadrant-longlabels`	diagram	grün	2	—	`textInsideViewBox` sauber (viewBox 960 × 540)
`dia-radar-wrapped`	diagram	grün	3	—	`typeBlocks` entpackt (INFO), Achsentext im SVG
`edge-invalid-slug`	edge	grün	2	—	`INVALID_SLUG` strukturiert, `suggestion` `eval-slug-test`

Insgesamt 42 MZP-Aufrufe in den Aufgaben, 6 mehr als in der Baseline (36): das sind die je drei Aufrufe der beiden neuen Aufgaben. Alle anderen Aufgaben brauchten dieselbe Zahl wie am 01.10. Das Aufräumen am Anfang fand 17 Slugs vor, die schon weg waren (Seite nicht gefunden): 15 Aufgaben-Slugs sowie eval-slug und eval-slug-test aus edge-invalid-slug. In der Seitenliste (448 Seiten, drei Blöcke) stand kein eval--Slug. ms ist nicht gemessen, weil der Skill über MCP keine Zeitstempel sieht.

Neu im Korpus

art-analog-tusche (MZP-147). Ein Blatt auf analog@1.1.0 mit data-tusche="schwell" wird beim Publish umgerechnet: TUSCHE_APPLIED meldet 4 Schwellstriche (zwei Rahmen, eine Kante, ein gestrichelter Rückweg) und 0 übersprungene, FIGURE_CLEAN misst 2 Rahmen ohne Passungs- und Kollisionsbefund. Die veröffentlichte Seite und figure.svg enthalten beide az-tusche-kontur, die Erreichbarkeitsprüfung fand alle 4 URLs, der Render ist sauber.

dia-ascii-architecture (MZP-148). Die ASCII-Skizze mit zwei Zonen wird zu 4 Knoten, 3 Kanten und 2 Zonen. ASCII_LAYOUT_DERIVED meldet eine abgeleitete Lage-Vorgabe, LAYOUT_APPLIED null unerfüllte; keiner der Fehlercodes ASCII_TEXT_ORPHAN, ASCII_EDGE_UNDIRECTED oder CONSTRAINT_UNMET kam vor. Das Layout ist sauber (0 Kreuzungen, 0 Überlappungen, 2 Knicke), die Browser-Nachzählung findet 28 Formen, keine außerhalb. Das veröffentlichte diagram.json trägt 4 Knoten, 2 Zonen und 3 Kanten.

Beide Aufgaben haben keine Baseline und keine LLM-Daten; Vergleiche beginnen mit dem nächsten Lauf.

Beobachtungen, nicht bewertet

Keine davon beeinflusst Status oder Gate; sie stehen hier, damit sie nicht verloren gehen.

Ausführungsfehler in diesem Lauf: Schritt 3 von art-analog-tusche wurde zunächst mit dem zusätzlichen Argument maxBytes: 3000 gesendet, das nicht im Payload steht. Die Antwort war bei 3000 von 14485 Bytes abgeschnitten und wurde nicht ausgewertet; der Schritt lief danach mit den exakten args erneut und bestand. Das Protokoll trägt deshalb 43 Task-Zeilen bei 42 gezählten Schritten, die abweichende Zeile ist mit deviation gekennzeichnet.
dia-constraints ohne Nachprüfung: Die Aufgabe trägt weder einen Nachprüf-Schritt noch silent noch llmVerify; das README verlangt in Regel 3 mindestens eines davon. Der Rumpf von dia-ascii-architecture nennt den Folgefall (noCriterion in der LLM-Stufe). Die deterministische Stufe ist davon nicht betroffen.
Doppelter Alt-Befund bei art-a11y-check: Für dasselbe <img> kommen die statische Notice MISSING_ALT und der axe-Befund A11Y_IMAGE_ALT (impact critical), beide WARNING; ok bleibt true.
Irreführender Fehlertext bei art-broken: errors[0] endet auf „renderStrict=false meldet sie nur, ohne ok zu kippen“, obwohl ok hier false ist (Standard renderStrict=true). Das Verhalten ist richtig, der Hinweis in der Meldung passt nicht dazu.
Unbekannte Klassen in art-live-report: Der Payload nutzt mz-stat-label und mz-stat-value; der Server schlägt mz-stat__label und mz-stat__value vor (UNKNOWN_STYLE_CLASS, WARNING). Das expect prüft das nicht; laut Server stylen die beiden Klassen nichts. Der Skill ändert keine Aufgaben-Dateien.
Titelkollision beim Trenddiagramm: TITLE_COLLISION verweist auf die älteren mzp-eval-trend-*-Seiten. Der Lauf setzt keinen Lifecycle auf fremden Reports.
visualProof.overflow ist eine Liste (leer) statt einer Zahl; in results.json steht wie bisher die Anzahl (0).

Verlauf

Liniendiagramm über sechs Läufe: grün steigt von 5 über 9, 10, 12 und 13 auf 15, gelb fällt von 1 auf 0, rot bleibt 0, Aufrufe steigen von 28 über 30, zweimal 34 und 36 auf 42. — Abb. 1 · Gezeichnet von MZP (Diagrammtyp `line`, Slug `mzp-eval-trend-2026-10-02`). Aufrufe 28 → 30 → 34 → 34 → 36 → 42, grün 5 → 9 → 10 → 12 → 13 → 15, gelb 1 → 0 → 0 → 0 → 0 → 0, rot 0. Die Historie steht in results.json.