MZP: Stärken und Schwächen

Dreizehn Fähigkeiten, drei Achsen: Design, Agent-Use, Efficiency. Am stärksten ist MZP dort, wo Server und Agent sich gegenseitig prüfen (Chat-Viewer, Evals, Artefakt-Pipeline). Am schwächsten ist es bei Fähigkeiten, die schwächere Modelle nicht von allein finden (analog-Stil, Live-Reports), und beim Backlog-Abruf, der auch im Kompaktmodus noch schwer ist. Die Katalog-Liste ist mit Gold-7 handlich geworden, draw.io-Dateien nimmt MZP mit Gold-6 an.

Maßstab

1 = schwach, 5 = stark. Es sind Einschätzungen mit Beleg, keine Messwerte; jede Zelle nennt ihren Beleg.

Design

Gestaltungsqualität des Ausgelieferten: Optik, Lesbarkeit, Handwerk. Ein Strich heißt: nicht anwendbar (reine Schnittstelle oder Prozess).

Agent-Use

Kommt ein Agent ohne Vorwissen im ersten Anlauf ans Ziel? Auffindbarkeit, Fehlerführung, Eval-Beleg.

Efficiency

Aufrufe, Tokens und Bytes, Latenz und Kosten, Wartungsaufwand.

Quellen

Repo (docs/baseline.md, Ratschen-Register, evals/README.md), Live-Proben gegen Produktion am 2026-10-07 (nach Gold-6/7 für Katalog, Backlog, draw.io und listVersions wiederholt), Eval-Report mzp-eval-2026-10-06, LLM-Matrix 06.10., Vergleich mit diagram-design.

Matrix

Zelle antippen: der Beleg klappt unter der Zeile auf. Sortiert wird schwächste zuerst.

Radar: die neun Fähigkeiten mit allen drei Achsen

Die vier reinen Schnittstellen-Zeilen (MCP-Oberfläche, Katalog, Eval-System, Gates) haben keine Design-Wertung und stehen nur in der Matrix.

Die drei größten Hebel

1. H1Efficiency
   Kompaktmodus: halb erledigt (Gold-7). listPublishedPages kennt jetzt fields: 200 Seiten kosten mit slug,title,status rund 16 000 statt 65 000 Zeichen, und der Default liegt bei 50 Seiten. backlogQuery kennt compact: 60 Tickets rund 27 000 statt 52 000 Zeichen (Zahlen aus der Antwort geschätzt). Das hebt Katalog & Abfrage von Efficiency 2 auf 3 und von Agent-Use 3 auf 4. Rest: das Backlog trägt auch kompakt viele Null-Felder je Ticket, eine Feldauswahl wie beim Katalog fehlt dort.
2. H2Agent-Use
   Abnahme von MZP-154/155 mit Wiederholungen, dazu B9 schließen. Haiku 4.5 scheitert bei analog-Stil und Live-Report (ein Lauf je Zelle, 06.10.); beide Fixes stehen in REVIEW, aber nicht mit --repeats 3 belegt. listVersions antwortet auf einen unbekannten Slug weiter unstrukturiert und doppelt, nach Gold-7 erneut live bestätigt. Beides hebt zwei Zellen von 3 auf 4.
3. H3Design
   Branding fertigstellen und Mermaid-Layouts glätten. MZP-160 (eigene Profile) abnehmen, dann Schriften-Katalog (MZP-161) und Größen-Presets (MZP-167). Der Mermaid-Weg liefert in der Eval 2 Kreuzungen und Kantenlängen-Streuung 1,36 gegen 0,45 beim Auto-Layout. Das trägt Branding und Eingabeformen von Design 3 auf 4. Der neue draw.io-Weg (Gold-6) gehört in dieselbe Messung: bisher nur an einer Zwei-Knoten-Datei geprüft.

Grenzen dieser Bestandsaufnahme

• Nachführung nach Gold-6/7: neu gemessen sind nur die Stellen, die die beiden Änderungen berühren (Katalog, Backlog, draw.io-Import, listVersions). Alle übrigen Zellen stammen unverändert vom Morgen des 07.10. Die Zeichenzahlen der Listen sind aus den Antworten geschätzt, nicht gezählt.
• draw.io ohne Agenten-Beleg: der Import ist live gelaufen, aber kein Agent hat ihn je ohne Vorwissen gefunden. Deshalb steht Agent-Use der Eingabeformen weiter bei 4.
• LLM-Stufe dünn: die Matrix vom 06.10. hat einen Lauf je Zelle. Die Agent-Use-Werte für analog und Live-Reports sind Tendenz, kein Streumaß.
• Suite-Laufzeit nicht neu gemessen: 3:34 min stammen von 1356 Tests (2026-09-03); heute sind es rund 2310 Testmethoden. Die Efficiency-Wertung der Gates ist deshalb vorsichtig.
• Admin-Bereich nicht prüfbar: er liegt hinter nginx-Basic-Auth und fließt nur über Quelltext und Tests ein.
• Mein Urteil: die Zahlen sind Einschätzungen. Widerspruch gehört in die Zelle, nicht in die Fußnote.

Außergewöhnliche Funde und Kandidaten führt die lebende Liste mzp-schaetze. Rohdaten: matrix.json.