Copilot: viele Modelle, wenig Messwerte
GitHub Copilot ist die einzige grosse Coding-Harness, die Modelle mehrerer Anbieter mit jeweils eigener Tool-Oberflaeche bedient — und gleichzeitig die, ueber die es am wenigsten unabhaengige Benchmark-Daten gibt.
Copilot beantwortet die Frage aus Teil 1 auf den ersten Blick elegant: Wenn der Harness so viel ausmacht, dann nimm einen Harness und tausche das Modell darin. Genau das bietet Copilot an. Nur laesst sich kaum nachpruefen, wie gut das funktioniert — weil Copilot auf den Leaderboards fehlt, die diese Frage beantworten koennten.
Was es gibt: eine einzige unabhaengig validierte Einreichung auf Terminal-Bench 2.0, eine ausfuehrliche herstellereigene Messung von GitHub, und sehr gut dokumentiertes Per-Modell-Routing im offenen SDK. Was es nicht gibt: eine neutrale Zahl, die GitHubs Kernbehauptung „gleichwertig zum jeweiligen Hersteller-Harness“ bestaetigt oder widerlegt.
1. Die Modellauswahl
GitHub spricht von „20+ frontier models across the GPT, Claude, Gemini, and MAI families, plus bring your own key for open-source and local models“. Die Plans-Seite listet konkret:
| Anbieter | Modelle (Auswahl, Sep 2026) | Status |
|---|---|---|
| OpenAI | GPT-5 mini, GPT-5.2, GPT-5.2-Codex, GPT-5.3-Codex, GPT-5.4, GPT-5.4 mini, GPT-5.5, GPT-5.6 Sol / Terra / Luna, GPT-6 Astra | GPT-5 mini inklusive |
| Anthropic | Opus 4.5–4.8, Opus 5, Sonnet 4.5 / 4.6 / 5, Haiku 4.5, Fable 5 / 5.1 | Credits |
| Gemini 3.5 / 3.6 / 3.7 / 3.8 Flash | Credits | |
| xAI | Grok 4.5, Grok 4.6 | Credits |
| Microsoft | MAI-Code-1.1-Flash | Credits |
| Moonshot | Kimi K2.7 Code, Kimi K3 | Credits |
| Legacy / inklusive | GPT-4.1, GPT-4o | inklusive |
| BYOK | Open-Weights und lokale Modelle | eigener Schluessel |
GPT-5 mini, GPT-4.1 und GPT-4o sind die „included models“ — auf bezahlten Plaenen ohne Credit-Verbrauch fuer den Modellaufruf. GPT-6 Astra ist laut Changelog vom 4. September 2026 nur fuer Pro+, Max, Business und Enterprise verfuegbar. Business- und Enterprise-Admins muessen viele Modelle per Model-Policy explizit freischalten; Open-Weight-Modelle und Modelle mit Data-Retention sind per Default deaktiviert. Quellen [1][2][3][4].
1.1 Der Auto-Modus
„Auto“ ist in Chat, Copilot CLI und der Copilot App allgemein verfuegbar. Laut Dokumentation arbeiten dabei zwei Systeme zusammen: eines beobachtet System-Health und Verfuegbarkeit in Echtzeit, das andere bewertet die Aufgabenkomplexitaet entlang von Reasoning-Bedarf, Code-Generierungs-Komplexitaet, Fehlerdiagnose und Tool-Orchestrierung. Geroutet wird bewusst entlang von Cache-Grenzen, um Cache-Kosten zu vermeiden.
Zwei Einschraenkungen, die man kennen sollte: Auf Business und Enterprise routet Auto ausschliesslich zu Modellen mit Multiplier ≤ 1. Und GitHub sagt selbst, dass sich die Zielmodelle „over time“ aendern. Fuer reproduzierbare Laeufe ist Auto damit ungeeignet — dort gehoert ein Modell fest gepinnt.
2. Die Benchmark-Lage: eine Zahl
Das ist der zentrale Befund dieser Recherche. Copilot betreibt keine Leaderboard-Praesenz. Die Suche ueber alle relevanten Boards ergibt:
| Leaderboard | Copilot vertreten? | Anmerkung |
|---|---|---|
| Terminal-Bench 2.0 (Harbor) | ja | Copilot CLI + Claude Opus 4.6, 60,4 %, 445 Trials, 2026-04-02 |
| Terminal-Bench 2.1 | nein | Board von Modell-Harness-Paaren anderer Anbieter dominiert |
| Terminal-Bench 3.0 / 4.0 | nein | keine Einreichung |
| SWE-bench Pro (Scale SEAL) | nein | Copilot ist dort kein getesteter Agent |
| SWE-Lancer | nein | keine oeffentlichen Harness-Zahlen |
| AA Coding Agent Index | gelistet, kein Score | als IDE-Extension gefuehrt, ohne eigenen Harness-Wert |
| Endor Agent Security League | nein | getestet werden nur Cursor, Claude Code, Codex, SWE-Agent |
Aus der offiziellen Harbor-Einreichung (Discussion #125), woertlich: „Agent: Copilot CLI (GitHub) · Model: Claude Opus 4.6 (Anthropic) · Score: 0.604 (60.4%) · Trials: 445 (89 tasks x 5 runs) · Date: 2026-04-02“. Eingereicht ueber einen Pull Request, der Copilot-CLI-Unterstuetzung in Harbor integrierte.
Die Einordnung muss vorsichtig bleiben: 60,4 % mit Opus 4.6 liegt deutlich unter den 79,8 %, die ForgeCode mit demselben Modell erreicht, und unter den 75,3 % von Capy. Aber es ist eine einzelne Einreichung, moeglicherweise ohne die Tuning-Arbeit, die hinter den Spitzenplaetzen steckt — und GitHub selbst reicht auf diesem Board nicht regelmaessig ein. Aus einem Datenpunkt laesst sich kein Harness-Ranking ableiten.
3. GitHubs eigene Messung
Der Blogpost Evaluating performance and efficiency of the GitHub Copilot agentic harness across models and tasks vom 25. Juni 2026 ist methodisch der sauberste verfuegbare Fall von „fixer Harness, variierendes Modell“ — und gleichzeitig eine Herstellerangabe, die niemand extern reproduziert hat.
Benchmarks: SWE-bench Verified (500 Aufgaben), SWE-bench Pro, SkillsBench (intern), TerminalBench, Win-Hill (intern, Windows-Container). Modelle: Claude Sonnet 4.6, Claude Opus 4.7, GPT-5.4, GPT-5.5. Gegenspieler: Claude Code fuer Claude-Modelle, Codex CLI fuer GPT-Modelle.
Normalisiert auf gleiches Kontextfenster und gleiche Prompt-Token-Limits, Reasoning auf „medium“, kein Tool-Search, keine MCP-Server, best-of-5 bei Benchmarks unter 100 Instanzen, pass@1. GitHub schreibt selbst: „These normalizations mean results differ from public benchmark submissions, which typically use higher reasoning effort and other tuned settings.“
-
G1Token-EffizienzBei fixem Modell verbraucht Copilot CLI in den meisten Konfigurationen weniger Tokens als der jeweilige Hersteller-Harness. Fuer Sonnet 4.6 und Opus 4.7 in allen geprueften Faellen. Fuer GPT-5.4 und GPT-5.5 in allen Faellen ausser SWE-bench Verified — dort 7 % bzw. 4 % schlechter.
-
G2Task-Resolution„On par“ — Unterschiede innerhalb der Lauf-zu-Lauf-Varianz. Woertlich zur TerminalBench-2.0-Varianzanalyse: „Purple (Copilot) markers and their same-model competitors sit within overlapping ellipses on both axes for nearly every model—the differences are inside run-to-run variance. Copilot is never below a competitor on completion or to the right on cost.“ Mindestens 5 Laeufe je Kombination, ±1σ-Ellipsen.
-
G3ModellwahlDer fuer die Ausgangsfrage entscheidende Satz, woertlich: „GPT models (left) deliver the best value: strong resolution at the lowest cost. Claude Opus (upper right) reaches the highest resolution at a premium.“ Das ist genau die isolierte Modell-Varianz bei fixem Harness — GPT guenstig und effizient, Opus am staerksten und am teuersten.
-
G4EinschraenkungAlles oben ist herstellereigen und nicht extern reproduziert. Die Normalisierung schaltet ausgerechnet die Features ab (Tool-Search, MCP), die Copilots Alltagsleistung mitbestimmen. Der Vergleich misst den nackten Agent-Loop, nicht das Produkt.
4. Per-Modell-Routing: was Copilot tatsaechlich anders macht
Copilot loest das Model-Harness-Fit-Problem aus Teil 1 nicht durch einen gemeinsamen Nenner, sondern durch Verzweigung. Der Copilot agentic harness ist eine geteilte Komponente des offenen Copilot SDK und treibt Copilot CLI, Copilot App, den Cloud-Agenten und Code Review an. Je nach Modellfamilie liefert er unterschiedliche Oberflaechen aus.
| Beleg | Quelle | Datum |
|---|---|---|
Zehn konfigurierbare System-Prompt-Sektionen: identity, tone, tool_efficiency, environment_context, code_change_rules, guidelines, safety, tool_instructions, custom_instructions, last_instructions | copilot-sdk CHANGELOG | 2026 |
Nur gpt-*-Modelle nutzen die native Responses-API; Nicht-GPT laeuft ueber den Messages-Adapter, der den Responses-tool_search-Modus nicht unterstuetzt | Gateway-/SDK-Logik | 2026 |
| „Enable tool search for Claude Haiku 4.5+“ | Copilot CLI 1.0.74 | 2026-07-23 |
| „New Critic agent automatically reviews plans and complex implementations using a complementary model to catch errors early“ | Copilot CLI 1.0.18 | 2026-04-04 |
| Rubber Duck: GPT-Sessions bekommen einen Claude-Critic, Claude-Sessions koennen GPT-5.5 als Reviewer nutzen | Changelog | 2026-05-07 |
„Expand @-style imports in AGENTS.md, CLAUDE.md, and Copilot instruction files“; Custom Agents auch aus .claude/agents | Copilot CLI 1.0.64 | 2026-06-23 |
claude-fable-5.1-Support, mehrere Modelle pro Custom Agent (model-policy: required) | Copilot CLI 1.0.83 | 2026-09-04 |
Das SDK ist seit 2. Juni 2026 allgemein verfuegbar (Node/TypeScript ueber npm, Java ueber Maven/Gradle). Quellen [7][8][9].
5. Preise
Seit dem 1. Juni 2026 rechnet Copilot nutzungsbasiert ueber AI Credits ab. Ein Credit entspricht 0,01 USD. Die frueheren Premium-Request-Multiplier (Gemini Flash 0,25×, Sonnet 1×, Opus 3×, historisch GPT-4.5 mit 50×) gelten nur noch fuer Bestandskunden mit jaehrlichem Legacy-Plan.
| Plan | Preis / Monat | Credits | Gegenwert |
|---|---|---|---|
| Free | 0 USD | — | 2.000 Completions/Monat |
| Pro | 10 USD | 1.500 (1.000 + 500 Flex) | ca. 15 USD |
| Pro+ | 39 USD | 7.000 | ca. 70 USD |
| Max | 100 USD | 20.000 | ca. 200 USD |
| Business | 19 USD / Sitz | 1.900 / Nutzer | ca. 19 USD |
| Enterprise | 39 USD / Sitz | 3.900 / Nutzer | ca. 39 USD |
| Modell | Input / 1M | Output / 1M |
|---|---|---|
| MAI-Code-1-Flash | 0,75 USD | 4,50 USD |
| Gemini 3.6 Flash | 1,50 USD | 7,50 USD |
| Claude Sonnet 5 | 2,00 USD | 10,00 USD |
| Claude Opus 4.x | 5,00 USD | 25,00 USD |
| GPT-5.5 | 5,00 USD | 30,00 USD |
| Claude Fable 5 | 10,00 USD | 50,00 USD |
Code-Completions bleiben auf bezahlten Plaenen unbegrenzt und kostenfrei. Nach Verbrauch der Credits greift Overage zur Modell-Token-Rate — einen automatischen Fallback auf ein guenstigeres Modell gibt es nicht mehr, nur Budget- und Admin-Caps. Copilot Pro ist mit 10 USD der guenstigste bezahlte Einstieg im Feld. Belastbare Kosten-pro-Task-Zahlen fuer den Copilot-Harness existieren ausserhalb von GitHubs eigener TerminalBench-Analyse nicht. Quellen [2][10].
6. Schwaechen, Zwischenfaelle, Sicherheit
-
S1Rate LimitsIm Maerz 2026 entdeckte GitHub einen Bug, der Tokens neuerer Modelle wie Opus 4.6 und GPT-5.4 unterzaehlte. Der Fix traf viele Normalnutzer mit harten, modelluebergreifenden Sperren. The Register berichtete am 15. April 2026 unter anderem ueber einen Pro+-Nutzer mit einem gemeldeten 44-Stunden-Wochenlimit. GitHub bestaetigte den Vorfall in Community-Discussion #190176 und erhoehte die Limits mehrfach.
-
S2CVE-2025-53773Command-Injection-Klasse (CWE-77): Eine Payload im Quellcode brachte den Agenten dazu, beliebige Terminalbefehle auszufuehren — normales Code-Lesen genuegte als Ausloeser. CVSS-3.1-Base-Score 7,8, Vektor AV:L/AC:L/PR:N/UI:R/S:U/C:H/I:H/A:H. Gemeldet von Johann Rehberger am 29. Juni 2025, gepatcht in Visual Studio 2022 v17.14.12. Hinweis: Einige Sekundaerquellen nennen 9,6; massgeblich ist der MSRC-/Advisory-Wert 7,8.
-
S3relativer VorteilIn der AIShellJack-Studie (arXiv:2509.22040, 314 Payloads, 70 MITRE-ATT&CK-Techniken) erreichten Prompt-Injection-Angriffe je nach Ziel bis zu 84 % Erfolgsrate. Copilot in VS Code v1.102 lag bei 41,1 % bis 52,2 %, Cursor v1.2.2 im Auto-Approval-Modus bei 83,4 %. Copilot schnitt hier also deutlich besser ab.
-
S4PraxisWiederkehrende Kritik aus Praxisberichten: kleines Inline-Completion-Kontextfenster und schwaechere Leistung bei Aenderungen ueber zehn und mehr Dateien im Vergleich zu Claude Code mit 1M-Kontext oder Cursors Indexierung. Copilot hat zudem kein Aequivalent zu Claude Codes persistentem Memory-Verzeichnis — Instruktionen muessen in Dateien stehen.
7. Einordnung: beantwortet Copilot die Frage aus Teil 1?
Teilweise. Copilot ist der einzige grosse Harness, der das Model-Harness-Fit-Problem architektonisch ernst nimmt, statt es wegzudefinieren: unterschiedliche Tool-Formate je Trainingsverteilung, modellspezifische Discovery-Schleifen, Critic-Subagenten aus einer anderen Modellfamilie. Das ist die ehrliche Antwort auf den Befund, dass Modelle nicht portabel sind.
Der Preis dafuer ist Nachpruefbarkeit. Genau der Vergleich, den Copilot theoretisch ermoeglichen wuerde — ein Benchmark, viele Modelle, ein Harness — existiert oeffentlich nur als Herstellermessung, die ausgerechnet die produktbestimmenden Features abschaltet. Fuer den Report aus Teil 1 heisst das: Copilot gehoert in die Kategorie „Harness mit dokumentiertem Routing, ohne unabhaengige Messung“. Das ist keine schlechte Bewertung. Es ist gar keine.
-
E1ZitierregelAusser der Terminal-Bench-2.0-Einreichung (60,4 %, Opus 4.6, 2026-04-02) ist jede Copilot-Zahl herstellereigen. GitHubs Juni-Messung nur mit Methodik-Hinweis zitieren: normalisiert, kein Tool-Search, kein MCP, best-of-5, ausdruecklich nicht vergleichbar mit oeffentlichen Einreichungen.
-
E2ModellwahlGitHubs eigener isolierter Trade-off als Heuristik nehmen: GPT-Modelle fuer Kosten und Durchsatz, Claude Opus fuer die hoechste Aufloesung bei komplexen Aufgaben. Bei reproduzierbaren Laeufen immer ein konkretes Modell pinnen statt Auto.
-
E3KostenOrganisations-Budget-Caps vor dem Rollout setzen — einen stillen Fallback auf guenstigere Modelle gibt es seit Juni 2026 nicht mehr. Heavy-Agent-Nutzung gehoert auf Pro+ oder Max, Teams auf Business mit Admin-Budgets.
-
E4TriggerSobald Copilot CLI auf Terminal-Bench 2.1 oder 4.0 oder auf Scale SEAL mit mehreren Modellen erscheint, wird der harness-isolierte Modellvergleich erstmals unabhaengig moeglich. Dann neu bewerten.
8. Quellen
- GitHub Docs — Supported AI models in GitHub Copilot. docs.github.com/en/copilot/reference/ai-models/supported-models
- GitHub — Copilot Plans & Pricing. github.com/features/copilot/plans
- GitHub Docs — Requests in GitHub Copilot (included models, Credits). docs.github.com … requests-in-copilot
- GitHub Changelog — GPT-6 Astra generally available (4. Sep 2026) und Global model policy generally available (26. Aug 2026). github.blog/changelog
- Harbor / Terminal-Bench 2.0 Leaderboard — Einreichung Copilot CLI mit Claude Opus 4.6, Discussion #125. huggingface.co … discussions/125
- Nicolas Bustamante: Model-Harness-Fit — Terminal-Bench-2.0-Paartabelle, Stand 30. April 2026. nicolasbustamante.com/blog/model-harness-fit
- GitHub — copilot-sdk (System-Prompt-Sektionen, Modelladapter). github.com/github/copilot-sdk
- GitHub — Copilot CLI Changelog. github.com/github/copilot-cli/blob/main/changelog.md
- GitHub Docs — About Copilot auto model selection. docs.github.com … auto-model-selection
- GitHub Blog — GitHub Copilot is moving to usage-based billing. github.blog … usage-based-billing
- Zhang et al.: Your AI, My Shell: Demystifying Prompt Injection Attacks on Agentic AI Coding Editors, arXiv:2509.22040 (Framework AIShellJack). arxiv.org/abs/2509.22040
- GitHub Blog — Evaluating performance and efficiency of the GitHub Copilot agentic harness across models and tasks (25. Juni 2026). github.blog … agentic-harness
- Microsoft MSRC / GitHub Advisory GHSA-3m2x-p87c-pwv6 — CVE-2025-53773. github.com/advisories/GHSA-3m2x-p87c-pwv6
- The Register — Customers revolt as GitHub Copilot „fixes“ rate limits (15. April 2026).
- Endor Labs — Agent Security League Leaderboard (Copilot dort nicht vertreten). endorlabs.com
9. Pruefprotokoll und Vorbehalte
- Die Abwesenheit von Copilot auf Terminal-Bench 2.1/3.0/4.0, Scale SEAL, SWE-Lancer und der Endor Agent Security League wurde durch direkten Abruf der jeweiligen Boards geprueft, nicht aus Sekundaerquellen geschlossen.
- Die einzige unabhaengige Zahl (60,4 %) stammt woertlich aus der Einreichungsdiskussion und ist mit Datum, Modell und Trial-Zahl belegt.
- Alle GitHub-eigenen Aussagen sind als solche markiert und mit der von GitHub selbst genannten Methodik-Einschraenkung versehen.
- Beim CVSS-Wert zu CVE-2025-53773 widersprechen sich Quellen (7,8 gegen 9,6). Dieser Report folgt der Primaerquelle MSRC/Advisory: 7,8.
- Die Endor-Startwerte (Cursor + Opus 4.6: 84,4 % / 7,8 %) wurden auf dem Live-Board inzwischen revidiert (84,9 % / 11,2 %). Copilot fehlt in beiden Fassungen.
- Nicht verwendet, weil ohne belastbare Primaerquelle: Angaben zu Kostenverhaeltnissen zwischen Harnesses beim gleichen Modell.
- Modellnamen und Verfuegbarkeiten sind Momentaufnahmen. Es gab Deprecations am 1. September 2026 und angekuendigte zum 2. Oktober 2026.
- Das Research-Preview „Project HydraFusion“ (Multi-Modell-Orchestrierung, September 2026) behauptet in internen Offline-Evaluationen Opus-5-Niveau bei geringeren Kosten. Reine Herstellerangabe, nicht extern verifiziert, deshalb hier nur erwaehnt und nicht als Zahl gefuehrt.