Das nächste Level der LLMs

Technische Durchbrüche seit Claude Sonnet 3.7 — Februar 2025 bis August 2026

🧠 Reasoning 🤖 Agentic AI 🏗️ Architektur 📉 Effizienz 🔮 Ausblick

TL;DR Timeline Architektur Reasoning Agentic AI Effizienz Benchmarks Ausblick Empfehlungen Quellen

TL;DR

• Der wichtigste Durchbruch war das „Reasoning-Paradigma“: Zwischen Anfang 2025 und Mitte 2026 wurde das „Thinking“-Modell (Test-Time-Compute) vom Experiment zum Standard – gestartet mit OpenAI o1/o3 und dem quelloffenen DeepSeek R1 (Jan 2025), fortgeführt durch hybride Modelle wie Claude 3.7 Sonnet, bis hin zu vereinheitlichten Systemen wie GPT-5 mit automatischem Reasoning-Router.
• Agentic AI und Coding wurden zur Leitanwendung: SWE-bench Verified stieg von 62–63% (Claude 3.7, Feb 2025) auf 80,9% (Claude Opus 4.5, Nov 2025) – die erste „übermenschliche“ Coding-Leistung; gleichzeitig fielen die Inferenzkosten für ein gegebenes Fähigkeitsniveau laut Epoch AI um etwa das 5- bis 10-fache pro Jahr.
• Der Ausblick ist „mehr Reasoning, mehr Agenten, unsicherere AGI-Fristen“: AGI-Prognosen wurden von ~2027 auf ~2030 verschoben; Anthropic führte eine neue „Mythos“-Modellklasse oberhalb von Opus ein, chinesische Open-Weight-Modelle (DeepSeek, Qwen, Kimi) schlossen zur Spitze auf.

1. Historische Einordnung: Timeline der Schlüssel-Releases

2. Architektur-Innovationen

Mixture-of-Experts (MoE) als neuer Standard

Statt bei jedem Token alle Parameter zu aktivieren, aktivieren MoE-Modelle nur eine kleine Teilmenge spezialisierter „Experten“. Das senkt die Inferenzkosten drastisch bei gleichzeitig hoher Wissenskapazität.

Context-Window-Explosion

Neue Attention-Mechanismen

DeepSeek Multi-Head Latent Attention (MLA) komprimiert Key-Value-Speicher. Der größte Durchbruch kam im September 2025 mit DeepSeek Sparse Attention (DSA) in V3.2-Exp – ein feingranularer Sparse-Attention-Mechanismus mit „Lightning Indexer“, der Training und Inferenz bei langen Kontexten deutlich effizienter macht, ohne die Qualität zu beeinträchtigen. Llama 4 nutzt „iRoPE“ (interleaved attention mit NoPE-Layern) zur Kontextverlängerung.

Warnung zu Skalierungsgrenzen: Metas Llama 4 Behemoth (2 Bio. Parameter) wurde nie veröffentlicht – Berichten zufolge wegen MoE-Routing-Problemen bei extremer Skalierung. Dies gilt als Warnsignal, dass reines Hochskalieren an Grenzen stößt.

3. Reasoning-Durchbrüche

Der zentrale Trend der Periode:

• DeepSeek R1 (Jan 2025): Bewies, dass Reasoning-Fähigkeit rein durch Reinforcement Learning (GRPO-Algorithmus) ohne Supervised Fine-Tuning entstehen kann – mit spontanem „Aha-Moment“ (Selbstkorrektur). Open-Weight und dadurch ein globaler Schock.
• Claude 3.7 Sonnet (Feb 2025): Erstes „hybrides“ Modell – schnelle Antworten oder (umschaltbar) „Extended Thinking“ mit sichtbaren Denk-Tokens. Nutzer können ein „Thinking Budget“ setzen.
• o3 / o4-mini (April 2025): Reasoning „mit Bildern“ – erstmals konnten Bilder direkt in die Denkkette einfließen.
• Gemini 2.5 (März 2025) & Deep Think: Google machte „Thinking“ zum Standard; Deep Think erwägt mehrere Hypothesen parallel.
• GPT-5 (Aug 2025): Vereinheitlichung – ein Router entscheidet automatisch zwischen schneller Antwort und tiefem Reasoning.

Test-Time-Compute (Inference-Time-Scaling) ist das Prinzip dahinter: Mehr Rechenzeit zum Antwortzeitpunkt = bessere Ergebnisse.

4. Multimodalität

Google Veo 3 (Mai 2025) war das erste Modell mit synchronem nativem Audio. OpenAI Sora 2 (Sep 2025) galt als „GPT-3.5-Moment für Video“ mit deutlich verbesserter Physiksimulation. Gemini 3 Pro erreichte 81% auf MMMU-Pro und 87,6% auf Video-MMMU.

5. Agentic AI / Agenten-Fähigkeiten

Die zweite große Anwendungsrevolution:

• Computer Use: Bis Nov 2025 galt Claude Opus 4.5 als „bestes Modell der Welt für Coding, Agenten und Computer Use“.
• Coding-Agenten: Claude Code entwickelte sich zum führenden agentischen Coding-Tool – Nutzer verbringen laut Anthropic im Schnitt 20 Stunden/Woche damit (~400.000 Sessions ausgewertet).
• Langzeit-Autonomie: Claude Opus 4 arbeitete laut Rakuten 7 Stunden am Stück an Code; Sonnet 4.5 schaffte 30+ Stunden autonomes Coding.
• Parallele Agenten: Grok 4 Heavy startet 5 Agenten parallel; GPT-5.1-Codex-Max und Google Antigravity sind agentische Coding-Plattformen.

6. Effizienz-Durchbrüche

Laut Epoch AI fiel der Preis für ein gegebenes Benchmark-Leistungsniveau bei Frontier-Modellen etwa 5- bis 10-fach pro Jahr; für GPT-4-Niveau auf GPQA sogar rund 40-fach pro Jahr (Median über alle Aufgaben ~50×). Claude Opus 4.5 kostete bei Release nur noch $5/$25 pro Mio. Token – 67% weniger als Opus 4.1. Claude Haiku 4.5 erreichte 90% der Coding-Leistung von Sonnet 4.5 bei 4-5× höherer Geschwindigkeit. DeepSeek V3 wurde für ~5,6 Mio. USD reine Trainings-GPU-Kosten trainiert (14,8 Bio. Token, FP8) – nur die finalen Pre-Training-Kosten, nicht die Gesamtinvestition.

7. Neue Trainingsmethoden

• RL mit verifizierbaren Belohnungen (RLVR): Statt eines gelernten Reward-Modells wird eine deterministische Prüffunktion genutzt (Mathe-Ergebnis korrekt? Code besteht Tests?). Wurde 2025 zum dominanten Paradigma für Reasoning-Modelle.
• GRPO (Group Relative Policy Optimization): DeepSeeks Algorithmus, der ein separates Critic-Modell einspart – speichereffizienter als PPO, De-facto-Standard für RLVR.
• Synthetische Daten & Agentic Task Synthesis: DeepSeek V3.2 nutzte eine „Large-Scale Agentic Task Synthesis Pipeline“, um Reasoning in Tool-Use-Szenarien zu integrieren.
• Constitutional AI / Alignment: Claude 4 nutzt 65% seltener Abkürzungen/Schlupflöcher als Sonnet 3.7.

8. Benchmark-Fortschritte

Coding (SWE-bench Verified)

Anmerkung: Anthropic gab für Claude 3.7 Sonnet 62,3% ohne bzw. 70,3% mit Custom-Scaffold an.

Weitere Benchmarks

9. Zukunftsausblick

• AGI-Zeitpläne verschoben und unsicherer: Das „AI 2027“-Team verschob im Nov-2025-Update seine Prognosen – Median-Schätzungen bewegten sich Richtung ~2030 bzw. ~2035, u.a. wegen des „underwhelming launch of GPT-5“. Dario Amodei bleibt optimistisch (2026-27), Demis Hassabis nennt ~50% Chance bis 2030.
• Neue Skalierungsdimension: Fokus verschob sich von Pre-Training-Scaling zu Test-Time-Compute-Scaling und RL-Scaling. Grok 4 nutzte erstmals RL auf Pretraining-Skala.
• Grenzen aktueller Ansätze: ARC-AGI-2/3 zeigen, dass Modelle bei wirklich neuartigen Aufgaben weiterhin scheitern.
• Anthropic „Mythos“-Klasse: Neue Tier oberhalb von Opus (Mythos > Opus > Sonnet > Haiku). Claude Fable 5 und Mythos 5 (Juni 2026) sind dasselbe Modell – Fable mit vollen Sicherheits-Klassifikatoren, Mythos mit gelockerten Schutzmaßnahmen für vertrauenswürdige Partner.
• Chinesische Open-Weight-Aufholjagd: DeepSeek V3.2-Speciale erreichte Gemini-3-Pro-Niveau; Kimi K2/K3 und Qwen drängen mit Modellen bis in den Billionen-Parameter-Bereich an die Spitze.

Empfehlungen für Entscheider und Anwender

1. Jetzt auf agentische Coding- und Reasoning-Modelle setzen. SWE-bench stieg von 49% auf 80,9% in ~13 Monaten. Sobald ein Modell >80% bei akzeptablen Kosten erreicht (bereits eingetreten), lohnt der produktive Einsatz.
2. Modell-Routing statt Einzelmodell. Reasoning-schwere Aufgaben an Thinking-Modelle, Hochvolumen an günstige/schnelle Modelle, Coding an spezialisierte Agenten.
3. Open-Weight-Modelle ernsthaft prüfen. DeepSeek, Qwen und Kimi sind inzwischen frontier-nah bei einem Bruchteil der Kosten – relevant ab >100 Mio. Token/Monat oder bei Datenschutzanforderungen.
4. Benchmarks kritisch lesen. AIME/GPQA sind gesättigt. Achten Sie auf ARC-AGI-2, HLE, SWE-bench Pro und eigene, aufgabenspezifische Evaluierungen.
5. AGI-Hype vom operativen Nutzen trennen. Planen Sie mit Fähigkeitsspannen, nicht mit AGI-Jahreszahlen.

Caveats

• Schnelllebigkeit: Release-Kadenz ist extrem; konkrete Modellversionen und Ranglisten ändern sich im Wochentakt.
• Quellenqualität: Für sehr aktuelle Modelle (Fable 5/Mythos 5, GPT-5.x, Gemini 3.x, Opus 5) stammen viele Details aus Sekundärquellen, nicht immer aus offiziellen Primär-Announcements.
• Benchmark-Vergleichbarkeit: HLE- und ARC-Werte variieren je nach Tool-Nutzung und Multimodalität; Cross-Vergleiche mit Vorsicht genießen.
• Kostenangaben: o3-ARC-AGI-Kosten wurden mehrfach revidiert; die „5–10×/Jahr“-Schätzung hat große Spannbreite (9× bis 900×).
• Marketing vs. Realität: Aussagen wie „von AGI nicht zu unterscheiden“ (Grok 5) sind Herstellerprognosen, keine belegten Fakten.
• DeepSeek-Trainingskosten: ~5,6 Mio. USD sind nur die finalen Pre-Training-GPU-Kosten; Gesamtinvestitionen lagen laut SemiAnalysis im Milliardenbereich.