Kurzfassung
Sechs Befunde und ein Rat.
- Neu ist die Schnittstelle, nicht die Idee. Jev nimmt einen Zustand (Text oder JSON) und typisierte Fragen entgegen und antwortet in einem parallelen Durchgang mit typisierten Antworten samt Wahrscheinlichkeiten, ohne einen Satz Text.[1, 2] TypeSafe nennt das ein „System-One-Modell“, nach Kahnemans schnellem Denken.
- Strukturiert arbeiten heißt zerlegen. Der Code behält den Kontrollfluss, das Modell beantwortet kleine, klar umrissene Fragen, und die Konfidenz entscheidet, ob automatisch gehandelt, nachgefragt oder eskaliert wird.[3, 4]
- Tempo und Preis sind real, die Schlagzeilenfaktoren Bestwerte. Der Hersteller nennt bis zu 193,6× schneller und 444,6× günstiger. Unabhängig gemessen reicht das Tempo je nach Vergleichsmodell von langsamer bis rund 18×, die Kosten von teurer bis rund 480×, typisch liegen sie zwischen 4× und 30×.[5, 6, 7]
- Qualität: Mittelklasse auf umrissenen Aufgaben, hinter der Spitze bei Ableitung. In einer Studie mit 7.977 Items lag das Modell in 14 von 15 Aufgaben hinter dem besten Sprachmodell (Median −11,6 Makro-F1), bei im Median 44-fach geringeren Kosten.[8] Gleichauf liegt es bei Zweiklassen-Entscheidungen wie Spam und beim Reranking.[5]
- Die Konfidenz taugt als Rangfolge, nicht als Prozentwert. Bei 1,00 stimmt sie meist (97,1 % bei 1.516 Fällen), in der Mitte ist sie zu optimistisch (angegeben 0,81, tatsächlich 53 %), und ohne relevante Information vergibt Jev bis zu 0,80 auf eine auffällige Option.[6, 9] Mit 50 bis 300 eigenen Labels lässt sich das kalibrieren.[10, 5]
- Die Kategorie ist in zwei Wochen entstanden. Integrationen bei Vercel, Cloudflare, OpenRouter und LangChain, Open-Source-Nachbauten wie Laya, und am 30. September kündigte OpenAI eine Decisions API an. Jev selbst bleibt proprietär, ohne veröffentlichte Gewichte und ohne SLA.[11, 7, 12, 13, 14]
Was gemeint ist, und was nicht
Im Alltag heißt vieles „Entscheidungsmodell“. Gemeint ist hier eine bestimmte, neue Bauart: Das Modell bekommt einen Zustand und Fragen mit erlaubter Antwortmenge und liefert für jede Frage eine Verteilung über genau diese Antworten. Es erzeugt keinen Text.
Der Name stammt von Daniel Kahnemans Unterscheidung zwischen schnellem, intuitivem System-1-Denken und langsamem, abwägendem System-2-Denken. Sprachmodelle mit langen Gedankenketten entsprechen dem zweiten. „Jev“ erinnert an William Stanley Jevons: Wird Intelligenz billiger, wächst die Nachfrage so stark, dass die Gesamtausgaben steigen.[15] Daher auch der Slug dieser Seite: Jev als Gehirn der ersten Ebene, der Reflexbogen, der handelt, bevor die Großhirnrinde einen Satz formuliert hat.
Ist Jev ein LLM?
Von der Schnittstelle her nicht: keine Texterzeugung, keine Gedankenkette, keine Erklärung.[2] Wie es innen gebaut ist, bleibt offen. TypeSafe spricht von einer neuen Architektur, einem „parallelen Sampler“ und einer eigenen Trainingsmethode; Größe, Gewichte und Trainingsdaten sind unveröffentlicht.[15, 16] Laut TechCrunch vermuten Beobachter ein offenes Sprachmodell als Unterbau, CEO Almeida ließ das offen.[11] Für die Praxis zählt: kein Text, ein Durchgang.
Was nicht gemeint ist
- Prompt-Frameworks wie DecisionFlow, STRUX oder Doc2AHP. Sie bringen Sprachmodelle durch strukturiertes Schließen zu besseren Entscheidungen (DecisionFlow berichtet bis zu 30 % Genauigkeitsgewinn gegenüber Prompting-Baselines), bleiben aber textgenerierende Modelle.[17]
- Structured Outputs und JSON-Modus. Sie begrenzen das Format erzeugten Textes; das Modell schreibt weiter Token für Token. Ein Entscheidungsmodell legt den Antwortraum vor der Inferenz fest und erzeugt nichts.[14, 18]
- Decision Transformer und Entscheidungsmodelle der Operations Research: eine andere Baustelle.
Drei Wochen, die eine Kategorie machten
Zwischen dem 15. September und dem 1. Oktober 2026 wurde aus einer Produktankündigung eine Kategorie. Die Farbe des Punktes zeigt, wer berichtet: rosa der Hersteller, blau Dritte.
- TypeSafe AI tritt nach zwei Jahren im Verborgenen auf und startet Jev im Early Access.[15] Gründer und CEO ist Diogo Almeida, zuvor bei OpenAI.[11] Die Seed-Runde von rund 40 Millionen US-Dollar führt laut The Next Web DCVC an.[11]
- Vercel nimmt Jev in sein AI Gateway auf, bis zum 25. September kostenlos. Binnen 24 Stunden nutzen rund 13 % der zahlenden Teams das Modell; bei keinem früheren Start lag der Wert nach einem Tag über 7 %.[11, 19]
- Das Projekt Jev Ultrafast zeigt einen Browser-Agenten, der eine Google-Flights-Suche in 7,1 Sekunden erledigt.[20] Laya erscheint als erster Open-Source-Nachbau unter Apache 2.0,[13] OpenRouter listet Version 1.13, Netlify, LangChain und Cloudflare binden Jev an.[7, 12]
- Die ersten Studien erscheinen auf arXiv: Textannotation in den Sozialwissenschaften (21.9.), Jev als Richter (22.9.), Pentest-Harness (24.9.) und ein Kalibrierungs-Datensatz (28.9.).[8, 21, 22, 23]
- Eine Sammelauswertung zählt nach acht Tagen 14 Preprints, 104 Repositories und 33 Blogbeiträge zu Jev.[5] Towards Data Science testet an 3.080 Banking-Nachrichten.[6]
- Auf dem DevDay kündigt OpenAI eine Decisions API an: GPT-6 Luna wird auf eine vorgegebene Antwortliste festgelegt, Eingabe als Text oder Bild, zunächst Limited Preview. Auf der Folie stehen 150 ms gegen 1,6 s.[14, 24]
- Ein Audit zeigt, dass die Konfidenz Wissenslücken nicht verlässlich anzeigt.[9] OpenRouter meldet aus dem Echtbetrieb Median 0,21 s, P95 0,34 s und P99 0,75 s.[14]
So arbeitet man damit: Anatomie eines Aufrufs
Am einfachsten stellt man sich den Aufruf als Formular vor. Ein Sprachmodell schreibt einen Aufsatz, Wort für Wort; Jev setzt Kreuze an vorgegebene Stellen, alle gleichzeitig.[25] Man liefert einen Zustand und stellt Fragen, und jede Frage legt vorab fest, welche Antworten erlaubt sind. Es gibt drei Fragetypen, die TypeSafe Primitive nennt.
| Primitiv | Man fragt | Man legt fest | Man bekommt |
|---|---|---|---|
| Choice | Welche dieser Optionen? | 1 bis 255 Optionen, jede mit Beschreibung | gewählte Option, Wahrscheinlichkeit je Option, confidence |
| Score | Wo liegt das auf dieser Skala? | 2 bis 10 geordnete Stufen mit Beschreibung | gewichteter Wert (kann zwischen Stufen liegen), Verteilung, confidence |
| Noul | Trifft das zu? | eine Aussage, optional Kriterien | Wahrscheinlichkeit für „ja“; kein confidence-Feld; nahe 0,5 heißt „weiß nicht“ |
Quellen: API-Referenz und OpenRouter-Erklärung.[1, 26] „Noul“ ist vermutlich von Bernoulli abgeleitet.
Eine Anfrage besteht aus model, state und questions. Der Zustand darf Text, ein Objekt oder ein Array sein, Fragen können per Pfad auf Felder zeigen.[1, 3] Das Beispiel routet ein Support-Ticket, misst die Dringlichkeit und prüft, ob eine Erstattung verlangt wird:
POST https://api.typesafe.ai/v1/systemone
Authorization: Bearer <API_KEY>
{
"model": "jev-latest",
"state": { "ticket": "Ich wurde zweimal belastet und will mein Geld zurück.",
"kunde_seit_tagen": 45 },
"questions": {
"team": { "type": "choice", "instructions": "Welches Team ist zuständig?",
"criteria": { "billing": "Zahlungen, Rechnungen, Erstattungen",
"technik": "Fehler, Ausfälle, Bedienung",
"andere": "passt in keine Kategorie" } },
"dringend": { "type": "score", "instructions": "Wie dringend ist das Anliegen?",
"criteria": ["niedrig", "mittel", "hoch"] },
"erstattung": { "type": "noul", "instructions": "Verlangt die Person eine Erstattung?",
"criteria": { "true": "ja", "false": "nein" } }
}
} {
"model": "jev-1.13…",
"answers": {
"team": { "type": "choice", "choice": "billing",
"probabilities": { "billing": 0.88, "technik": 0.12, "andere": 0 },
"confidence": 0.81 },
"dringend": { "type": "score", "score": 1.05,
"legend": { "0": "niedrig", "1": "mittel", "2": "hoch" },
"probabilities": { "0": 0, "1": 0.95, "2": 0.05 },
"confidence": 0.92 },
"erstattung": { "type": "noul", "noul": 0.95 }
},
"usage": { "input_tokens": 170, "output_tokens": 0 }
} jev-latest, TypeSafe rät in der Praxis zu festen Versionen.[7]Abgerechnet werden nur Eingabe-Token: 0,042 US-Dollar je Million, die Ausgabe ist gratis. Der Kontext fasst 32.000 Token, akzeptiert werden Text, JSON und Arrays, keine Bilder.[2, 14] Eine typische Anfrage mit drei Fragen verbraucht rund 450 Token, das sind etwa 0,002 Cent; eine Million solcher Anfragen kostet ungefähr 19 Dollar.[26]
Sechs Regeln aus der Praxis
- Der Code behält den Kontrollfluss. Regeln, Seiteneffekte und Ablauf bleiben im Programm; das Modell beantwortet nur, was sich nicht ausrechnen lässt.[3]
- Atomare Fragen statt einer großen. Statt „Ist das Spam?“ getrennt nach Passwortabfrage, Absender-Unstimmigkeit, unerwartetem Gewinn und Zeitdruck fragen; gewichtet wird im Code.[3] Unabhängig bestätigt: Beim Phishing-Test stieg die Trefferquote durch Zerlegung plus logistische Regression von 62,6 auf 95,0 %.[27, 28]
- Alle Fragen in einen Aufruf. Sie laufen parallel über denselben Zustand, ohne sich zu beeinflussen; fünf Fragen kosten ungefähr so viel wie eine.[3, 29]
- Den Zustand schmal halten. Nebensächliches wirkt als Ablenker und senkt die Genauigkeit.[30]
- Einen Ausweg anbieten. Ohne „andere“ oder „unbekannt“ wählt Jev die am wenigsten falsche Option; im Test mit der Kantinen-Frage wurde es „sales“ mit 0,31.[31]
- Die Version festnageln. Aliase wie
jev-latestwandern, Schwellen gelten nur für die Version, an der sie kalibriert wurden.[7, 12]
Schwellen-Labor: gleiche Antworten, andere Politik
Das Modell liefert nur Zahlen. Wer daraus handelt, entscheidet die Schwelle, und die lässt sich je Aktion wählen. Schieben Sie τ und sehen Sie, wie dieselben vier Antworten anders verteilt werden.
- Zuständiges TeamChoice · Konfidenz 0,93Reflex: Der Code handelt.
- RisikostufeScore · Konfidenz 0,88Reflex: Der Code handelt.
- Automatisch erstatten?Noul · p(ja) 0,19, also Konfidenz für „nein“ 0,81Zweitmeinung: zweite Frage oder kleines LLM.
- Droht mit Kündigung?Noul · p(ja) 0,45, also Konfidenz 0,55 (frei ergänzt)Weiter an System Two oder an einen Menschen.
Automatisch: 2 von 4 · Zweitmeinung: 1 · System Two oder Mensch: 1
Die Balken laufen von Konfidenz 0,50 bis 1,00. Rosa Zone: Der Code handelt. Violett: Zweitmeinung, hier bis 0,15 unter der Schwelle. Blau: weiter an System Two oder an einen Menschen. Die ersten drei Werte sind angelehnt an ein Beispiel von Paper Compute (Rückerstattung am Tag 45 bei 30-Tage-Frist), der vierte ist frei ergänzt.[29] Für Noul gibt es kein confidence-Feld; hier gilt max(p, 1−p) als Konvention, nicht als Vorgabe von TypeSafe. Die Bänder der Dokumentation (unter 0,6 zum Menschen, bis 0,85 bestätigen lassen, darüber automatisch) sind ein Beispiel, kein Standard.[4]
Was dahintersteckt
Warum ein Durchgang genügt
Ein Sprachmodell erzeugt Token für Token, und jedes hängt vom vorigen ab. Wer nur wählen muss, kann die erlaubten Optionen stattdessen direkt bewerten. Victor Dibia zeigt das an einem offenen 7B-Modell: Jede Option wird über die Wahrscheinlichkeiten ihrer Token bewertet und anschließend normalisiert; das war 7- bis 54-mal schneller, als die Wahrscheinlichkeiten generieren zu lassen. Der Vorteil schrumpft mit der Optionszahl und kehrt sich bei 77 Optionen um.[32] Das ist kein Hexenwerk, und deshalb ließ es sich mit den Logits bestehender Modelle nachbauen.[33]
Was TypeSafe darüber hinaus behauptet
- Eine eigene Architektur. Die Rede ist von einem neuen Aufbau mit „parallelem Sampler“. Nach Aussage des CEO sind Strings und alle sequenziellen Datenstrukturen als Ausgabe gar nicht erlaubt, damit sich alles parallel berechnen lässt.[15, 32]
- Ein eigenes Trainingsziel: RLCD. Reinforcement Learning for Calibrated Decisions belohnt ehrliche Wahrscheinlichkeiten, so wie RLHF menschliche Vorlieben und RLVR prüfbare Korrektheit belohnt. Wer 99 % sagt und danebenliegt, wird hart bestraft, wer 55 % sagt, kaum.[15, 25] Die Modellkarte von Laya beschreibt ihre eigene RLCD-Variante mit strikt eigentlichen Scoring-Regeln (Log-Loss, sphärischer Verlust) und REINFORCE; TypeSafes Methode selbst ist unveröffentlicht.[13]
- Nur synthetische Daten. TypeSafe versteht sich als „Data Lab“, kuratiert Trainingsdaten von Hand und trainiert nach eigener Aussage nicht mit Kundendaten.[16, 34]
| Öffentlich bekannt | Nicht veröffentlicht |
|---|---|
| Schnittstelle und die drei Fragetypen | Architektur und Parameterzahl |
| Grenzen: 255 Optionen, 10 Stufen, 32.000 Token | ob ein offenes Sprachmodell zugrunde liegt (Beobachter vermuten es)[11] |
| Preis und Versionsnummer (1.13) | Trainingsdaten und RLCD im Detail |
| neun dokumentierte Schwächen[30] | Gewichte, Self-Hosting, Hosting-Region |
Kalibrierung in zwei Sätzen
Ein Modell ist kalibriert, wenn von allen Antworten mit angegebenen 80 % tatsächlich rund 80 % stimmen, wie bei einer guten Regenvorhersage. Üblich ist, das nachträglich mit Temperaturskalierung oder isotonischer Regression zurechtzurücken; RLCD will es schon im Training erreichen.[32, 10, 28]
Die Beweislage
Fast alles, was über Jev bekannt ist, ist drei Wochen alt. Ich halte Herstellerangaben (rosa) und unabhängige Messungen (blau) getrennt. Eine Sammelauswertung von 14 Preprints, 104 Repositories und 33 Blogbeiträgen, nach Belegstärke gestuft, kommt zu einem nüchternen Bild: auf Augenhöhe mit Mittelklasse-Modellen, hinter der Spitze. Der sichtbare Beitrag sei die Verpackung aus typisierter API, einem Endpunkt, kostenloser Ausgabe und vielen Fragen je Eingabe.[5]
Tempo und Kosten
Die Schlagzeilenfaktoren (193,6× schneller, 444,6× billiger) gelten für einen Aufbau, nämlich Jev gegen Opus 5 in einem Workflow; über alle Aufbauten gemittelt bleiben rund 98× und 149×.[5] Unabhängig gemessen streuen die Faktoren je nach Vergleichsmodell stark, von langsamer und teurer bis weit über 100×.
Wie viel schneller ist Jev?
Logarithmische Skala. Die dicke Linie bei 1× bedeutet gleichauf; links davon ist Jev im Nachteil. Rosa Rauten sind Herstellerangaben, blaue Punkte und Balken unabhängige Messungen.
Wie viel günstiger?
Gleiche Skala. Die Annotationsstudie nennt im Abstract einen Median von 44-fach geringeren Kosten, vermutlich gegenüber dem jeweils besten Sprachmodell; die Sammelauswertung rechnet im Median über alle 19 Modelle mit 18,6×.[8, 5]
Warum der Faktor so schwankt: Bei Sprachmodellen sind Ausgabe-Token der größte Posten, in einem Workload 83 % der Rechnung, und Jev berechnet keine.[5] Gegen schnelle oder lokale Modelle bleibt wenig übrig. TypeSafe nennt die Vorbehalte seines Benchmarks selbst: Die Workflows baute das eigene Team, als Referenz dient der Durchschnitt aus GPT-6 Astra und Fable 5.1 (gemessen wird also Übereinstimmung, nicht Wahrheit), die Vergleichsmodelle liefen über den eigenen Adapter, und der Preis sei womöglich subventioniert.[15] Im Herstellerbenchmark erreicht Jev 67,8 % bei 0,0004 Dollar und 0,4 s je Fall, GPT-5.6 Terra 67,9 % bei 0,0304 Dollar und 10,1 s, Opus 5 73,1 % bei 0,1761 Dollar und 37,8 s.[35]
Genauigkeit
Die belastbarsten Zahlen stammen aus Studien mit Handlabels und aus Tests, die eigene Daten verwenden. Der Balken am Zeilenanfang zeigt die Herkunft.
| Quelle | Aufbau | Ergebnis | Vorbehalt |
|---|---|---|---|
| Ibrahim & Zaki, arXiv[8] | 18 Annotationsaufgaben, 7.977 Items, Zero-Shot gegen 19 Sprachmodelle | Hinter dem besten Modell in 14 von 15 Aufgaben (Median −11,6 Makro-F1), bei im Median 44-fach geringeren Kosten; über Konfidenz 0,9 Median-Trefferquote 0,815 | Bei Empathie-Erkennung hohe Konfidenz auf Zufallsniveau |
| Li u. a., arXiv[21] | Jev als Richter, 1.610 Held-out-Paare, 16 Vergleichsrichter | Drei Punkte hinter GPT-6, wo das Urteil im Text steht; die Kaskade übertrifft GPT-6 um 0,9 Punkte | Schwach bei Mathe, Code, Logik und stil-adversarialen Paaren |
| Towards Data Science[6] | Banking77, 3.080 Nachrichten, gegen Qwen3-Coder | 81,1 % gegen 76,4 % (Abstand +4,7 Punkte) | Latenz 245 gegen 249 ms, aber verschiedene Messbasis |
| Sophos[28] | CLINC150 (200), Banking77 (208), Phishing (2.000 synthetische Mails) | 87 % gegen 92 % (GPT-5.6 Terra); 83 % gegen 93 % (supervidierter Klassifikator); Phishing 63 % gegen 81 % (Haiku 4.5) | Zerlegt in schmale Fragen plus logistische Regression: 95 % |
| Sammelauswertung[5] | 14 Preprints, 104 Repositories, 33 Beiträge | Jev 72,5 % (ECE 0,161) gegen Fable 5.1 84,0 % (0,064); Spam 98,33 % gegen 98,39 % (TF-IDF); Reranking NDCG 0,692 gegen 0,691 | Zweitquelle, Einzelwerte nicht einzeln geprüft |
| MindStudio[31] | Jev 1.13.0, acht synthetische Anfragen | Negation korrekt („keine Erstattung“: 98 % auf 3 %) | Kleine Stichprobe |
| TypeSafe[15, 35] | vier eigene Workflows | 67,8 % gegenüber GPT-5.6 Terra mit 67,9 % | Referenz ist der Durchschnitt zweier Modelle |
Das Muster dahinter:
- Wo die Antwort im Text steht und die Optionen wenige sind, ist Jev konkurrenzfähig: als Richter, bei Spam, Reranking und Prompt-Injection-Erkennung (96,5 % gegen 93,0 % für ein unbehandeltes 7B-Modell).[21, 5, 32]
- Wo die Antwort abgeleitet werden muss (Mathe, Code, Logik, Zählen, Daten) oder viele Klassen im Spiel sind, fällt Jev zurück.[21, 30, 5]
- Auf Aufgabenlabels trainierte offene Modelle schlugen Jev laut Sammelauswertung bei Mehrklassen- und nicht englischen Aufgaben überall, wo es versucht wurde.[5]
Kalibrierung: Die Konfidenz ist ein Rang, kein Prozentwert
TypeSafe wirbt mit kalibrierten Wahrscheinlichkeiten und nennt Fehler von 0,002 bis 0,047 in einem japanischen Benchmark.[6] Unabhängig gemessen liegt der Kalibrierfehler bei 0,157 bis 0,161, über dem dreier Frontier-Modelle (0,066 bzw. 0,064).[8, 5] Das Diagramm zeigt, wo es hakt.
Angegebene Konfidenz gegen tatsächliche Trefferquote
- Banking77, Choice (TDS)
- CLINC150, Choice (Sophos)
- Sentiment, Noul (anth.us)
- Sentiment, Choice (anth.us)
- hohl: Gesamtmittel
- Herstellerangabe: ECE 0,002–0,047
- überkonfident
Datentabelle zum Diagramm
| Test | Band | angegeben | tatsächlich | Fälle |
|---|---|---|---|---|
| Banking77 · Choice (TDS) | Band 0,7–0,9 | 0,81 | 0,53 | – |
| Banking77 · Choice (TDS) | exakt 1,00 | 1,00 | 0,971 | 1.516 |
| CLINC150 · Choice (Sophos) | exakt 1,0 | 1,0 | 0,941 | 102 |
| Sentiment · Noul (anth.us) | 60–80 % | 0,707 | 0,543 | – |
| Sentiment · Noul (anth.us) | 90–95 % | 0,90–0,95 | 0,959 | – |
| Sentiment · Noul (anth.us) | über 95 % | > 0,95 | 1,000 | 2.104 |
| Sentiment · Choice (anth.us) | oberstes Bucket | 0,994 | 0,902 | 5.559 |
| Sentiment · Choice (anth.us) | unter 95 % | < 0,95 | 0,50–0,57 | – |
| Sentiment · Noul (anth.us) | Gesamtmittel | 0,790 | 0,723 | – |
| Sentiment · Choice (anth.us) | Gesamtmittel | 0,914 | 0,761 | – |
Messpunkte aus drei unabhängigen Tests. Aufgaben und Bandgrenzen unterscheiden sich, die Punkte sind nicht gepoolt.[6, 28, 10] Das rosa Band zeigt, was die Herstellerangabe (ECE 0,002–0,047) als typische Abweichung bedeutet.
- Ganz oben stimmt es. Bei Konfidenz 1,00 lag Jev in 97,1 % von 1.516 Fällen richtig;[6] im Sentiment-Test waren alle 2.104 Antworten über 95 % korrekt.[10] Auch dort gibt es Fehler: 44 im Banking77-Test, sechs von 102 bei CLINC150.[6, 28]
- In der Mitte ist sie zu optimistisch. Angegeben 0,81, tatsächlich 53 % (Banking77); angegeben 70,7 %, tatsächlich 54,3 % (Sentiment, Noul). Bei Choice unter 0,95 war die Trefferquote praktisch flach bei 50 bis 57 %.[6, 10]
- Ohne Information gibt es trotzdem Zuversicht. Fehlt jede relevante Angabe, vergibt Jev bis zu 0,80 auf eine auffällige Option; bei Nachrichten jenseits der Trainingsgrenze lag die Konfidenz um 0,21 bis 0,33 über der Trefferquote.[9] Hinter binären Choice-Antworten sitzt offenbar ein unterdrückter dritter Zustand „unbekannt“: Rechnet man ihn ein, steigt die weiche Trefferquote von 0,771 auf 0,978.[23]
- Reparieren lässt es sich. Isotonische Regression senkte den Kalibrierfehler im Sentiment-Test von 0,117 auf 0,008; schon 200 Labels brachten ihn auf 3,8 Punkte, 500 auf 2,6.[10] Die Sammelauswertung empfiehlt 50 bis 300 eigene Labels.[5] Neu kalibrieren muss man bei jeder Änderung von Wortlaut, Datenquelle oder Modellversion.[10]
- Gezielte Gegenfragen helfen. Ob die Information für eine Antwort ausreicht, erkannte eine eigene Ja/Nein-Frage besser als die Konfidenz (AUROC 0,95 gegen 0,85), solange Oberflächenhinweise vorhanden sind.[9]
Kaskaden: Wann Eskalation hilft
„Sicher, dann handeln; sonst weitergeben“ ist der Kern des Konzepts. Die Belege sind gemischt:
- Als Richter übertraf die Kaskade zu GPT-6 das große Modell allein um 0,9 Punkte und erreichte Gleichstand bei 41 % der Gebühr.[21]
- Bei der Textannotation erreicht oder übertrifft das Weiterreichen unsicherer Fälle an ein Sprachmodell dessen Alleinleistung bei einem Viertel bis der Hälfte der Kosten.[8]
- Aber: Im Banking77-Test der Kaskade von Jev zu Qwen3-Coder behob das stärkere Modell 84 Fehler und baute 211 neue ein.[6] Niedrige Konfidenz zeigt, dass die Aufgabe schwierig ist, nicht dass das nächste Modell sie löst.
- Und: Zerlegen schlägt Eskalieren. Der Phishing-Test sprang von 62,6 auf 95,0 %, als Jev viele schmale Fragen beantwortete und eine logistische Regression sie kombinierte.[27, 28]
Wo es bricht
| Fehlermodus | Beleg | Gegenmaßnahme |
|---|---|---|
| Antwort steht nicht zur Wahl | Ohne „andere“ wählt Jev „sales“ bei 0,31;[31] bei einem Bias-Test ohne „unbekannt“ waren alle Antworten falsch bei 0,79[5] | „andere“ oder „unbekannt“ immer anbieten |
| Fehlende Information | Bis 0,80 ohne jede Angabe;[9] 83 % Zuversicht für ein 17-%-Würfelergebnis[5] | Gegenfrage „Reicht das zum Beantworten?“; Kalibrierung |
| Reihenfolge und Benennung | Frühere Optionen werden bevorzugt;[30] Tauschen der Rubriknamen änderte 32,5 % der Antworten, bei neutralen Namen 2 %[5] | Optionen mischen, neutral benennen, mehrfach fragen |
| Rechnen, Zählen, Daten | Offiziell dokumentierte Schwäche[30] | Im Code rechnen, Jev nur extrahieren lassen |
| Andere Sprachen | Russisch (XNLI) von 88,3 auf 77,3 %; Spanisch 3 bis 6 Punkte weniger[5] | Eigene Tests, ggf. offenes Modell feintunen |
| Ablenkender Kontext | Unwichtiges wirkt als Distraktor[30] | Zustand filtern |
| Steuernde Texte (Injection) | Kein Standard-Misstrauen gegen eingeschleuste Anweisungen;[30] ein bestandener Test beweist wenig[31] | Eingaben als nicht vertrauenswürdig kennzeichnen, gezielt testen |
| Mittlere Konfidenz | Angegeben 0,81, tatsächlich 53 %[6] | Isotonisch kalibrieren, Bänder an Labels festlegen |
Rosa Balken: vom Hersteller selbst dokumentiert. Blaue Balken: unabhängig beobachtet.
Das Umfeld: Open Source und die Großen
Innerhalb von zwei Wochen hat sich um Jev eine kleine Szene gebildet. Kai Waehner, der Jev aus Enterprise-Sicht einordnet, hält fest, dass schnelle Verbreitung noch keine Validierung ist: Die Kategorie sei bewiesen, wenn mehrere Anbieter konkurrierende Entscheidungsmodelle liefern.[12] Die ersten Kandidaten gibt es.
OpenAI Decisions API
Am 30. September kündigte OpenAI auf dem DevDay eine Decisions API an: eine Frage mit endlich vielen Antworten, Kontext als Text oder Bild, zurück kommt eine Auswahl.[14, 24] Sie läuft auf GPT-6 Luna, das laut Sam Altman auf eine vorgegebene Optionsliste festgelegt wird. Das ist eher eingeschränkte Inferenz eines Sprachmodells als ein eigens gebautes Entscheidungsmodell.[14] Auf der Folie stehen 150 ms gegen 1,6 s für einen normalen Luna-Aufruf. Schema, Preis und die Frage, ob Wahrscheinlichkeiten zurückkommen, waren zum Zeitpunkt der Quellen unveröffentlicht; Kommentatoren nennen sie einen dünnen Aufsatz auf Luna ohne Kalibrierung.[14, 24] Ein Plus gegenüber Jev ist die Bildeingabe.
Offene Nachbauten
| Projekt | Unterbau | Größe | Besonderheit |
|---|---|---|---|
| Laya (ConvAI Innovations) | ModernBERT-large; mmBERT-base mehrsprachig | 421 M; 322 M | Apache 2.0; Server mit Jev-kompatibler Schnittstelle; Basis-Checkpoints brauchen Feintuning[13] |
| Kev (Jared Palmer) | Qwen3.5, LoRA, Pointer-Head | 0,8 / 4 / 9 B | Implementiert TypeSafes /v1/systemone-Vertrag; nach einer öffentlichen Jev-Rekonstruktion gebaut[33] |
| Nimble (Bespoke Labs) | Qwen3.5-9B, LoRA, liest Logits der Kandidaten | 9 B | In der Sammelauswertung nahe an Jev (75,9 gegen 77,3 % auf 13 Sets), ohne unabhängige Prüfung[33, 5] |
| Von (wfzyx) | ModernBERT mit OptionMarker, Temperaturskalierung | 395 M | Gleiche Primitive, gleiches Protokoll, läuft auch auf CPU[33] |
| NanoJev (TianyuCodings) | Qwen3-0.6B mit eigenen Entscheidungsköpfen | 0,6 B | Für CPU und Browser gedacht[33] |
| SemIf (TheoLeeCJ) | trainingsfrei, Logits von Qwen3.5-4B | 4 B | Experiment; dient auch als Vergleichsbasis in der Kalibrierungsstudie[33, 23] |
| Rizzo Flow (Rizzo AI Academy) | Spark-X2.5 mit llama.cpp, Zustand einmal verarbeitet und gecacht | n. a. | CUDA, Apple Silicon oder CPU[33] |
Die Qualität ist sehr unterschiedlich. Laya sagt selbst, dass seine Basis-Checkpoints zero-shot nahe am Zufall liegen (0,362 gegenüber 0,461 für die Mehrheitsklasse) und Feintuning brauchen. Feingetunt erreicht es 0,766 auf dem eigenen Benchmark und schlägt Jev dort (0,727), während Jev bei Banking77 mit vielen Klassen klar vorne liegt (0,870 gegen 0,425). Der Latenzvergleich der Autoren (rund 33 bis 40 ms auf einer T4 gegen 236 bis 276 ms für Jev) setzt lokale Inferenz gegen einen Netzwerkaufruf.[13] Waehner betont, dass sich die kalibrierte Konfidenz bisher öffentlich nicht gleichwertig nachbauen ließ.[12]
Wann Jev, wann nicht
Entscheidungen im Code lassen sich auf vier Werkzeuge verteilen, so ordnet es Waehner ein.[12]
| Werkzeug | Antwortzeit | Braucht Labels? | Stark bei | Schwach bei |
|---|---|---|---|---|
| Regeln | Mikrosekunden | nein | exakter, aufzählbarer Logik | unscharfen Eingaben |
| Trainiertes ML-Modell | Millisekunden | ja, plus Neutraining | stabilen Aufgaben mit hohem Volumen | wechselnden Kriterien, neuen Fragen |
| System-One-Modell (Jev) | 0,1 bis 0,5 s im Netz | nein; 50 bis 300 zum Kalibrieren | unscharfen Eingaben mit bekannter Antwortmenge, mehreren Fragen je Fall | Ableitung, exakten Zahlen, Erklärungen |
| Sprachmodell | Sekunden | nein | Erklären, Schreiben, offenen Problemen | Kosten und Tempo bei Massenentscheidungen |
Daraus ergibt sich ein Lebenszyklus: Eine neue Entscheidung startet beim Decision Model, weil es noch keine Labels gibt. Das Protokoll wird zum Datensatz. Stabile, hochvolumige Teile wandern in trainierte Modelle, die wechselhaften bleiben beim Decision Model, Erklärung und Offenes bleiben beim Sprachmodell.[12]
Gute Einsatzfelder
- Tor vor Werkzeugaufrufen. LangChain liefert eine Middleware, die Tool-Aufrufe screent, bevor sie laufen.[7]
- Routing und Absichtserkennung für Tickets, Anfragen, Modellwahl.[36, 26]
- Richter und Leitplanken für Sprachmodell-Ausgaben, mit Kaskade zu einem großen Modell.[21, 15]
- Reranking und Extraktion in Suche und Pipelines.[5, 31]
- Echtzeitschleifen mit vielen kleinen Entscheidungen: die Doom-Demo mit zehn Abfragen pro Sekunde, der Browser-Agent Jev Ultrafast, in dem Jev Operation und Ziel aus einer nummerierten Elementtabelle wählt und ein kleines Sprachmodell nur den Text zum Tippen schreibt.[15, 20]
- Massenklassifikation im Batch oder im Strom, etwa in Datenplattformen.[12]
Weniger geeignet
- Exakte Rechen-, Datums- und Zähllogik, lange verrauschte Kontexte und alles, wofür Code die Antwort berechnen kann.[30]
- Texterzeugung und Aufgaben, die ein Argument brauchen; Eingaben mit Bildern (Jev nimmt nur Text).[14]
- Autonome Entscheidungen mit hohen Folgen, solange die öffentliche Evidenz dafür fehlt.[37]
- Pflichten zur Begründung und Nachvollziehbarkeit ohne Eskalationspfad.[19, 12]
- Latenzbudgets unter 50 ms.[12]
- Nicht englische Texte ohne eigene Prüfung.[5]
Playbook: In sieben Schritten zur ersten Entscheidung
- Rechnen, was sich rechnen lässt. Beträge, Daten und Zählungen gehören in Regeln. Jev bekommt nur das Unscharfe.
- Den Zustand schmal halten. Nur Felder, die für die Frage zählen; auf Felder per Pfad zeigen statt alles einzukippen.[3]
- Die Frage zerlegen. Eine Frage, eine Sache. Aggregiert wird im Code, als gewichtete Summe oder als Merkmale für ein kleines klassisches Modell; so sprang der Phishing-Test von 62,6 auf 95,0 %.[3, 27]
- Einen Ausweg einbauen. „andere“ oder „unbekannt“ bei Choice; bei Unsicherheit über die Datenlage eine eigene Frage „Reicht die Information?“, die Wissenslücken besser erkannte als die Konfidenz.[9]
- Eigene Wahrheit sammeln. 50 bis 300 gelabelte Fälle inklusive Grenzfällen, isotonisch kalibrieren, Schwellen je Aktion nach der Schadensfolge wählen.[10, 5, 4]
- Schattenmodus, dann Schwellenautomatik. Parallel zur bestehenden Logik laufen lassen; Optionen mischen und die Streuung messen; Injection-Texte testen; erst dann automatisieren.[14, 28]
- Austauschbar bauen. Adapter mit stabilem Schema, Version festnageln, bei jeder Änderung von Wortlaut, Daten oder Modellversion neu kalibrieren, einen lokalen Ersatz (Laya, Kev) bereithalten.[14, 10, 12]
| Feld | Beispiel |
|---|---|
| Entscheidung | Welches Team bearbeitet das Ticket? |
| Fragetyp und Wortlaut | Choice: „Welches Team ist zuständig?“ |
| Antwortmenge | billing, technik, andere |
| Zustand | ticket.nachricht, kunde.tarif, sonst nichts |
| Schwellen | ab 0,90 automatisch; 0,60 bis 0,90 Zweitmeinung; darunter Mensch |
| Eskalationsziel | Sprachmodell-Klassifikator, danach Mensch |
| Metriken | Fehlerquote im automatischen Band, Anteil automatisiert, Kosten je 1.000 Fälle |
| Prüfdaten | 300 gelabelte Fälle, Datum, Modellversion |
Risiken und offene Fragen
- Reife und Abhängigkeit. Jev ist proprietär, ohne veröffentlichte Gewichte und ohne Self-Hosting.[26, 36] Zunächst gab es eine Warteliste, inzwischen gilt es laut Firecrawl als allgemein verfügbar.[18, 14] Waehner nennt kein SLA, nur eine Modellversion, Ratenlimits, die sich ohne Vorwarnung ändern können, und Schwellen, die sich nicht von Version zu Version übertragen.[12] Der Eden-AI-Endpunkt ist ausdrücklich Alpha.[36] TypeSafe räumt ein, nicht belegen zu können, dass der Preis nicht subventioniert ist.[15]
- Das Jevons-Paradox der Entscheidungen. Nash Borges von Sophos überträgt es auf Sicherheit: Werden Entscheidungen so billig, dass man sie überall automatisiert, summieren sich auch kleine Fehlerquoten zu mehr absoluten Fehlern. Sein Rat: Kalibrierung, Trennschärfe und Entscheidungspolitik getrennt prüfen, Schwellen je Frage auf einem eigenen Kalibrierset wählen und Fehlentscheidungen, Arbeitslast und Gesamtkosten an einem unberührten Testset messen.[28]
- Manipulierbarkeit. Jev hat keine Standardabwehr gegen eingeschleuste Anweisungen oder irreführende Rahmung im Zustand;[30] wer Nutzertext einspeist, braucht gezielte Tests.
- Fehlende Begründung. Es gibt keine Rationale. Ned Bellavance weist darauf hin, dass die Erklärbarkeit leidet;[19] Armin Ronacher (Earendil) beschreibt es so, dass Jev das Halluzinationsproblem ein Stück weit an die Entwickler weiterreicht: Wer bei 50 % Konfidenz handelt, trägt das selbst.[11, 7] Für autonome Entscheidungen mit hohen Folgen reicht die öffentliche Evidenz laut Leonis bisher nicht.[37]
- Wettbewerb und Preisdruck. Laurie Voss (Arize) erwartete, dass große Labs schnell nachziehen und Jev sich dann über den Preis behaupten muss;[19] mit OpenAIs Decisions API ist das nach 15 Tagen eingetreten, zunächst als Vorschau.[14]
- Dünne Evidenz. Vieles ist Blog-Niveau, die Herstellerbenchmarks tragen offen genannte Verzerrungen, TypeSafe lehnt öffentliche Benchmarks ab,[15, 16] und einige Zahlen dieses Berichts stammen aus der Sammelauswertung statt aus den Originalen.
TypeSafe nennt einen Datenverarbeitungsvertrag, Standard-Aufbewahrung, Zero Data Retention für Enterprise-Kunden und den Verzicht auf Training mit Kundendaten.[34] Hosting-Region und Unterauftragsverarbeiter nennen die gesichteten Seiten nicht; das wäre vor einem Einsatz mit personenbezogenen Daten zu klären.
Bei Entscheidungen über Personen mit rechtlicher oder ähnlich erheblicher Wirkung greift Art. 22 DSGVO, je nach Einsatzfeld kommen Pflichten aus dem EU AI Act dazu, deren aktuellen Stand man prüfen sollte. Ein Modell ohne Begründung verlangt deshalb menschliche Eskalationspfade und Dokumentation. Ein Muster von Waehner: gehostetes Modell für Unkritisches, intern betriebene offene Modelle mit identischem Schema für Sensibles.[12]
Fazit
Jev ist kein neues Gehirn, sondern ein sehr gut verpackter Reflex. Die Idee, Entscheidungen von der Textproduktion zu trennen, ist solide und nicht an Jev gebunden: Offene Nachbauten zeigen, dass man sie lokal und feingetunt umsetzen kann, und OpenAI zieht nach. Belegt ist vor allem der wirtschaftliche Nutzen bei begrenzten Aufgaben: schnell, billig, typsicher. Die Wahrscheinlichkeiten sind nützlich, solange man sie als Rangfolge versteht und an eigenen Daten kalibriert.
Wer so arbeitet, bekommt ein strukturiertes Werkzeug: kleine Fragen, getrennte Signale, ausdrückliche Schwellen, Eskalation als normaler Pfad statt als Notfall. Das ist der eigentliche Gewinn, und er überlebt auch dann, wenn am Ende ein anderes Modell die Antworten liefert.
Was ich als Nächstes prüfen würde
- Eine Schattenevaluation auf 300 eigenen gelabelten Fällen: Jev, ein feingetuntes Laya und das bisherige Verfahren nebeneinander, mit Kalibrierkurve je Frage.
- Dieselbe Frage dreimal mit gemischter Optionsreihenfolge stellen und die Streuung messen.
- OpenAIs Decisions API beobachten: Schema, Preis, ob Wahrscheinlichkeiten zurückkommen und ob Kalibrierung dokumentiert wird.
Quellen und Methode
Die Recherche beruht auf Websuche und Seitenabruf am 6. Oktober 2026. Die Seiten wurden über ein Abrufwerkzeug gelesen, das Inhalte zusammenfasst; Kernzahlen habe ich, wo mehrere Quellen existieren, gegeneinander geprüft. Eigene Messungen gibt es nicht. Die Herkunft jeder Quelle zeigt der Punkt: rosa Hersteller und herstellernahe Texte, blau alle anderen.
Wo sich Quellen widersprechen
- Seed-Runde: rund 40 Millionen Dollar laut The Next Web und anderen, 25,9 Millionen im Fließtext eines Dealroom-Artikels. Ich nenne „rund 40 Millionen“ nach The Next Web.
- Startdatum: InfoQ datiert die Ankündigung auf den 1. Oktober, alle übrigen auf den 15. September; der 1. Oktober ist offenbar das Artikeldatum.
- Kostenfaktor der Annotationsstudie: 44× im Abstract, 18,6× in der Sammelauswertung (Median über 19 Modelle).
- Laya-Latenz: 32,8 ms (mehrsprachig) und 39,5 ms (Englisch) auf einer T4, je nach Quelle und Checkpoint.
- Jev Ultrafast wird mancherorts als Modell beschrieben; laut README ist es ein Browser-Agent auf Basis von Jev.[20]
Quellenverzeichnis
- TypeSafe Docs: API-ReferenzHersteller Endpunkt, Frageschemata, Antwortfelder, Fehlercodes
- OpenRouter Docs: JevPlattform Modell-ID, Endpunkte, Kontext, Preismodell
- TypeSafe Docs: Building with System OneHersteller Entwurfsprinzipien, Zerlegung, Fan-out
- TypeSafe Docs: Confidence-Gated RoutingHersteller Konfidenzbänder und Schwellen
- DEV Community (xbill): Jev after eight days of independent testsSammelauswertung 14 Preprints, 104 Repos, 33 Posts; 24.9.2026
- Towards Data Science (Nhu Hoang): Jev vs. LLMsTest Banking77, 3.080 Nachrichten, 25.9.2026
- InfoQ: TypeSafe AI releases JevPresse Integrationen, Community-Reaktionen
- Ibrahim & Zaki: Evaluating Decision Models for Text Annotation in Computational Social Science (arXiv 2609.24574)Studie 21.9.2026
- Shankaranarayana, Runje, Jannink: Beyond Answer Confidence – Self-Knowledge in a Black-Box Decision Model (arXiv 2610.01006)Studie 1.10.2026
- anth.us: Can you trust Jev's confidence?Test Sentiment, 8.801 Beispiele, isotonische Kalibrierung
- The Next Web: The fastest-adopted model on Vercel this year cannot write a wordPresse Adoption, Seed-Runde, Ronacher-Zitat
- Kai Waehner: System One Models wie Jev in der Enterprise-ArchitekturAnalyse Vier Optionen, Lebenszyklus, Produktionsreife
- Hugging Face: convaiinnovations/laya (Modellkarte)Projekt Apache 2.0; Benchmarks der Autoren
- Firecrawl: OpenAI's Decisions API vs JevAnalyse Vergleich, OpenRouter-Telemetrie
- TypeSafe AI: Introducing System One Models & JevHersteller Launch-Beitrag von Diogo Almeida, 15.9.2026
- Latent Space: Jev – System One models for Prod, not God (Interview mit Diogo Almeida)Interview Herstellernah; Daten, RLCD, Roadmap
- DecisionFlow: Advancing Large Language Model as Principled Decision Maker (arXiv 2505.21397)Studie Abgrenzung: Prompt-Framework
- devtoollab: System One models and typed decisionsBlog Vergleich mit Structured Outputs
- TechTarget: Jev decision model touted as quicker, cheaper LLM alternativePresse Analystenstimmen (Omdia, Arize u. a.)
- GitHub: browser-use/jev-ultrafastProjekt Browser-Agent, Google-Flights-Lauf
- Li, Miao, Krishnan, Padman: JEV-as-a-Judge – Accept When Confident, Escalate When Unsure (arXiv 2609.26550)Studie 22.9.2026, v3 29.9.2026
- Barbosa: Calibrated Decision Models for Autonomous Penetration-Testing Harnesses (arXiv 2609.28940)Studie 24.9.2026; eine Fallstudie
- Porcedda: Jev thinks "I don't know", but doesn't say it – Sys1Cal-v1 (arXiv 2609.35342)Studie 28.9.2026
- Latent Space AINews: OpenAI DevDay 2026Presse DevDay 30.9.2026, Decisions API
- Outcome School: Jev and System One models explainedErklärer Aufsatz-vs.-Formular-Bild
- OpenRouter: What Is Jev?Plattform Primitive, Konfidenz-Deutung, Preisbeispiel
- GreenNode: What is Jev?Blog Phishing-Zerlegung 62,6 % → 95,0 %
- Sophos (Nash Borges): Jev's Paradox – the hidden cost of cheap AI decisionsTest CLINC150, Banking77, Phishing, Jevons-Argument
- Paper Compute: What is Jev?Erklärer Gateway-Rolle, Schwellenbeispiel Rückerstattung
- TypeSafe Docs: Bekannte Grenzen von Jev 1.13Hersteller Neun dokumentierte Fehlermodi
- MindStudio: Jev AI testedTest Hands-on mit Jev 1.13.0, acht Anfragen
- Victor Dibia: How Jev works – calibrated decision modelsErklärer Scoring statt Generieren, Experimente mit Qwen2.5-7B
- DataCamp: Top open-source Jev alternativesBlog Laya, Kev, Nimble, SemIf, Von, NanoJev, Rizzo Flow
- TypeSafe Docs: LegalHersteller DPA, Zero Data Retention, kein Training mit Kundendaten
- DataCamp: Jev – TypeSafe's System One model explainedBlog Herstellerbenchmark-Tabelle
- Eden AI: Jev – a new kind of AI model built for decisions, not conversationPlattform Alpha-Endpunkt /v3/alpha/decisions
- Leonis: Jev and the Rise of Decision ModelsAnalyse Marktthese, Grenzen für Hochrisiko-Einsatz
Glossar
- Zustand (State)
- Der Text, das Objekt oder Array, über das entschieden wird.
- Primitiv
- Fragetyp: Choice, Score oder Noul.
- Konfidenz
- Bei Choice und Score ein Maß dafür, wie stark sich die Verteilung auf eine Antwort konzentriert, nicht dafür, ob sie stimmt.
- Kalibrierung, ECE
- Ein Modell ist kalibriert, wenn angegebene Wahrscheinlichkeit und Trefferquote übereinstimmen. Der Expected Calibration Error misst die mittlere Abweichung.
- Isotonische Regression
- Nachträgliche Korrektur der Wahrscheinlichkeiten anhand eigener Labels, als Treppenfunktion.
- RLCD
- Reinforcement Learning for Calibrated Decisions, TypeSafes Trainingsziel für ehrliche Wahrscheinlichkeiten.
- System One, System Two
- Schnelle, intuitive Entscheidung und langsames, abwägendes Denken, nach Kahneman.
- Kaskade
- Erst das schnelle Modell fragen, bei Unsicherheit ein stärkeres.
- Schattenmodus
- Das neue Verfahren läuft mit, entscheidet aber noch nichts.