Elon Musk gibt zu: Claude Fable ist besser als Grok 4.5

Elon Musk hat eingeräumt, dass das neueste Frontier Model von xAI, Grok 4.5, gegenüber Claude Fable unterlegen ist. Dabei trifft das nicht einmal für alle Bereiche zu. Grok kann vor allem bei komplexen Entwicklungsaufgaben punkten.

Mit Spannung wurde das Release von Grok 4.5 erwartet. Das neue Flaggschiff von xAI bietet eine enorme Leistung auf verschiedenen Ebenen.

Das Modell wurde in Zusammenarbeit mit Cursor auf zehntausenden NVIDIA GB300 GPUs trainiert. Beim Training lag ein besonderer Fokus auf der Filterung und Kuratierung der Daten wie Deduplizierung und Qualitätsbewertung sowie auf skaliertem Reinforcement Learning, um insbesondere mehrstufige technische Aufgaben effizient lösen zu können.

Grok 4.5 arbeitet mit einer Verarbeitungsgeschwindigkeit von 80 Tokens pro Sekunde (TPS). Zudem arbeitet es sehr sparsam; so benötigt es für die Lösung von Aufgaben im SWE Bench Pro durchschnittlich nur 15.954 Output-Token. Damit ist der Verbrauch 4,2-fach geringer  als beispielsweise bei Opus 4.8.

In technischen Benchmarks wie DeepSWE, Terminal Bench 2.1 und SWE Bench Pro reiht sich Grok 4.5 in die Leistungsklasse führender Modelle wie Fable, GPT 5.5 und Opus 4.8 ein.

Dennoch räumte Elon Musk auf X ein, dass Grok 4.5 gegenüber Claude Fable unterlegen sei. Er schrieb: „Um ehrlich zu sein: Fable ist definitiv besser als Grok 4.5, aber die meisten Aufgaben benötigen nicht die Leistung auf dem Niveau von Fable.“

Dabei schneidet Geo 4.5 bei manchen Aufgaben sogar besser ab als Fable. Das gilt insbesondere für komplexe Programmieraufgaben. Im „SWE Marathon“ Benchmark liegt Grok 4.5 mit 29 Prozent deutlich vor Fable max (24 Prozent).

Der Benchmark umfasst 20 weitreichende Aufgaben im Software Engineering. Jede der Aufgaben umfasst eine einzigartige Entwicklungsumgebung, eine von Menschen erstellte Referenzlösung und eine mehrschichtige Verifizierung. Bisher lösen Spitzensysteme unter den Coding-Assistenten selten mehr als 30 Prozent der Aufgaben.

Ein weiterer Vorteil von Grok 4.5 gegenüber Fable 5 ist der deutlich geringere Tokenverbrauch. Beim AutomationBench, der komplexe und abteilungsübergreifende Tätigkeiten wie zum Beispiel CRM, E-Mail oder die Verwaltung des Kalenders misst, erreicht Grok 4.5 nach Messung von Artificial Analysis bei der Leistung den ersten Platz noch vor Fable 5, und das bei weniger als einem Drittel der Kosten pro Aufgabe.

Der Wettkampf um das leistungsfähigste KI-Modell geht also weiter und wird sich wahrscheinlich weiter intensivieren. Das für heute angekündigte GPT-5.6 wird dazu beitragen.

Bleibt abzuwarten, wann Google mit Gemini nachlegen wird, um das es in letzter Zeit erstaunlich still war.