Reasoning-Modelle: Studie zeigt mögliche Grenzen der Skalierung auf

Reasoning Modelle, die darauf abzielen, menschliche Denkprozesse nachzuahmen, haben in sehr kurzer Zeit beeindruckende Fortschritte gezeigt. KI-Systeme wie OpenAIs Modell o3 zeigen bereits deutlich verbesserte Fähigkeiten im logischen Denken und Problemlösen. Doch hinter den Kulissen stellt sich für Fachleute die wichtige Frage, wie weit die aktuellen Trainingsmethoden für diese Modelle noch skaliert werden können. Eine aktuelle Analyse von Epoch AI kommt zu dem Schluss, dass weiteres Wachstum wahrscheinlich ist, aber möglicherweise an Grenzen stößt.

Was sind Reasoning Modelle und wie werden sie entwickelt?

Reasoning Modelle, darunter prominente Beispiele wie die Modelle o1 und o3 von OpenAI oder auch DeepSeek-R1, bauen auf einer etablierten Technologie auf: den großen Sprachmodellen (Large Language Models, LLMs). Diese Modelle werden zunächst in einem als „Pre-Training“ bezeichneten Prozess auf riesigen Text- und Datensätzen trainiert, um ein breites Wissen und Sprachverständnis zu erlangen.

Der entscheidende Schritt für die Entwicklung ihrer spezifischen Denkfähigkeiten ist jedoch eine nachfolgende Trainingsphase, die oft als Reasoning Training bezeichnet wird. Hierbei kommen häufig Techniken wie das Reinforcement Learning (RL) zum Einsatz, bei dem die Modelle Feedback zu ihren Lösungsversuchen bei schwierigen Aufgaben erhalten und daraus lernen, ihre Argumentations- und Problemlösungsstrategien zu verbessern. Aber auch andere Ansätze wie das Supervised Fine-Tuning (SFT) spielen eine Rolle, bei dem Modelle anhand von Beispielen für hochwertige Denkketten trainiert werden, oft unter Nutzung von synthetischen Daten, die von anderen fortgeschrittenen Reasoning Modellen generiert wurden.

Derzeitiger Stand der Skalierung

Historisch gesehen war die Steigerung der Rechenleistung, die für das Training von KI-Modellen aufgewendet wurde, ein Haupttreiber des Fortschritts. Bei Reasoning Modellen ist die Menge der speziell für das Reasoning Training eingesetzten Rechenleistung jedoch oft nicht öffentlich bekannt.

Laut OpenAI gab es beim o3-Modell einen zehnfachen Anstieg der eingesetzten Rechenleistung für das Reasoning Training im Vergleich zu o1, und das innerhalb von nur vier Monaten. Die Untersuchung von Epoch AI zeigt unter Berufung auf Daten von OpenAI, dass die Leistung auf Benchmarks wie AIME, einem anspruchsvollen Mathematikwettbewerb, mit dieser eingesetzten Rechenleistung korreliert und zunimmt.

Dario Amodei, CEO von Anthropic, sagte im Januar 2025, dass die für das Reasoning Training ausgegebenen Beträge bei allen Akteuren gering seien und dass die Unternehmen sehr schnell auf „Hunderte von Millionen oder Milliarden“ hochskalieren würden. Dies deutet laut der Analyse darauf hin, dass die bisherigen Kosten für das Training von Reasoning Modellen deutlich darunter lagen.

Verschiedene Schätzungen und Hinweise legen nahe, dass die Rechenleistung, die bisher für das Reasoning Training von Modellen wie o1 und wahrscheinlich auch o3 aufgewendet wurde, noch unter der Leistung der größten bisher durchgeführten gesamten KI-Trainingsläufe liegt. Sie sind jedoch wahrscheinlich auch nicht mehr Größenordnungen davon entfernt.

Schnelles Wachstum in Sicht, aber Grenzen absehbar

Die relativ niedrige Startbasis der Skalierung für das Reasoning Training lässt erwarten, dass wir in naher Zukunft ein weiteres Wachstum der Rechenleistung und damit auch der Fähigkeiten dieser Modelle erleben könnten. Die Leistungssteigerung scheint, ähnlich wie beim anfänglichen Pre-Training von LLMs, einer Gesetzmäßigkeit zu folgen, bei der die Performance mit zunehmender Rechenleistung steigt. Experten, darunter auch Forscher bei OpenAI und Brancheninsider wie Dario Amodei, sind optimistisch, dass die Skalierung schnell vorangetrieben werden kann und weitere signifikante Verbesserungen erzielt werden. Laut Epoch AI ist es sehr wahrscheinlich, dass o3 weder in Bezug auf die Skalierung noch auf die Fähigkeiten das Ende der Fahnenstange markiert.

Sollte sich die Skalierung des Reasoning Trainings ähnlich schnell fortsetzen wie der Sprung von o1 zu o3 (eine Verzehnfachung alle paar Monate), könnte diese Form des Trainings allerdings relativ bald die Grenze der insgesamt verfügbaren Rechenleistung erreichen. Sobald das Reasoning Training die Größenordnung des gesamten KI-Trainings erreicht hat, wird sich seine Wachstumsrate verringern und mit der allgemeinen Wachstumsrate für Trainings konvergieren, die derzeit laut Analyse bei etwa einer Vervierfachung pro Jahr liegt.

Herausforderungen und offene Fragen auf dem Weg

Das Skalieren von Reasoning Modellen ist nicht nur eine Frage der Bereitstellung von immer mehr Rechenleistung. Mögliche Einschränkungen könnten sich zum Beispiel aus der Knappheit geeigneter Daten ergeben. Es ist unklar, ob es genügend vielfältige und ausreichend schwierige Probleme gibt, oder ob diese synthetisch generiert werden können, um das Training weiterhin in großem Maßstab zu ermöglichen. Zudem ist ungewiss, wie gut das Reasoning Training auf komplexere, weniger klar definierte Bereiche außerhalb von Mathematik und Programmierung übertragbar ist.

Zum Problem könnte auch der Umstand werden, dass die tatsächlichen Gesamtkosten für die Entwicklung von Reasoning Modellen die direkten Trainingskosten übersteigen könnten. Die Entwicklung erfordert viel Forschung und Experimente, um die besten Techniken und Daten zu finden. Während die direkten Trainingskosten mit den Fähigkeiten korrelieren, könnte ein anhaltender hoher Forschungsaufwand die Skalierung beeinflussen.

Trotz dieser Unsicherheiten und potenziellen Hürden deuten die aktuellen Fortschritte und die optimistischen Einschätzungen von Branchenführern darauf hin, dass wir in den kommenden Monaten und Jahren weitere beeindruckende Verbesserungen bei den Fähigkeiten von Reasoning Modellen erwarten können. Diese werden voraussichtlich durch fortschreitende Skalierung sowie auch durch Innovationen bei den Daten und Algorithmen angetrieben.