In der Fachwelt für künstliche Intelligenz zeichnet sich eine bedeutende Wende ab. Rich Sutton, ein einflussreicher KI-Forscher und Turing-Preisträger, hat öffentlich die Grenzen von rein auf Skalierung basierenden großen Sprachmodellen (LLMs) anerkannt. Diese Äußerung markiert einen Wendepunkt in einer Debatte, die bisher von der Annahme dominiert wurde, dass größere Modelle automatisch zu besserer KI führen.
Suttons neue Position deckt sich mit der langjährigen Kritik von Forschern wie Gary Marcus und Yann LeCun. Der Konsens unter den führenden Experten verschiebt sich nun hin zur Notwendigkeit neuer Ansätze, die über die reine Vergrößerung von Rechenleistung und Datenmengen hinausgehen.
Wichtige Erkenntnisse
- Meinungsänderung: Rich Sutton, bekannt für seine These, dass Skalierung der Schlüssel zum KI-Fortschritt ist, äußert nun Zweifel an diesem Ansatz.
- Wachsender Konsens: Führende KI-Wissenschaftler wie Yann LeCun und Demis Hassabis teilen die Ansicht, dass LLMs grundlegende Einschränkungen haben.
- Fokus auf neue Methoden: Die Diskussion verlagert sich von der reinen Skalierung hin zur Entwicklung von KI-Systemen mit Weltmodellen und besseren Schlussfolgerungsfähigkeiten.
- Zukünftige Forschungsrichtungen: Ansätze wie Reinforcement Learning und neurosymbolische Systeme rücken als mögliche Lösungen in den Vordergrund.
Die überraschende Wende eines Vordenkers
Rich Sutton gilt als eine der zentralen Figuren in der modernen KI-Forschung. Sein 2019 veröffentlichter Essay „The Bitter Lesson“ (Die bittere Lektion) wurde zu einer Art Manifest für Befürworter großer Sprachmodelle. Darin argumentierte er, dass der größte Fortschritt in der KI historisch nicht durch von Menschen entworfene, komplexe Algorithmen erzielt wurde, sondern durch die massive Skalierung von Rechenleistung und allgemeinen Lernmethoden.
Diese These lieferte die theoretische Grundlage für die Entwicklung immer größerer LLMs, wie sie heute von Unternehmen wie OpenAI und Google vorangetrieben werden. Die Kernaussage war klar: Mehr Rechenleistung führt fast immer zu besseren Ergebnissen als clevere, aber begrenzte Algorithmen.
Ein Umdenken wird öffentlich
Vor diesem Hintergrund sorgte eine kürzliche Äußerung Suttons in einem bekannten Podcast für großes Aufsehen. Laut einer Zusammenfassung des Gesprächs, die vom KI-Forscher Gary Marcus verbreitet wurde, hat Sutton seine Position grundlegend überdacht. Er betont nun die Grenzen von reinen Vorhersagemodellen und die Notwendigkeit, dass KI-Systeme ein Verständnis der Welt – sogenannte Weltmodelle – entwickeln müssen.
Was ist "The Bitter Lesson"?
In seinem einflussreichen Essay argumentierte Rich Sutton 2019, dass die KI-Forschung immer wieder dieselbe Lektion lernt: Allgemeine Methoden, die Rechenleistung nutzen, übertreffen auf lange Sicht immer Ansätze, die auf menschlichem Wissen und spezifischen Annahmen basieren. Dies wurde zur Rechtfertigung für die massive Skalierung von LLMs.
Gary Marcus, einer der prominentesten Kritiker der reinen Skalierungs-Hypothese, zeigte sich von Suttons Wandel überrascht. Er kommentierte, dass Suttons neue Aussagen fast wortgleich seine eigene, seit Jahren geäußerte Kritik widerspiegeln. „Wenn die LLM-Gemeinde Sutton verloren hat – und wenn Sutton genau wie ich klingt – ist das Spiel vorbei“, so Marcus.
Ein wachsender Konsens in der KI-Forschung
Suttons Meinungsänderung ist kein Einzelfall. Sie ist Teil eines breiteren Trends, bei dem immer mehr führende Persönlichkeiten der KI-Branche die fundamentalen Schwächen aktueller Sprachmodelle anerkennen. Diese Modelle sind zwar in der Lage, beeindruckend kohärente Texte zu generieren, ihnen fehlt jedoch ein echtes Verständnis von Kausalität, Logik oder der physischen Welt.
Zu den prominenten Stimmen, die schon länger auf diese Probleme hinweisen, gehören:
- Yann LeCun: Ein weiterer Turing-Preisträger und leitender KI-Wissenschaftler bei Meta. Er kritisiert seit Ende 2022 verstärkt die Abhängigkeit von LLMs und fordert die Entwicklung von Architekturen, die auf Weltmodellen basieren, um kausale Zusammenhänge zu verstehen.
- Sir Demis Hassabis: Der CEO von Google DeepMind hat ebenfalls betont, dass der Weg zu allgemeiner künstlicher Intelligenz (AGI) mehr erfordert als nur das Skalieren bestehender Modelle.
Die Grenzen reiner Vorhersage
Große Sprachmodelle funktionieren, indem sie das wahrscheinlichste nächste Wort in einer Sequenz vorhersagen. Dieser Ansatz ermöglicht es ihnen, Sprache zu imitieren, aber nicht, die Bedeutung dahinter wirklich zu verstehen. Kritiker argumentieren, dass dies zu unzuverlässigen, fehlerhaften und manchmal unsinnigen Ergebnissen führt, da die Modelle kein internes Modell der Realität besitzen.
Die wachsende Übereinstimmung unter diesen einflussreichen Forschern deutet darauf hin, dass die KI-Community an einem Wendepunkt steht. Die anfängliche Euphorie über die Fähigkeiten von LLMs weicht einer nüchterneren Einschätzung ihrer Grenzen. Laut Marcus sind es „praktisch nur noch Scharlatane“, die behaupten, die alleinige Skalierung von LLMs sei ausreichend.
Wie sieht die Zukunft der KI aus?
Während sich die Experten zunehmend einig über die Probleme sind, gehen die Meinungen über die besten Lösungsansätze noch auseinander. Die Debatte verlagert sich von der Frage, ob LLMs begrenzt sind, zu der Frage, wie diese Grenzen überwunden werden können.
„Wir sind uns über die Probleme sehr einig; weniger über die Lösungen. Wir beide würden die Notwendigkeit von Weltmodellen und die Grenzen der reinen Vorhersage stark betonen.“ - Gary Marcus über die Gemeinsamkeiten mit Rich Sutton.
Zwei vielversprechende Wege
Zwei Hauptrichtungen kristallisieren sich in der aktuellen Diskussion heraus:
- Reinforcement Learning (Bestärkendes Lernen): Dieser Ansatz, der von Forschern wie Rich Sutton favorisiert wird, konzentriert sich darauf, dass KI-Systeme durch Interaktion mit ihrer Umgebung und durch Belohnungen lernen. Dies könnte ihnen helfen, ein besseres Verständnis von Ursache und Wirkung zu entwickeln.
- Neurosymbolische Ansätze: Von Forschern wie Gary Marcus bevorzugt, kombinieren diese Methoden die Stärken von neuronalen Netzen (Lernen aus Daten) mit denen der klassischen symbolischen KI (Logik, Regeln und Wissen). Ziel ist es, Systeme zu schaffen, die sowohl lernen als auch schlussfolgern können.
Es ist wahrscheinlich, dass eine Kombination aus beiden Ansätzen notwendig sein wird. Sowohl Sutton als auch Marcus betonen die zentrale Bedeutung von Weltmodellen – internen Repräsentationen der Realität, die es einer KI ermöglichen, Aktionen zu planen und deren Konsequenzen vorherzusehen.
Die aktuelle Entwicklung zeigt, dass die Ära der reinen, unhinterfragten Skalierung von Sprachmodellen zu Ende gehen könnte. Die nächste Phase der KI-Forschung wird sich wahrscheinlich darauf konzentrieren, robustere, zuverlässigere und verständigere Systeme zu bauen. Die Investitionen, die bisher fast ausschließlich in LLMs flossen, könnten sich bald auf diese neuen, hybriden Ansätze verteilen.
