> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/de/2025/w28-the-bitter-lesson.md).

# W28-The Bitter Lesson

Erst kürzlich begriff ich das Gewicht des kurzen Essays „The Bitter Lesson“. Sutton veröffentlichte ihn 2019 auf seinem persönlichen Blog. Er fasst die wichtigste Lehre aus siebzig Jahren KI-Forschung zusammen: Fortschritt entsteht vor allem durch allgemeine Methoden, die Rechenleistung umfassend nutzen können, nicht durch spezielle Verfahren, die auf menschlichem Expertenwissen beruhen. Als Beispiele nennt er Spracherkennung, natürliche Sprachverarbeitung und Computervision. Frühe Ansätze entwarfen Merkmale und Regeln meist anhand von Expertenwissen. Spätere statistische Verfahren und Deep Learning waren ihnen weit überlegen.

Ähnlich entwickeln sich komplexe Systeme und Intelligenz insgesamt. Nicht menschlicher Entwurf ist entscheidend, sondern Mechanismen, die sich an die Umgebung anpassen, selbst etwas entdecken und sich erweitern können.

Ich stieß auch auf ein 2019 erschienenes Buch: „The Deep Learning Revolution“. Terrence Sejnowski gehört zu den frühen Förderern neuronaler Netze und entwickelte gemeinsam mit Hinton die Boltzmann-Maschine. Er ist eine gewichtige Stimme. Das Buch war damals schon populär. AlphaZeros Ergebnisse hatten in Wirtschaft und Politik breite Aufmerksamkeit für KI geweckt. BERT und GPT waren dagegen noch Fachbegriffe für Insider. Das Buch erwähnt sie nicht einmal.

Damals kaufte ich im Sog der Aufmerksamkeit eine gedruckte Ausgabe. Obwohl es ein populärwissenschaftliches Buch ist, wirkte vieles fern, wenn man im Alltag wenig Berührung damit hatte. Ich kam nicht richtig hinein. Heute fühlt sich die erneute Lektüre ganz anders an. Die damalige Aufmerksamkeit wirkt rückblickend eher wie ein besonderes Interesse als ein wirklicher Durchbruch in die breite Öffentlichkeit. Gerade deshalb ist es heute spannend. Nachdem ich die KI-Entwicklung dieser Jahre miterlebt habe, sind viele Namen und Begriffe plötzlich vertraut. Frühere Episoden lassen sich mit späteren Entwicklungen verbinden.

Das ist eine eigentümliche Erfahrung. Was damals fremd und abstrakt wirkte, ist heute etwas, das ich verstehen und besprechen kann.