> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/fr/2025/w28-the-bitter-lesson.md).

# W28-The Bitter Lesson

Je n'ai découvert que récemment le poids de ce court texte, *The Bitter Lesson*. Publié en 2019 sur le blog personnel de Sutton, il résume la principale leçon de soixante-dix ans de recherche en intelligence artificielle : les progrès décisifs viennent des méthodes générales capables d'exploiter pleinement le calcul, et non de techniques particulières fondées sur le savoir des experts humains. Il prend pour exemples la reconnaissance vocale, le traitement du langage et la vision par ordinateur. Les premières recherches dépendaient surtout de caractéristiques et de règles conçues par des spécialistes ; les méthodes statistiques puis l'apprentissage profond ont obtenu des résultats bien supérieurs.

L'évolution des systèmes complexes et de l'intelligence suit globalement la même logique. Elle dépend moins d'une conception humaine que de mécanismes capables de s'adapter à l'environnement, de découvrir par eux-mêmes et de s'étendre.

J'ai aussi repris un livre publié en 2019, *The Deep Learning Revolution*. Son auteur, Terrence Sejnowski, est l'un des premiers promoteurs des réseaux neuronaux et a inventé la machine de Boltzmann avec Hinton. C'est une autorité reconnue. Le livre était déjà très populaire à l'époque : les résultats d'AlphaZero avaient attiré l'attention des marchés et des décideurs sur l'IA. BERT et GPT n'étaient encore que des noms connus des spécialistes ; le livre ne les mentionne même pas.

J'avais acheté l'édition papier en suivant cet engouement. Bien qu'il s'agisse de vulgarisation, sans contact régulier avec le domaine, le sujet me paraissait éloigné et j'avais du mal à entrer dans la lecture. Aujourd'hui, l'impression est toute différente. Avec le recul, l'intérêt de l'époque ressemblait davantage à une attention particulière qu'à une véritable diffusion dans le grand public. C'est aussi ce qui rend la lecture intéressante aujourd'hui. Après avoir vécu ces années de développement de l'IA, beaucoup de noms et de termes me sont devenus familiers, et de nombreux épisodes font écho aux évolutions ultérieures.

C'est une expérience singulière. Ce qui paraissait alors étranger et abstrait devient un objet que l'on peut comprendre et discuter.