> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/fr/2025/w45-thoughts-from-participating-in-a-data-compression-competition.md).

# W45-Impressions après un concours de compression de données

J'ai participé au concours de compression de données d'une petite communauté de grands modèles et rendu mon travail en un peu plus d'une demi-journée. Il faudra attendre les autres résultats pour connaître son niveau. Mais la vitesse de réalisation avec la programmation par IA est vraiment impressionnante.

J'ai utilisé Codemap de Windsurf et compris très vite le dépôt. La plupart des produits de programmation par IA se concentrent sur la sortie et négligent le fait que les humains lisent plus lentement et de manière plus désordonnée. Quand la génération approche du temps réel, la latence de l'acquisition cognitive devient un nouveau goulot. Codemap et DeepWiki renforcent cette entrée et aident les ingénieurs à construire rapidement un modèle mental.

La théorie de l'information fonde la compression. L'information définie par Shannon mesure la réduction de l'incertitude : plus l'incertitude est forte, plus l'entropie est grande. La véritable charge informative est ce qui réduit efficacement cette incertitude. Le prévisible et le répétitif sont redondants. La compression cherche à réduire cette redondance et à améliorer l'efficacité du codage.

En découvrant le sujet, j'ai envisagé trois voies, correspondant à trois niveaux de compression.

**La première est la compression sémantique, par résumé structuré.** Elle analyse les données de façon classique et élimine les répétitions. C'est la méthode de mon rendu, avec trois stratégies principales :

1. Agréger les listes : consommation, comportement ou lieux sont regroupés par fenêtre temporelle ou par type, en ne gardant que les indicateurs essentiels, comme le nombre de commandes, le panier moyen ou les jours de présence.
2. Résumer la sémantique : les textes, conversations ou recherches sont analysés par expressions régulières et motifs pour extraire des indices utiles tels que top\_issues et top\_keywords.
3. Nettoyer de façon uniforme : des outils communs comme safe\_json\_list, l'analyse des dates et la normalisation des champs permettent de compresser et d'interpréter des données sales de sources différentes dans un même cadre.

**La deuxième est la compression par codage, optimisée au niveau des symboles.** Les probabilités statistiques servent à construire une table plus efficace, avec des symboles courts pour les contenus fréquents, comme dans le codage de Huffman. Mais ces données sont destinées à un LLM. S'il ne connaît pas ce système de symboles, il ne comprendra pas. Fournir les règles de codage ne réduirait probablement pas le contexte, puisque le modèle devrait aussi effectuer la traduction. Cette méthode exigerait donc de réentraîner un modèle spécialisé, à un coût très élevé.

**La troisième est la compression par l'ingénierie, dans la direction du Context Engineering.** En production, économiser le contexte par la seule compression des données n'est qu'une stratégie. Le Context Engineering en ouvre d'autres\*\*.\*\* Faire écrire les requêtes au modèle, lui faire appeler des outils comme le RAG, utiliser les statistiques obtenues en entrée puis ajouter un algorithme à fort taux de compression devrait multiplier l'effet final.