> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/de/2025/w45-thoughts-from-participating-in-a-data-compression-competition.md).

# W45-Erfahrungen aus einem Wettbewerb zur Datenkompression

Ich nahm am Datenkompressionswettbewerb der kleinen Community für große Modelle teil und reichte nach etwas mehr als einem halben Tag ein. Wie gut mein Ergebnis ist, wird sich im Vergleich zeigen. Die Geschwindigkeit mit KI-Programmierung war jedenfalls beeindruckend.

Mit Windsurfs Codemap verstand ich das Repository schnell. Die meisten KI-Programmierprodukte konzentrieren sich auf die Ausgabe und übersehen, dass Menschen langsamer und weniger geordnet lesen. Wenn Generierung nahezu in Echtzeit erfolgt, wird die Verzögerung beim menschlichen Verstehen zum neuen Engpass. Werkzeuge wie Codemap und DeepWiki verstärken die Eingabeseite und helfen Ingenieuren, schnell ein mentales Modell aufzubauen.

Die theoretische Grundlage der Datenkompression ist Informationstheorie. Shannons Informationsbegriff misst die Beseitigung von Unsicherheit. Je größer die Unsicherheit, desto höher die Entropie. Nur was Unsicherheit wirksam beseitigt, ist eigentliche Informationslast. Vorhersagbare und wiederholte Teile sind Redundanz. Kompression soll diese reduzieren und die Codierung effizienter machen.

Nach Erhalt der Aufgabe kamen mir drei Ansätze auf unterschiedlichen Ebenen.

**Der erste ist semantische Kompression durch strukturierte Zusammenfassungen.** Daten gewöhnlich analysieren und Redundanz entfernen. Diesen Ansatz nutzte meine Einreichung. Die wichtigsten Strategien:

1. Listen aggregieren: Lange Listen zu Konsum, Verhalten und Orten nach Zeitfenstern oder Typen zusammenfassen. Nur zentrale Kennzahlen wie Bestellzahl, durchschnittlicher Bestellwert und Aufenthaltstage bleiben erhalten.
2. Semantisch verdichten: Aus Textdaten wie Gesprächen und Suchanfragen mithilfe regulärer Ausdrücke und Muster wertvolle Hinweise wie top\_issues und top\_keywords gewinnen.
3. Einheitlich bereinigen: Allgemeine Werkzeuge wie safe\_json\_list, Datumsparser und Feldnormalisierung verwenden, um unsaubere Daten verschiedener Quellen in einem gemeinsamen Rahmen zu komprimieren und zu erklären.

**Der zweite ist Codierungskompression durch Optimierung auf Symbolebene.** Statistische Wahrscheinlichkeiten erzeugen effizientere Zuordnungen. Häufige Inhalte erhalten kürzere Symbole, ähnlich der Huffman-Codierung. Das Problem: Die komprimierten Daten sollen an ein Sprachmodell gehen. Kennt es das Symbolsystem nicht, versteht es sie nicht. Selbst wenn die Regeln mitgeliefert werden, dürfte der Kontextaufwand kaum sinken. Dann muss das Modell auch noch übersetzen. Dieser Ansatz würde daher das teure Training eines eigenen Modells verlangen.

**Der dritte ist Kompression durch Engineering im Rahmen von Context Engineering.** Im praktischen Betrieb ist Datenkompression nur eine Strategie, um Kontext zu sparen. Unter Context Engineering finden sich weitere wirksame Ansätze\*\*.\*\* Das Modell könnte Abfragen schreiben, Werkzeuge wie RAG aufrufen und die gewonnenen Statistiken als Eingabe verwenden. Zusammen mit stark komprimierenden Algorithmen dürfte sich die Wirkung vervielfachen.