> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/zh-hant/2026/w29-the-boundary-between-loop-engineering-and-rsi.md).

# W29-Loop Engineering 和 RSI 的邊界

最近 Loop Engineering 和 RSI 都很熱。它們表面上很像，都是讓 AI 進入一個循環：提出方案，執行，驗證，記錄，再進入下一輪。

它們的相似點在形式，差異在對象。

**Loop Engineering 是把工作交給循環。RSI 是把改進循環本身的能力也交給循環。**

**前者主要優化執行系統，後者開始觸碰能力生成系統。這是兩者最重要的邊界。**

### Loop Engineering 的本質是運行時設計

過去我們使用 AI，大多還停留在對話模式。人提出問題，AI 返回答案。結果不好，人再補上下文、改 prompt、重新要求一次。

這套模式的核心操作仍然是人持續提示 AI。AI 是工具，人坐在駕駛位上。

Loop Engineering 把這個關係往上推了一層。人開始設計一個小系統，讓它自己決定下一條 prompt 應該是什麼。

一個典型 loop 至少包含幾件事：

第一，有觸發條件。它可以是定時任務、CI 失敗、issue 進入隊列，也可以是某個目標沒有達成。

第二，有狀態。Agent 不能每次都從零開始。它需要記住前一次嘗試了什麼，失敗在哪裡，哪些路徑已經被排除。

第三，有工具。它要能讀代碼、改文件、跑測試、看日誌、提交 diff。

第四，有驗證器。測試、lint、build、benchmark、外部 evaluator，必須有東西能拒絕壞結果。

第五，有停止條件。預算、輪數、時間、人工審批，都要明確。

所以 Loop Engineering 更接近運行時設計：上下文怎麼進入，工具怎麼調用，結果怎麼驗證，狀態怎麼沉澱，權限怎麼收口。

這也是為什麼最近很多人說，工程師的槓桿點從 prompt 移到了 loop。真正值錢的是一個可重複、可驗證、可回滾的工作流。

### RSI 的對象更深一層

RSI，也就是 Recursive Self-Improvement，討論的是另一個層級的問題。

Lilian Weng 在《Harness Engineering for Self-Improvement》裡把 RSI 的傳統定義追溯到 I. J. Good 和 Yudkowsky：一個系統用自己已有的智能去改進產生智能的機制。現代語境裡，這個機制不一定只是模型權重，也可以包括訓練流程、數據生成、評估系統、部署 harness 和研究流程。

Anthropic 在《When AI builds itself》裡也用了類似框架：今天 AI 已經能加速模型公司的工程和研究工作；如果繼續往前走，AI 可能參與設計和訓練自己的後繼模型。但 Anthropic 也明確說，完整 RSI 還沒有發生，也不是必然發生。

這裡的關鍵是循環改的對象。

如果一個 agent 每天自動修 lint、升級依賴、修復簡單 CI 失敗，它是在自動化工作。

如果一個 agent 能改自己的工作流，讓下一輪更會修 CI，它開始進入自我改進的 harness。

如果這個改進進一步作用到模型訓練、研究決策、實驗搜索、數據生成，並讓下一代模型更強，再由更強模型繼續改進下一代，這才接近 RSI 的核心問題。

所以我會把邊界畫在這裡：

**Loop Engineering 關心任務吞吐。RSI 關心能力遞增。**

**Loop Engineering 的收益通常是局部的：更快修 bug，更快跑實驗，更少人工盯過程。**

RSI 的風險和收益是複利型的：系統改進了產生未來改進的機制，速度和影響範圍都可能被放大。

### AutoResearch 是中間形態

AutoResearch 很適合用來觀察這個邊界。

Karpathy 的 autoresearch repo 設計得很乾淨：給 AI agent 一個小但真實的 LLM 訓練環境，讓它改 `train.py`，每次訓練固定 5 分鐘，用 `val_bpb` 做指標，變好就保留，變差就回滾。人主要改的是 `program.md`，也就是研究組織方式和指令邊界。

從形式上看，這就是一個 Loop Engineering 案例。目標明確，反饋快，驗證指標客觀，狀態可記錄，代碼可回滾。它讓 agent 做完整閉環：提出假設，改代碼，跑實驗，看指標，寫記錄，進入下一輪。

但它又比普通工程 loop 更接近 RSI，因為它優化的是模型訓練 recipe。也就是說，它已經站在 AI 能力生產鏈條旁邊了。

Recursive 在 2026 年 6 月發佈的《First Steps Toward Automated AI Research》進一步展示了這個方向。他們的系統在 NanoChat Autoresearch、NanoGPT Speedrun、SOL-ExecBench 三個任務上做自動研究：提出想法、實現、跑實驗、驗證結果，再選擇下一輪實驗。它們選擇的 benchmark 都有一個共同點：目標清楚，反饋快，方差較低，評估器相對容易加固。

這說明當前 auto-research 最容易成立的地方，是可測量的工程化研究空間。比如固定預算訓練、小模型訓練速度、GPU kernel 優化。這些問題都有明確 reward，失敗也能被記錄。

更有意思的是 Bilevel Autoresearch。它加了一個外層 loop，讓外層去改內層的搜索機制，而不只是讓內層 loop 改模型訓練代碼。論文稱，在 Karpathy 的 GPT pretraining benchmark 上，外層 meta-autoresearch 相比標準內層 loop 取得了 5 倍改進。

這就跨過了一個重要臺階：系統不只在搜索答案，也在搜索如何搜索答案。

這已經超出普通 Loop Engineering，但也還沒有到完整 RSI。原因很簡單：它沒有改基礎模型本身，目標仍然由人定義，評估器仍然外置，搜索空間仍然很窄。它證明的是機制層自我改進開始有效，沒有證明 AI 已經能遞歸製造更強的 AI。

### 為什麼這個邊界重要

把 Loop Engineering 和 RSI 混在一起，會產生兩個誤判。

第一個誤判是低估 Loop Engineering。

有人會說，這只是自動化腳本。這個說法太窄。傳統腳本通常是固定流程，遇到分支就失敗。Loop Engineering 的價值在於把 agent 放進了一個可控環境，讓它在目標、工具、狀態和驗證器之間反覆試錯。

這對工程生產力很現實。CI triage、依賴升級、lint 修復、測試補齊、文檔更新、數據清洗、benchmark 調參，都可以從人盯著 AI 幹活，變成人設計系統，系統持續跑。

第二個誤判是高估 RSI。

只要看到一個 agent 能循環改代碼，就說 RSI 已經發生，也不準確。大多數 loop 只是自動化執行，最多是局部 harness 改進。它們沒有形成真正的能力複利。

RSI 需要更嚴肅的條件：改進對象要影響未來智能生成；新能力要能遷移到更廣任務；評估不能被 reward hacking 輕易汙染；權限和安全邊界不能被 loop 自己繞過；人類還要在正確抽象層保留判斷。

現在最強的證據，仍然集中在反饋快、指標清楚、可重複實驗的區域。越往開放研究、產品判斷、長期架構、組織協作走，驗證器越弱，loop 越容易變成自信的噪聲生成器。

### 經濟學視角：誰擁有 evaluator，誰擁有槓桿

從經濟學角度看，Loop Engineering 和 RSI 都在改變同一件事：試錯成本。

過去試錯貴，因為每一輪都需要人理解、執行、等待、判斷。現在 AI 降低了執行成本，loop 降低了組織成本。如果驗證器足夠便宜，系統就可以用更多輪試錯換更好的結果。

但這也意味著，真正稀缺的東西變了。

真正的差異來自 evaluator 的質量。

在工程裡，evaluator 是測試、類型系統、運行日誌、用戶指標、迴歸集。

在 AI 研究裡，evaluator 是 benchmark、訓練損失、推理成本、真實任務表現、held-out 驗證和反作弊機制。

在產品和組織裡，evaluator 更稀缺，因為很多結果不能馬上測量。長期維護成本、用戶信任、架構健康、品牌損耗，都不是一個 quick benchmark 能回答的。

所以 loop 的邊界，常常就是 evaluator 的邊界。

有硬驗證器的地方，可以大膽自動化。只有軟判斷的地方，要保留人類在環。沒有驗證器的地方，loop 只是把錯誤生產得更快。

### 我的判斷

我現在傾向於這樣理解：

Loop Engineering 是 AI 時代的軟件工程基本功。它解決的是如何把 agent 放進可控系統裡，讓它持續工作。

RSI 是更高層級的能力遞歸問題。它關心的是系統能否改進產生智能的機制，並讓這種改進繼續推動下一輪改進。

AutoResearch 處在兩者之間。Karpathy 的版本更像研究工作流自動化；Recursive 的系統更像自動化 AI 研究的早期工業形態；Bilevel Autoresearch 則開始觸碰改進機制自身的邊界。

但邊界仍然清楚：

當 loop 改的是任務結果，它是 Loop Engineering。

當 loop 改的是完成任務的流程，它是 self-improving harness。

當 loop 改的是產生下一代能力的機制，並且改進能遞歸累積，它才接近 RSI。

這條邊界很重要，因為它能避免兩個極端：一邊把真實的工程槓桿貶低成腳本，另一邊把局部自動化誤讀成智能爆炸。

Loop Engineering 已經是現實生產力；RSI 仍是正在逼近的能力邊界。中間最值得關注的是那些能把 loop、harness、evaluator、權限和人類判斷組織在一起的系統。

未來幾年，工程師真正要學的可能是設計一個不會失控、不會自欺、能穩定積累有效經驗的循環。

### 參考資料

* [karpathy/autoresearch](https://github.com/karpathy/autoresearch)
* [Loop Engineering: The Karpathy Method](https://x.com/0xCodila/article/2072329149520232639)
* [Loop engineering: the 14-step roadmap from prompter to loop designer](https://x.com/0xCodez/status/2064374643729773029)
* [Loop Engineering: The 14-Step Roadmap from Prompter to Loop Designer](https://medium.com/coinmonks/loop-engineering-the-14-step-roadmap-from-prompter-to-loop-designer-bda3edc46fbc)
* [First Steps Toward Automated AI Research - Recursive](https://www.recursive.com/articles/first-steps-toward-automated-ai-research)
* [When AI builds itself - Anthropic](https://www.anthropic.com/institute/recursive-self-improvement)
* [Harness Engineering for Self-Improvement - Lilian Weng](https://lilianweng.github.io/posts/2026-07-04-harness/)
* [Bilevel Autoresearch: Meta-Autoresearching Itself](https://arxiv.org/abs/2603.23420)
* [Auto Research with Specialist Agents Develops Effective and Non-Trivial Training Recipes](https://arxiv.org/abs/2605.05724)