> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/zh/2026-nian/w29loop-engineering-he-rsi-de-bian-jie.md).

# W29-Loop Engineering 和 RSI 的边界

最近 Loop Engineering 和 RSI 都很热。它们表面上很像，都是让 AI 进入一个循环：提出方案，执行，验证，记录，再进入下一轮。

它们的相似点在形式，差异在对象。

**Loop Engineering 是把工作交给循环。RSI 是把改进循环本身的能力也交给循环。**

**前者主要优化执行系统，后者开始触碰能力生成系统。这是两者最重要的边界。**

### Loop Engineering 的本质是运行时设计

过去我们使用 AI，大多还停留在对话模式。人提出问题，AI 返回答案。结果不好，人再补上下文、改 prompt、重新要求一次。

这套模式的核心操作仍然是人持续提示 AI。AI 是工具，人坐在驾驶位上。

Loop Engineering 把这个关系往上推了一层。人开始设计一个小系统，让它自己决定下一条 prompt 应该是什么。

一个典型 loop 至少包含几件事：

第一，有触发条件。它可以是定时任务、CI 失败、issue 进入队列，也可以是某个目标没有达成。

第二，有状态。Agent 不能每次都从零开始。它需要记住前一次尝试了什么，失败在哪里，哪些路径已经被排除。

第三，有工具。它要能读代码、改文件、跑测试、看日志、提交 diff。

第四，有验证器。测试、lint、build、benchmark、外部 evaluator，必须有东西能拒绝坏结果。

第五，有停止条件。预算、轮数、时间、人工审批，都要明确。

所以 Loop Engineering 更接近运行时设计：上下文怎么进入，工具怎么调用，结果怎么验证，状态怎么沉淀，权限怎么收口。

这也是为什么最近很多人说，工程师的杠杆点从 prompt 移到了 loop。真正值钱的是一个可重复、可验证、可回滚的工作流。

### RSI 的对象更深一层

RSI，也就是 Recursive Self-Improvement，讨论的是另一个层级的问题。

Lilian Weng 在《Harness Engineering for Self-Improvement》里把 RSI 的传统定义追溯到 I. J. Good 和 Yudkowsky：一个系统用自己已有的智能去改进产生智能的机制。现代语境里，这个机制不一定只是模型权重，也可以包括训练流程、数据生成、评估系统、部署 harness 和研究流程。

Anthropic 在《When AI builds itself》里也用了类似框架：今天 AI 已经能加速模型公司的工程和研究工作；如果继续往前走，AI 可能参与设计和训练自己的后继模型。但 Anthropic 也明确说，完整 RSI 还没有发生，也不是必然发生。

这里的关键是循环改的对象。

如果一个 agent 每天自动修 lint、升级依赖、修复简单 CI 失败，它是在自动化工作。

如果一个 agent 能改自己的工作流，让下一轮更会修 CI，它开始进入自我改进的 harness。

如果这个改进进一步作用到模型训练、研究决策、实验搜索、数据生成，并让下一代模型更强，再由更强模型继续改进下一代，这才接近 RSI 的核心问题。

所以我会把边界画在这里：

**Loop Engineering 关心任务吞吐。RSI 关心能力递增。**

**Loop Engineering 的收益通常是局部的：更快修 bug，更快跑实验，更少人工盯过程。**

RSI 的风险和收益是复利型的：系统改进了产生未来改进的机制，速度和影响范围都可能被放大。

### AutoResearch 是中间形态

AutoResearch 很适合用来观察这个边界。

Karpathy 的 autoresearch repo 设计得很干净：给 AI agent 一个小但真实的 LLM 训练环境，让它改 `train.py`，每次训练固定 5 分钟，用 `val_bpb` 做指标，变好就保留，变差就回滚。人主要改的是 `program.md`，也就是研究组织方式和指令边界。

从形式上看，这就是一个 Loop Engineering 案例。目标明确，反馈快，验证指标客观，状态可记录，代码可回滚。它让 agent 做完整闭环：提出假设，改代码，跑实验，看指标，写记录，进入下一轮。

但它又比普通工程 loop 更接近 RSI，因为它优化的是模型训练 recipe。也就是说，它已经站在 AI 能力生产链条旁边了。

Recursive 在 2026 年 6 月发布的《First Steps Toward Automated AI Research》进一步展示了这个方向。他们的系统在 NanoChat Autoresearch、NanoGPT Speedrun、SOL-ExecBench 三个任务上做自动研究：提出想法、实现、跑实验、验证结果，再选择下一轮实验。它们选择的 benchmark 都有一个共同点：目标清楚，反馈快，方差较低，评估器相对容易加固。

这说明当前 auto-research 最容易成立的地方，是可测量的工程化研究空间。比如固定预算训练、小模型训练速度、GPU kernel 优化。这些问题都有明确 reward，失败也能被记录。

更有意思的是 Bilevel Autoresearch。它加了一个外层 loop，让外层去改内层的搜索机制，而不只是让内层 loop 改模型训练代码。论文称，在 Karpathy 的 GPT pretraining benchmark 上，外层 meta-autoresearch 相比标准内层 loop 取得了 5 倍改进。

这就跨过了一个重要台阶：系统不只在搜索答案，也在搜索如何搜索答案。

这已经超出普通 Loop Engineering，但也还没有到完整 RSI。原因很简单：它没有改基础模型本身，目标仍然由人定义，评估器仍然外置，搜索空间仍然很窄。它证明的是机制层自我改进开始有效，没有证明 AI 已经能递归制造更强的 AI。

### 为什么这个边界重要

把 Loop Engineering 和 RSI 混在一起，会产生两个误判。

第一个误判是低估 Loop Engineering。

有人会说，这只是自动化脚本。这个说法太窄。传统脚本通常是固定流程，遇到分支就失败。Loop Engineering 的价值在于把 agent 放进了一个可控环境，让它在目标、工具、状态和验证器之间反复试错。

这对工程生产力很现实。CI triage、依赖升级、lint 修复、测试补齐、文档更新、数据清洗、benchmark 调参，都可以从人盯着 AI 干活，变成人设计系统，系统持续跑。

第二个误判是高估 RSI。

只要看到一个 agent 能循环改代码，就说 RSI 已经发生，也不准确。大多数 loop 只是自动化执行，最多是局部 harness 改进。它们没有形成真正的能力复利。

RSI 需要更严肃的条件：改进对象要影响未来智能生成；新能力要能迁移到更广任务；评估不能被 reward hacking 轻易污染；权限和安全边界不能被 loop 自己绕过；人类还要在正确抽象层保留判断。

现在最强的证据，仍然集中在反馈快、指标清楚、可重复实验的区域。越往开放研究、产品判断、长期架构、组织协作走，验证器越弱，loop 越容易变成自信的噪声生成器。

### 经济学视角：谁拥有 evaluator，谁拥有杠杆

从经济学角度看，Loop Engineering 和 RSI 都在改变同一件事：试错成本。

过去试错贵，因为每一轮都需要人理解、执行、等待、判断。现在 AI 降低了执行成本，loop 降低了组织成本。如果验证器足够便宜，系统就可以用更多轮试错换更好的结果。

但这也意味着，真正稀缺的东西变了。

真正的差异来自 evaluator 的质量。

在工程里，evaluator 是测试、类型系统、运行日志、用户指标、回归集。

在 AI 研究里，evaluator 是 benchmark、训练损失、推理成本、真实任务表现、held-out 验证和反作弊机制。

在产品和组织里，evaluator 更稀缺，因为很多结果不能马上测量。长期维护成本、用户信任、架构健康、品牌损耗，都不是一个 quick benchmark 能回答的。

所以 loop 的边界，常常就是 evaluator 的边界。

有硬验证器的地方，可以大胆自动化。只有软判断的地方，要保留人类在环。没有验证器的地方，loop 只是把错误生产得更快。

### 我的判断

我现在倾向于这样理解：

Loop Engineering 是 AI 时代的软件工程基本功。它解决的是如何把 agent 放进可控系统里，让它持续工作。

RSI 是更高层级的能力递归问题。它关心的是系统能否改进产生智能的机制，并让这种改进继续推动下一轮改进。

AutoResearch 处在两者之间。Karpathy 的版本更像研究工作流自动化；Recursive 的系统更像自动化 AI 研究的早期工业形态；Bilevel Autoresearch 则开始触碰改进机制自身的边界。

但边界仍然清楚：

当 loop 改的是任务结果，它是 Loop Engineering。

当 loop 改的是完成任务的流程，它是 self-improving harness。

当 loop 改的是产生下一代能力的机制，并且改进能递归累积，它才接近 RSI。

这条边界很重要，因为它能避免两个极端：一边把真实的工程杠杆贬低成脚本，另一边把局部自动化误读成智能爆炸。

Loop Engineering 已经是现实生产力；RSI 仍是正在逼近的能力边界。中间最值得关注的是那些能把 loop、harness、evaluator、权限和人类判断组织在一起的系统。

未来几年，工程师真正要学的可能是设计一个不会失控、不会自欺、能稳定积累有效经验的循环。

### 参考资料

* [karpathy/autoresearch](https://github.com/karpathy/autoresearch)
* [Loop Engineering: The Karpathy Method](https://x.com/0xCodila/article/2072329149520232639)
* [Loop engineering: the 14-step roadmap from prompter to loop designer](https://x.com/0xCodez/status/2064374643729773029)
* [Loop Engineering: The 14-Step Roadmap from Prompter to Loop Designer](https://medium.com/coinmonks/loop-engineering-the-14-step-roadmap-from-prompter-to-loop-designer-bda3edc46fbc)
* [First Steps Toward Automated AI Research - Recursive](https://www.recursive.com/articles/first-steps-toward-automated-ai-research)
* [When AI builds itself - Anthropic](https://www.anthropic.com/institute/recursive-self-improvement)
* [Harness Engineering for Self-Improvement - Lilian Weng](https://lilianweng.github.io/posts/2026-07-04-harness/)
* [Bilevel Autoresearch: Meta-Autoresearching Itself](https://arxiv.org/abs/2603.23420)
* [Auto Research with Specialist Agents Develops Effective and Non-Trivial Training Recipes](https://arxiv.org/abs/2605.05724)