递归自我改进:从一杯咖啡到Harness Engineering
递归自我改进:从一杯咖啡到Harness Engineering 2024年,我去美国做访问研究,回程途经旧金山。去之前通过邮件约了几位行业朋友(网友,行业专家,AI公司员工),其中包括素未谋面的Lilian Weng。那时候她还在OpenAI负责安全系统,AI圈还没有后来那些人事震荡。 我乘地铁去了OpenAI当时的那栋小白楼。他们楼下有一家星巴克,我在那儿等她。下午两点,店里不少人带着电脑,三三两两在聊天。硅谷的星巴克就是这样,你分不清谁是来办公的、谁是来面试的、谁是刚从哪个会出来透口气的——但空气里确实有一种说不上来的东西,让人觉得这栋楼里正在发生什么。 那天我们聊的是很宽泛的话题——中美AI的差距和机会、算力成本下降的拐点、token价格降到什么程度会触发应用爆发。我当时也和他分享了在MIT上课时的一些分享:大模型的力量不在于参数规模,而在于电力和算力趋于平静之后,token成本降到极低基点时,整个行业的范式会发生变化。我们都没料到,后来DeepSeek横空出世,中国的开源路线以一种意想不到的方式验证了这个判断。 这些是后话了。真正让我想写这篇文章的,是今年7月4日Weng发表的那篇《Harness Engineering for Self-Improvement》,以及随后她官宣重返OpenAI领导递归自我改进(RSI)团队的消息。RSI不是新概念——1965年I. J. Good就提过了,几十年来更多是哲学讨论。Weng的贡献不在于"发现"RSI,而在于她给出了一条工程化的路径。她指出RSI可以发生在三个层面:模型权重、训练管道、部署系统。其中DeepSeek R1已经在训练管道层证明了自我改进的可行性——模型不需要人类标注,通过强化学习自己学会推理。而Weng选择的切入点是第三层:部署系统(Harness)——即使模型本身的推理能力不变,更好的工具调用、上下文管理、评估机制也能显著提升实际表现,而这些改进本身又可以被模型自动化。更值得追问的是:OpenAI为什么选一个做了七年安全的人来领导RSI?这篇文章,我想从技术的角度拆解。 一、RSI:一个60年的概念,为什么现在才可行 Lilian Weng的文章开篇直接切入主题:递归自我改进(Recursive Self-Improvement, RSI)。 这个概念可以追溯到1965年,英国数学家I. J. Good提出的"超智能机器"——一种能在所有智力活动中超越人类,并设计出比自身更好的机器的系统。2008年,Eliezer Yudkowsky将这个概念精确化为一个反馈循环:AI利用其当前的智能,去改进产生其智能的认知机制。 听起来很抽象。但Lilian Weng把这个抽象概念落到了实处。她指出,在现代AI语境下,这个反馈循环可以发生在三个层面: 模型权重层面:模型直接重写自己的参数。这是最理想但最难的路径,目前几乎不可行。 训练管道层面:模型改进生成训练数据、选择训练任务、优化训练策略。这是很多前沿实验室正在探索的方向。 部署系统层面:模型改进自己与外界交互的方式——如何调用工具、如何管理上下文、如何评估自身输出。 她明确选择了第三个切入点。原因很关键:原始模型和真实世界之间的这层,其重要性不亚于模型本身的原始智能。Claude Code和Codex的成功,不是因为它们的基础模型最强,而是因为它们的部署系统设计最成熟。 她用了一个词来描述这层部署系统:Harness。 二、Harness:模型与世界之间的操作系统 Weng在博客中用了一个精确的类比:Harness就像操作系统。你花在操作系统上的功夫,决定了CPU能发挥多大潜力。 在她的定义中,Harness是围绕在基础模型周围的整个系统,它负责: 编排执行流程(模型如何思考和规划) 定义工具调用(模型如何与外界交互) 管理上下文(模型感知和存储什么信息) 持久化产物(模型如何保存工作成果) 评估结果(如何判断模型表现好坏) 这个定义的精妙之处在于,它将原本分散的概念——Prompt Engineering、Agent Framework、Tool Use、Memory Management、Evaluation——统一到了一个更宏观的架构视角下。 更重要的是,她指出了Harness工程与传统Agent框架的区别: 维度 传统Agent框架 Harness工程 核心公式 agent = LLM + memory + tools + planning + action 额外加入workflow design, evaluation, permission control, persistent state 设计理念 Prompt模板 运行时系统设计 类比 IDE 操作系统 这个类比不是随便说的。Lilian Weng明确指出,Harness的设计应该参考操作系统的工程实践: ...