AI

网景的发明人、a16z 的 “a”，在播客里说：如果没有 AI，我们此刻该慌的是经济——人口在塌、生产力几十年没真起来；AI 和机器人恰恰在我们最需要的时候来了。 最近听了 Lenny 对 Marc Andreessen 的那期播客（访谈视频）。安德森是网景联合创始人、a16z 联合创始人，经历过浏览器大战和「软件吞噬世界」的预言成真。这期里他谈 AI 时代、人口、岗位、育儿和媒体，有几句话我记下来了，顺带写点自己的反应。 一、慌错了对象 很多人慌的是「AI 抢饭碗」。安德森的观点是：慌反了。 过去五十年，发达经济体的全要素生产率增速一直在放缓，不是加快。美国的生产率增速只有 1940–1970 年的一半、1870–1940 年的约三分之一。也就是说，统计上我们并没有活在一个「技术爆炸」的年代，而是技术对经济的实际拉动在变弱。与此同时，生育率跌破更替水平，多国面临人口收缩。没有新技术补上的话，要面对的是经济收缩、机会变少、没有新岗位——这才是更该慌的剧本。 AI 和自动化恰恰在这个时点出现：我们需要用机器补人力缺口、拉 productivity 的时候，技术来了。所以他的结论是：剩下的劳动者会更值钱，而不是更不值钱；所谓「大规模失业」的恐慌是「totally off base」，除非你假设生产率每年涨 10%、20%、50%，那种量级人类历史上从未出现过。 我自己的看法：宏观上可以接受这个逻辑——人口与生产率两条线一起看，AI 的「替代」和「补位」会同时存在。但微观上，具体行业、具体岗位的震荡不会因此消失，所以「不必慌」不等于「不用准备」。 二、AI 是「哲学家之石」 安德森打了个比方：牛顿那代人搞炼金术，想找能把铅变成金的东西——把最普通的东西变成最稀有的东西，没成。AI 做的是把沙变成思考：沙子（硅）做成芯片，芯片跑出推理和创造。最普遍的资源，变成最稀缺的「思考」。所以他说：AI 就是哲学家之石成真。 这句话把技术史和当下串在一起了。我们习惯把 AI 当成「又一种工具」；他把它当成一种质变——从「更多算力」变成「可规模化的思考」。是否同意都可，但这个比喻值得记住：它提醒我们，讨论 AI 时在讨论的不仅是效率，而是「思考」这种活动本身如何被量产。 三、PM、设计、工程师的「三国杀」 播客里有个问题：产品经理、设计师、工程师，谁会被 AI 干掉？ 安德森用了一个词：Mexican standoff（三方对峙）。每个角色都觉得自己能靠 AI 干另外两边的活——码农觉得能兼做产品和设计，PM 觉得能兼做设计和码，设计觉得能兼做产品和码。而且他说：他们某种程度上都对。能跨两三个领域的人，叠加效应会大于「双倍」「三倍」，你会变成「组合型专家」，很难被单一角色替代。 对应到个人策略：T 型或 E 型——至少一条腿特别深（比如工程），同时用 AI 把另外一两条腿拉到「够用」。不要只当「一个螺丝钉」，要让自己不可替代（他引用 Larry Summers 的「don’t be fungible」）。他还说：AI 最好的用法之一，是让它教你——「train me up」：让 AI 出题、批改、讲解，用空余时间把第二、第三技能拉起来。这和「用 AI 代劳」是同一枚硬币的两面。 四、还是要学写代码 有人问：AI 都能写代码了，孩子还要学编程吗？ ...

腾讯和Meta都有巨量社交数据, 但是还没有找到AI+社交的机会。26号元宝发布了一个体验功能: 元宝派, 像是在AI+社交+Agent上的试水。拿到内测后体验了半天元宝派，也看了马化腾年会讲话。一句话总结：想做Agent，又不敢All in，最后搞了个AI群聊，里面塞了个元宝机器人。 这份作业，我自己都觉得不及格。 数据不会说谎 豆包日活已破1亿，成为国内首个日活过亿的AI应用1；Kimi月活超3600万，K2.5版本刚发布就支持百个智能体并行协作2；千问C端月活破1亿，企业客户接入超100万家，稳坐企业级市场第一3。 元宝呢？QuestMobile数据显示，元宝周活约2084万，日活推算约800万4——在第一梯队里垫底，与豆包的差距已超过10倍。 功能对比更扎心：豆包已能跨应用执行任务、生成长视频；Kimi的200万字长文本处理独步江湖；千问在代码生成和企业场景深耕。而元宝派拿出来的是什么？一个只能在群里斗图、需要反复@才搭理你的"高冷客服"。 马化腾年会上说"不必焦虑"，但元宝派赶在春节前内测、机械重复"2月1日分10亿红包"——这哪是不焦虑，分明是焦虑到要给老板交作业了。 给Pony的建议：抄微软作业就行 腾讯目前真没必要亲自下场做Agent(不包含团队试验田), 但是必须有懂Agent, 能搭戏台的人出现, 这个人是不是姚顺雨还未可知。 QQ/微信13亿月活、小程序5亿日活5，这是全球最大的社交生态。与其做一个半残的AI群聊，不如学微软：投资AI初创公司探路，自身快速跟随AI化。 微软没自己从头做大模型，而是投资OpenAI拿到GPT商业化权利，然后把Copilot整合进Office全家桶。结果呢？微软也是AI产品化最快的企业, 而且2025年微软市值近3万亿美元。 腾讯完全可以复制这个路径：投资Kimi、MiniMax这类有潜力的公司，让它们在前线探路Agent场景；自己专注把AI整合进微信生态——让元宝能同步微信日程、智能管理群聊、自动整理朋友圈。 这比做一个独立APP让用户来回切换，强一百倍。 AI的船票，不是非得自己造船。帮别人造船，自己坐船，也是一种战略。 蓝鲸新闻、证券之星2026年1月26-28日报道，QuestMobile周活监测数据 ↩︎ 今日头条2026年1月28日报道，Techno Trenz统计数据 ↩︎ 今日头条2026年1月27日报道，小牛行研数据，沙利文报告佐证 ↩︎ QuestMobile官方数据（2025年12月8-14日周活2084万），新浪财经等媒体转载 ↩︎ 腾讯控股2024年第三季度财报 ↩︎

物理学界流传着一个古老的笑话：物理学家无所不能，除了物理。 虽然是句调侃，但在当今的 AI 浪潮中，这似乎成了某种预言。当你剥开 ChatGPT、Claude 或是 Llama 的外衣，往最核心的算法层和决策层看去，会惊讶地发现：怎么满屋子都是学物理的？ 从 OpenAI 的分裂到 Anthropic 的崛起，从 Scaling Laws 的发现到 Transformer 的优化，这群曾经天天琢磨量子态、黑洞和宇宙学的聪明脑袋，似乎集体决定换个赛道——不再纠结上帝掷不掷骰子，而是教 GPU 怎么掷出下一个 Token。 今天，我们就按「学术背景 → 核心贡献 → 现状」的结构，盘点一下这几位“稍不留神”就改变了 AI 历史进程的物理学家。看完你或许会明白，为什么说物理学才是 AGI 的“新东方烹饪学校”。 1. Dario Amodei (Anthropic 联合创始人 & CEO) 物理背景：普林斯顿大学物理学博士。硬核的理论物理与量子计算方向，还顺手在斯坦福和加州理工做了博士后。典型的“谢尔顿”式学术履历。 核心贡献： Scaling Laws (缩放定律)：在大模型还是玄学的年代，他和团队搞出了 Scaling Laws，告诉世界：别瞎猜了，算力、数据和参数量之间有铁律。这直接给“暴力美学”奠定了理论基石。 Claude 之父：从 OpenAI 出走后创立 Anthropic，死磕“宪法 AI (Constitutional AI)”，试图给 AI 装上安全阀。 当前状态：Anthropic CEO。正忙着让 Claude 更聪明、更安全，同时思考怎么不让强 AI 把人类带沟里去。 2. Jared Kaplan (Anthropic 联合创始人 & 首席科学家) 物理背景：约翰霍普金斯大学理论物理学教授。研究了 15 年的量子引力、场论和宇宙学。正儿八经的教授下海，降维打击。 核心贡献： Scaling Laws 的奠基人：他和 Dario Amodei 的名字几乎和缩放定律绑定。把研究宇宙膨胀的劲头拿来研究模型膨胀，结果发现规律竟然出奇地一致。 GPT-3 & Codex：在 OpenAI 期间是这两个大杀器的核心参与者。 当前状态：Anthropic 首席科学家。继续在 LLM 的基础理论和安全对齐的无人区里探索。 3. Ilya Sutskever (OpenAI 联合创始人 & 前首席科学家) ...

本文解读的是Wojciech Zaremba、Ilya Sutskever和Oriol Vinyals于2014年发表的经典论文《Recurrent Neural Network Regularization》，该论文首次将Dropout正则化技术系统性地应用于循环神经网络（RNN），通过只在非循环连接上应用Dropout，既保持了RNN的记忆能力，又有效防止了过拟合。这一创新为RNN在序列建模任务中的成功应用奠定了重要基础，特别是在机器翻译、语言模型等需要处理长序列的任务中取得了突破性成果。 “正则化是深度学习的艺术。"——这是Ilya Sutskever等人在2014年提出的深刻洞察。RNN虽然能够处理变长序列，但在训练过程中极易过拟合，特别是在大规模数据集上训练深层RNN时。传统的Dropout技术直接应用于RNN会导致网络无法保持长期记忆，因为随机失活会破坏RNN的循环结构。 论文的核心创新是只在非循环连接上应用Dropout：在LSTM的输入-隐藏层连接和隐藏-输出层连接上应用Dropout，但在循环连接（hidden-to-hidden）上不使用Dropout。这种设计既保持了RNN的记忆能力，又有效防止了过拟合，使RNN能够在大型数据集上训练深层网络。 在当今大语言模型时代，这一思想仍然具有重要意义：虽然Transformer已经取代RNN成为主流架构，但正则化的核心思想（防止过拟合、提高泛化能力）仍然是深度学习的关键。理解RNN正则化，就是理解如何在高容量模型中平衡记忆能力和泛化能力。 本文将从问题根源、核心机制、解决方案、实践评估四个维度深度解读RNN正则化技术，包含完整的数学推导、算法流程和复杂度分析，并在文末提出开放性问题与未来研究方向。 本文属于 论文阅读开篇：Ilya 30u30 阅读计划 系列，可前往该页查看完整目录、阅读顺序与发布状态。 RNN过拟合问题的根源 问题一：RNN的高容量与过拟合风险 RNN的参数共享机制使其能够处理任意长度的序列，但这也带来了过拟合风险。对于长度为 $T$ 的序列，RNN实际上使用了 $T$ 次相同的权重矩阵 $W_h$（hidden-to-hidden连接），相当于将参数"复用"了 $T$ 次。 参数有效性的量化：虽然RNN的参数量是固定的（例如，对于隐藏维度 $d_h$，hidden-to-hidden权重矩阵 $W_h$ 的大小为 $d_h \times d_h$），但每个参数在序列的每个时间步都被使用，相当于有 $T$ 个"虚拟参数”。这种参数复用使得RNN具有很高的表达能力，但也增加了过拟合的风险。 过拟合的数学表现：当训练集规模 $N$ 相对于模型容量较小时，模型可能"记住"训练数据的细节，而不是学习数据的规律。在RNN中，这种过拟合表现为：训练集上的困惑度（perplexity）很低，但验证集上的困惑度很高，模型无法泛化到新序列。 问题二：传统Dropout在RNN中的失效 传统Dropout在RNN中直接应用会导致严重问题。Dropout的核心思想是在训练时随机将部分神经元输出置0，迫使网络学习更鲁棒的表示。但在RNN中，这种随机失活会破坏循环结构。 循环连接的脆弱性：RNN的循环连接 $h_t = f(W_h h_{t-1} + W_x x_t + b)$ 依赖于前一时刻的隐藏状态 $h_{t-1}$。如果在 $h_{t-1}$ 上应用Dropout，会导致信息在时间维度上的传播被随机打断，网络无法保持长期记忆。 数学分析：假设在隐藏状态上应用Dropout，则： $$ h_t = f(W_h (\text{Dropout}(h_{t-1})) + W_x x_t + b) $$ ...

本文解读的是Sepp Hochreiter和Jürgen Schmidhuber于1997年发表的经典论文《Long Short-Term Memory》，该论文提出了长短期记忆（LSTM）网络架构，通过门控机制和细胞状态彻底解决了循环神经网络（RNN）的梯度消失问题，使网络能够学习长期依赖关系。LSTM不仅成为序列建模领域的重要里程碑，更为后续的GRU、Transformer等架构奠定了理论基础，在机器翻译、语音识别、时间序列预测等任务中取得了突破性成果。 “记忆是智能的基础。"——这是Hochreiter和Schmidhuber在1997年提出的深刻洞察。传统RNN虽然理论上可以处理任意长度的序列，但在实际训练中面临严重的梯度消失问题：当序列长度超过几十个时间步时，梯度在反向传播过程中会指数级衰减，导致网络无法学习长期依赖关系。 LSTM通过门控机制和细胞状态解决了这一根本问题。细胞状态像一个"传送带”，信息可以在上面直接流动，不受梯度消失的影响；门控机制（遗忘门、输入门、输出门）控制信息的流动，使网络能够有选择地保存和遗忘信息。这种设计使得LSTM能够学习跨越数百甚至数千个时间步的依赖关系。 在当今大语言模型时代，LSTM的思想以新的形式延续：Transformer的自注意力机制可以看作是对LSTM门控机制的改进，GPT等模型虽然不再使用LSTM，但其序列建模的核心思想仍然源于LSTM。理解LSTM，就是理解序列建模的本质，理解神经网络如何"记忆"和"遗忘"。 本文将从问题根源、核心机制、解决方案、实践评估四个维度深度解读LSTM网络，包含完整的数学推导、算法流程和复杂度分析，并在文末提出开放性问题与未来研究方向。 本文属于 论文阅读开篇：Ilya 30u30 阅读计划 系列，可前往该页查看完整目录、阅读顺序与发布状态。 RNN长期依赖问题的根源 问题一：梯度消失的数学本质 传统RNN在每个时间步的计算为： $$ h_t = \tanh(W_h h_{t-1} + W_x x_t + b) $$ 其中 $h_t$ 是隐藏状态，$W_h$、$W_x$ 是权重矩阵，$b$ 是偏置向量。 在反向传播过程中，需要计算损失函数 $L$ 对早期时间步 $h_k$ 的梯度： $$ \frac{\partial L}{\partial h_k} = \frac{\partial L}{\partial h_t} \cdot \frac{\partial h_t}{\partial h_k} = \frac{\partial L}{\partial h_t} \cdot \prod_{j=k+1}^{t} \frac{\partial h_j}{\partial h_{j-1}} $$ ...