AI

「深度学习之父」杰弗里·辛顿（Geoffrey Hinton）说：超级智能 AI 会带来大规模岗位流失、加剧不平等，我们必须重新思考人们如何获得收入与意义；全民基本收入（UBI）将「必要但不充分」——能让人不饿肚子，却补不上失业带来的尊严缺口。他主张通过对 AI 征税或设立分红，让增长被更公平地分享。 那期对谈是 2025 年 9 月 3 日发布的（访谈视频），我是偶然刷到，看完才有感而发。主持是 Ken Yang（JD/MBA，Common Wealth Canada & UBI Works 总监，@kenjaminyang），嘉宾是图灵奖得主、有「AI 教父」之称的 Geoffrey Hinton。辛顿在这期里直指超级智能 AI 会导致大规模失业、贫富分化，并呼吁把 UBI 和「钱从哪来」一起谈——对 AI 征税、用分红机制让全民分享技术红利。当时记了几段核心论点，顺带写点自己的反应；半年多过去，AI 已经铺天盖地，再翻出来看，不少话更像提前打的预防针。 一、经济学家说技术会创造新岗位，但这次可能不一样 很多人——尤其一些经济学家——会说：新技术总会消灭一些岗位，再创造一些岗位。挖沟的没了，可以去干文书。辛顿的观点是：超级智能 AI 来了，文书也能做得比人更好，那这批人接下来去干什么，并不清楚。 他举的是「平庸智力劳动」：律所里查类似案例的律师助理、呼叫中心里报酬低、培训不足、尽力回答却体验很差的客服。AI 会做得更好，而且可复制。再往外推，凡是重复、可程式化的脑力工作，通用 AI 甚至专用 AI 就能替代，更不用说「比我们强很多倍的超级智能」。所以他的结论很直接：我们很快就会看到大规模失业。生产率提高在理想状态下本该让每个人分到更多商品和服务，但在现有分配结构下，「很多穷人会失业，很多富人会更富」——这对社会非常不利。 我自己的看法：宏观上，辛顿和安德森（人口 + 生产率）看的是不同侧面——一个强调「补位」，一个强调「替代」与分配。两者可以并存：总量上技术可能补人力缺口，但分配不会自动公平，若不对征税、分红、UBI 做制度设计，大规模失业与不平等很可能先于「人人受益」发生。 二、UBI：必要但不充分——收入与尊严是两件事 主持人提到两个维度：工作带来收入，工作也带来自我认同——很多人是「以职业定义自己」的。辛顿的回应是：全民基本收入（UBI）若在很多人失业时实施，是必要的，但不足以解决全部问题。它能让人不挨饿、付得起房租，却无法弥补「失业」带来的尊严与意义感缺失。所以 UBI 是「necessary but not sufficient」——必要但不充分。 访谈里还提到威尔士的 UBI 试点：针对离开孤儿院、刚满 18 岁进入社会的年轻人，给一小群人发基本收入，对照组走常规社会福利。结果是拿到 UBI 的那组在「过渡到成年」的过程中明显更好——有基本经济安全后，在劳动力市场上更有议价空间，也更有可能去寻找更合适的工作或其它方式回馈社会。这说明 UBI 在缓冲冲击、给人们一点选择空间上是有证据的；但它确实不解决「工作本身带来的意义感」问题。 三、钱从哪来：对 AI 征税与分红 一旦大规模失业，原来靠劳动所得税支撑的财政会缩水；若还要发 UBI，钱从哪来？辛顿的主张是：钱应该来自对「替代了人类工作的 AI」的征税——用这些税来支撑 UBI 或类似保障。他也承认，大公司会对「对 AI 征税」非常抵触。 ...

网景的发明人、a16z 的 “a”，在播客里说：如果没有 AI，我们此刻该慌的是经济——人口在塌、生产力几十年没真起来；AI 和机器人恰恰在我们最需要的时候来了。 最近听了 Lenny 对 Marc Andreessen 的那期播客（访谈视频）。安德森是网景联合创始人、a16z 联合创始人，经历过浏览器大战和「软件吞噬世界」的预言成真。这期里他谈 AI 时代、人口、岗位、育儿和媒体，有几句话我记下来了，顺带写点自己的反应。 一、慌错了对象 很多人慌的是「AI 抢饭碗」。安德森的观点是：慌反了。 过去五十年，发达经济体的全要素生产率增速一直在放缓，不是加快。美国的生产率增速只有 1940–1970 年的一半、1870–1940 年的约三分之一。也就是说，统计上我们并没有活在一个「技术爆炸」的年代，而是技术对经济的实际拉动在变弱。与此同时，生育率跌破更替水平，多国面临人口收缩。没有新技术补上的话，要面对的是经济收缩、机会变少、没有新岗位——这才是更该慌的剧本。 AI 和自动化恰恰在这个时点出现：我们需要用机器补人力缺口、拉 productivity 的时候，技术来了。所以他的结论是：剩下的劳动者会更值钱，而不是更不值钱；所谓「大规模失业」的恐慌是「totally off base」，除非你假设生产率每年涨 10%、20%、50%，那种量级人类历史上从未出现过。 我自己的看法：宏观上可以接受这个逻辑——人口与生产率两条线一起看，AI 的「替代」和「补位」会同时存在。但微观上，具体行业、具体岗位的震荡不会因此消失，所以「不必慌」不等于「不用准备」。 二、AI 是「哲学家之石」 安德森打了个比方：牛顿那代人搞炼金术，想找能把铅变成金的东西——把最普通的东西变成最稀有的东西，没成。AI 做的是把沙变成思考：沙子（硅）做成芯片，芯片跑出推理和创造。最普遍的资源，变成最稀缺的「思考」。所以他说：AI 就是哲学家之石成真。 这句话把技术史和当下串在一起了。我们习惯把 AI 当成「又一种工具」；他把它当成一种质变——从「更多算力」变成「可规模化的思考」。是否同意都可，但这个比喻值得记住：它提醒我们，讨论 AI 时在讨论的不仅是效率，而是「思考」这种活动本身如何被量产。 三、PM、设计、工程师的「三国杀」 播客里有个问题：产品经理、设计师、工程师，谁会被 AI 干掉？ 安德森用了一个词：Mexican standoff（三方对峙）。每个角色都觉得自己能靠 AI 干另外两边的活——码农觉得能兼做产品和设计，PM 觉得能兼做设计和码，设计觉得能兼做产品和码。而且他说：他们某种程度上都对。能跨两三个领域的人，叠加效应会大于「双倍」「三倍」，你会变成「组合型专家」，很难被单一角色替代。 对应到个人策略：T 型或 E 型——至少一条腿特别深（比如工程），同时用 AI 把另外一两条腿拉到「够用」。不要只当「一个螺丝钉」，要让自己不可替代（他引用 Larry Summers 的「don’t be fungible」）。他还说：AI 最好的用法之一，是让它教你——「train me up」：让 AI 出题、批改、讲解，用空余时间把第二、第三技能拉起来。这和「用 AI 代劳」是同一枚硬币的两面。 四、还是要学写代码 有人问：AI 都能写代码了，孩子还要学编程吗？ ...

腾讯和Meta都有巨量社交数据, 但是还没有找到AI+社交的机会。26号元宝发布了一个体验功能: 元宝派, 像是在AI+社交+Agent上的试水。拿到内测后体验了半天元宝派，也看了马化腾年会讲话。一句话总结：想做Agent，又不敢All in，最后搞了个AI群聊，里面塞了个元宝机器人。 这份作业，我自己都觉得不及格。 数据不会说谎 豆包日活已破1亿，成为国内首个日活过亿的AI应用1；Kimi月活超3600万，K2.5版本刚发布就支持百个智能体并行协作2；千问C端月活破1亿，企业客户接入超100万家，稳坐企业级市场第一3。 元宝呢？QuestMobile数据显示，元宝周活约2084万，日活推算约800万4——在第一梯队里垫底，与豆包的差距已超过10倍。 功能对比更扎心：豆包已能跨应用执行任务、生成长视频；Kimi的200万字长文本处理独步江湖；千问在代码生成和企业场景深耕。而元宝派拿出来的是什么？一个只能在群里斗图、需要反复@才搭理你的"高冷客服"。 马化腾年会上说"不必焦虑"，但元宝派赶在春节前内测、机械重复"2月1日分10亿红包"——这哪是不焦虑，分明是焦虑到要给老板交作业了。 给Pony的建议：抄微软作业就行 腾讯目前真没必要亲自下场做Agent(不包含团队试验田), 但是必须有懂Agent, 能搭戏台的人出现, 这个人是不是姚顺雨还未可知。 QQ/微信13亿月活、小程序5亿日活5，这是全球最大的社交生态。与其做一个半残的AI群聊，不如学微软：投资AI初创公司探路，自身快速跟随AI化。 微软没自己从头做大模型，而是投资OpenAI拿到GPT商业化权利，然后把Copilot整合进Office全家桶。结果呢？微软也是AI产品化最快的企业, 而且2025年微软市值近3万亿美元。 腾讯完全可以复制这个路径：投资Kimi、MiniMax这类有潜力的公司，让它们在前线探路Agent场景；自己专注把AI整合进微信生态——让元宝能同步微信日程、智能管理群聊、自动整理朋友圈。 这比做一个独立APP让用户来回切换，强一百倍。 AI的船票，不是非得自己造船。帮别人造船，自己坐船，也是一种战略。 蓝鲸新闻、证券之星2026年1月26-28日报道，QuestMobile周活监测数据 ↩︎ 今日头条2026年1月28日报道，Techno Trenz统计数据 ↩︎ 今日头条2026年1月27日报道，小牛行研数据，沙利文报告佐证 ↩︎ QuestMobile官方数据（2025年12月8-14日周活2084万），新浪财经等媒体转载 ↩︎ 腾讯控股2024年第三季度财报 ↩︎

物理学界流传着一个古老的笑话：物理学家无所不能，除了物理。 虽然是句调侃，但在当今的 AI 浪潮中，这似乎成了某种预言。当你剥开 ChatGPT、Claude 或是 Llama 的外衣，往最核心的算法层和决策层看去，会惊讶地发现：怎么满屋子都是学物理的？ 从 OpenAI 的分裂到 Anthropic 的崛起，从 Scaling Laws 的发现到 Transformer 的优化，这群曾经天天琢磨量子态、黑洞和宇宙学的聪明脑袋，似乎集体决定换个赛道——不再纠结上帝掷不掷骰子，而是教 GPU 怎么掷出下一个 Token。 今天，我们就按「学术背景 → 核心贡献 → 现状」的结构，盘点一下这几位“稍不留神”就改变了 AI 历史进程的物理学家。看完你或许会明白，为什么说物理学才是 AGI 的“新东方烹饪学校”。 1. Dario Amodei (Anthropic 联合创始人 & CEO) 物理背景：普林斯顿大学物理学博士。硬核的理论物理与量子计算方向，还顺手在斯坦福和加州理工做了博士后。典型的“谢尔顿”式学术履历。 核心贡献： Scaling Laws (缩放定律)：在大模型还是玄学的年代，他和团队搞出了 Scaling Laws，告诉世界：别瞎猜了，算力、数据和参数量之间有铁律。这直接给“暴力美学”奠定了理论基石。 Claude 之父：从 OpenAI 出走后创立 Anthropic，死磕“宪法 AI (Constitutional AI)”，试图给 AI 装上安全阀。 当前状态：Anthropic CEO。正忙着让 Claude 更聪明、更安全，同时思考怎么不让强 AI 把人类带沟里去。 2. Jared Kaplan (Anthropic 联合创始人 & 首席科学家) 物理背景：约翰霍普金斯大学理论物理学教授。研究了 15 年的量子引力、场论和宇宙学。正儿八经的教授下海，降维打击。 核心贡献： Scaling Laws 的奠基人：他和 Dario Amodei 的名字几乎和缩放定律绑定。把研究宇宙膨胀的劲头拿来研究模型膨胀，结果发现规律竟然出奇地一致。 GPT-3 & Codex：在 OpenAI 期间是这两个大杀器的核心参与者。 当前状态：Anthropic 首席科学家。继续在 LLM 的基础理论和安全对齐的无人区里探索。 3. Ilya Sutskever (OpenAI 联合创始人 & 前首席科学家) ...

本文解读的是Wojciech Zaremba、Ilya Sutskever和Oriol Vinyals于2014年发表的经典论文《Recurrent Neural Network Regularization》，该论文首次将Dropout正则化技术系统性地应用于循环神经网络（RNN），通过只在非循环连接上应用Dropout，既保持了RNN的记忆能力，又有效防止了过拟合。这一创新为RNN在序列建模任务中的成功应用奠定了重要基础，特别是在机器翻译、语言模型等需要处理长序列的任务中取得了突破性成果。 “正则化是深度学习的艺术。"——这是Ilya Sutskever等人在2014年提出的深刻洞察。RNN虽然能够处理变长序列，但在训练过程中极易过拟合，特别是在大规模数据集上训练深层RNN时。传统的Dropout技术直接应用于RNN会导致网络无法保持长期记忆，因为随机失活会破坏RNN的循环结构。 论文的核心创新是只在非循环连接上应用Dropout：在LSTM的输入-隐藏层连接和隐藏-输出层连接上应用Dropout，但在循环连接（hidden-to-hidden）上不使用Dropout。这种设计既保持了RNN的记忆能力，又有效防止了过拟合，使RNN能够在大型数据集上训练深层网络。 在当今大语言模型时代，这一思想仍然具有重要意义：虽然Transformer已经取代RNN成为主流架构，但正则化的核心思想（防止过拟合、提高泛化能力）仍然是深度学习的关键。理解RNN正则化，就是理解如何在高容量模型中平衡记忆能力和泛化能力。 本文将从问题根源、核心机制、解决方案、实践评估四个维度深度解读RNN正则化技术，包含完整的数学推导、算法流程和复杂度分析，并在文末提出开放性问题与未来研究方向。 本文属于 论文阅读开篇：Ilya 30u30 阅读计划 系列，可前往该页查看完整目录、阅读顺序与发布状态。 RNN过拟合问题的根源 问题一：RNN的高容量与过拟合风险 RNN的参数共享机制使其能够处理任意长度的序列，但这也带来了过拟合风险。对于长度为 $T$ 的序列，RNN实际上使用了 $T$ 次相同的权重矩阵 $W_h$（hidden-to-hidden连接），相当于将参数"复用"了 $T$ 次。 参数有效性的量化：虽然RNN的参数量是固定的（例如，对于隐藏维度 $d_h$，hidden-to-hidden权重矩阵 $W_h$ 的大小为 $d_h \times d_h$），但每个参数在序列的每个时间步都被使用，相当于有 $T$ 个"虚拟参数”。这种参数复用使得RNN具有很高的表达能力，但也增加了过拟合的风险。 过拟合的数学表现：当训练集规模 $N$ 相对于模型容量较小时，模型可能"记住"训练数据的细节，而不是学习数据的规律。在RNN中，这种过拟合表现为：训练集上的困惑度（perplexity）很低，但验证集上的困惑度很高，模型无法泛化到新序列。 问题二：传统Dropout在RNN中的失效 传统Dropout在RNN中直接应用会导致严重问题。Dropout的核心思想是在训练时随机将部分神经元输出置0，迫使网络学习更鲁棒的表示。但在RNN中，这种随机失活会破坏循环结构。 循环连接的脆弱性：RNN的循环连接 $h_t = f(W_h h_{t-1} + W_x x_t + b)$ 依赖于前一时刻的隐藏状态 $h_{t-1}$。如果在 $h_{t-1}$ 上应用Dropout，会导致信息在时间维度上的传播被随机打断，网络无法保持长期记忆。 数学分析：假设在隐藏状态上应用Dropout，则： $$ h_t = f(W_h (\text{Dropout}(h_{t-1})) + W_x x_t + b) $$ ...