护城河排序：数据 > Infra > 算力 > 算法 ≈ 人才

这是他给出的排序，而且愿意为它背书。

数据排第一，这个倒不意外。垂直领域的数据稀缺、难复制，AI 很难直接生成。通用数据各大 lab 已经跑遍了，真正有价值的是你业务里积累的、别人没有的东西。对独立开发者来说，这其实是个好消息——你在某个细分领域深耕积累的数据，大厂未必有。

但真正让我坐直的是他对 Infra 的判断：这个护城河在变窄。

他自己对比了三个月前的体感，AI 写代码让效率提高了至少 10 倍。如果这个趋势继续，以前需要强工程团队才能搭起来的东西，以后一个人加 AI 就够了。这不就是一人公司的底层逻辑吗？基础设施不再是门槛，个人能调动的工程能力在飞速膨胀。

算法的地位他认为被高估了。硅谷没有秘密，一个新方案出来，两三个月后基本都传开了。DeepSeek 在残差连接上做了个魔改，很快有人发现简化版效果差不多。算法改进要么是微调，要么是颠覆性跳变——但跳变什么时候来，没人说得清。

大模型的两层记忆，理解了才能用好

很多人以为上下文窗口就是大模型的全部记忆，这个认知是不够的。

短期记忆：上下文窗口。 当前对话里的所有内容，快、灵活，但有上限。窗口满了表现就开始变差。他们 2023 年在 Meta 做的 Positional Interpolation，把长上下文的位置编码映射到短上下文上，用很小的训练代价实现了窗口扩展——各家后来大幅拉长 context window 基本都是从那篇文章开始的。

长期记忆：模型权重。 预训练写进去的，很难改变。预训练做得好，模型后续什么任务一点就通；预训练不够，你得把每一步都解释清楚它才能跟上，举一反三想都别想。

这个对我们搭 Agent 的人很实际——你给模型的 prompt 再精巧，也突破不了预训练的上界。选对基座模型，可能比写好 prompt 更重要。

记忆研究的核心矛盾也很有意思：全部记住代价太高，选择性遗忘又可能漏掉关键信息。他们后来做了 H2O，把"重要的记忆"捞回来，让模型在关键问题上还能答对。但这个 tradeoff 现在还没有银弹。

从背诵到顿悟：大模型还差一跳

他讲了个观察女儿学数数的故事，我觉得特别好。

教了很久，好像什么都没记住。然后有一天突然之间，她不只是会数数了——开始对数字大小有感觉，能猜两位数的关系，能举一反三。没人再教什么新东西，但理解发生了质的变化。

大模型目前的记忆方式跟这个差距很大。现在更像是把每条知识存进去，需要时调出来。但那种内部重组、对世界理解的飞跃，还没发生。Google 的 Nested Learning 尝试把所有学习过程统一成 associative memory，逻辑有意思，但还是在记"点"，没形成整体理解。

他引用了诸葛亮的"观其大概"：不看细节，但理解得足够深之后，结论自然出来。大模型现在还不会这个。说实话我也不确定这是不是近几年能解决的问题，但至少知道了当前模型的边界在哪。

强化学习的天花板，可能是预训练决定的

O1 出来之后大家都很兴奋，Test Time Scaling 好像打开了一条新路。但后来有个不太舒服的观察：强化学习推理的上界，可能被预训练锁死了。

逻辑是这样的——强化学习能 work，是因为预训练给了模型大量的思维素材，强化学习在这些素材里搜索，找到对的路径并放大。如果预训练对某个问题的理解根本不够深，素材里就没有解题方法，用多少强化学习都找不到。

所以现在有人开始做 Continuous Learning：在推理过程中同时更新模型权重，不只是搜索，而是让模型在做的过程中真正学到东西。方向还在早期，但逻辑上是对的。

Scaling Law：大厂为什么停不下来

Scaling Law 是有效的，但代价在以指数级增长。存储是瓶颈，电力是瓶颈，单卡内存不够就要切片、增加通信延迟，整个效率链条都在被拖慢。

那为什么 OpenAI 和 Google 还在这条路上跑？田渊栋说得很直白——路径依赖。大厂把所有 team 都建好了，已经形成了一台运转的机器。让它转向去做一个不确定的新方向，非常困难。继续沿着 Scaling Law 走最安全：不需要太多脑筋，见效快，只要投入就有产出。

等回报越来越少的时候，大厂才会开始想别的。这反过来说明，小团队在新范式上可能更有优势——没有包袱，转向成本低。

Agent 的洪水已经来了

这是他年终总结里写的：洪水马上来了。

大部分人没感觉，因为不是 AI 从业者。日子还是岁月静好，直到某天突然发现自己被裁了——这次不是因为跟老板有矛盾，不是因为在这家公司做得不好，是全行业的逻辑变了，技能在任何地方都没有用了。

Agent 颠覆的不只是工作方式。你以前花两小时在亚马逊找东西、比价、下单。Agent 不会被闪烁的特价按钮吸引，不会因为广告 Banner 点进去，它只看最优解。整个电商逻辑、整个广告逻辑，都会变。已经有人在用 Agent 帮自己买东西，说买得很开心——Agent 知道他所有的偏好，效率远高于自己浏览。

这不是五年后的事。

关于下一代，他只有一个答案

未来二十年会是什么样，他说真的不知道。以前写科幻，一个想法可以慢慢写，因为五十年内不会发生。现在倒过来了——想法如果不写，明天就变成历史了，不是科幻。

能确定的只有一点：人的目的性，是机器替代不了的。 不是说 AI 技术上不能替代，而是那部分如果被替代了，这件事就失去意义了。一部小说、一件艺术作品，它的价值在于一个人有了某种冲动，把这个冲动变成了现实。这个冲动不能外包。

所以教育下一代，核心只有一件事：让他找到自己的动力。有了动力，工具他自然会用，方向他自然会找。

说到底，做一人公司也是一样的道理。AI 把工具门槛拉平了，Infra 护城河在变窄，Agent 正在重塑所有行业的逻辑。剩下来真正属于你的，就是那个"为什么要做这件事"的冲动。想清楚这个，然后让 AI 去执行——这可能是接下来几年最值得练的能力。