如何评价张小珺对姚顺宇的4小时访谈？
硬科技 | 数码 | 美食，欢迎沟通
310 人赞同了该回答
全文贴过来，给各位做个参考。我觉得信息量蛮大的，也蛮有意思，没事了看了两三遍，我水平不够就不做评价了。
本内容源自B站语音转字幕，采用DeepSeek V4 Flash去口语化与修订，张小珺微信公众号有精简版全文，我觉得丢了一些语气细节，以下是接近原始版的全文：
张小珺： Hello，大家好，我是小俊，今天我们的嘉宾是Google DeepMind研究员姚舜禹。硅谷有两个很有名的姚舜禹，一个之前在OpenAI跳槽去了腾讯，出任腾讯的首席AI科学家，他之前也来过我们节目。那今天我邀请的是另一位姚舜禹，他此前在Anthropic，现在在Google DeepMind。我们从近期一系列的模型巨变开始聊起，那接下来就是我对舜宇的访谈。
姚顺宇： Anthropic作为一个公司来说，他能够实行这种比较Top Down的机制，是一个很独特的事。这对于其他模型公司很难吗？很难，比如说OpenAI就干不了。Google也比较难打。大公司和Startup，他打法本来就不一样。因为Startup重要的是Make Bet，就是我得赌一件事。我觉得现在大家每个人都是冲浪的人，本质上是一个浪，而不是你那个冲浪的人。我觉得AI这事本来也不太需要脑子，需要脑子真的不太需要。需要什么？我觉得这个行业最重要的特质就是靠谱，做事细，然后对自己做的事负责任，这是最重要的特质。
张小珺： 硅谷不是有两个姚舜禹吗？你要不要先给大家介绍一下你自己，然后给大家科普一下两个姚舜禹的区别？
姚顺宇： 可以。我叫姚舜禹，然后显然也有一个跟我几乎同名的朋友。我们俩主要履历也有一些Overlap，所以说可能看起来非常难以区分。我是以前是做学物理的。我本科时候在清华，那时候做宁泰理论。然后后来去斯坦福做理论高能物理，和量子信息、黑洞相关的一些方面。然后离开斯坦福之后，去伯克利短暂的待了两个星期的Postdoc（博后），然后就离职了，去了Anthropic。在Anthropic待了一年，去年9月底10月初的时候加入了Gemini。如果大家非要区分的话，我觉得最大的区分就是那个顺序：他一开始就是一直都是做CS，就是计算机相关的；我其实从某种意义上来说是半道出家，我之前是做理论物理为主的。
张小珺： 你们是不是好朋友？你们好像大学就认识，而且是一级的对吧？他是一个什么样的人，你是一个什么样的人？你评价一下他，你也评价一下自己。
姚顺宇： 对对对，我们本科就认识。因为我们本科是一级的，在清华。但他一开始就是学计算机的嘛，所以他在那个姚班，就是计算机科学实验班；我是学物理，所以我在基科班。后来他去了普林，我去斯坦福。这可能也是另一个有点令人费解的点：好像这个普世世界里，觉得斯坦福应该是学计算机的人该去的地方，然后觉得普林斯顿是学物理的人该去的地方，但我俩反过来，所以说也可能产生了一些费解的事情。我俩其实也还真挺不一样，我觉得他是一个比我有趣的多的人。我从他身上在过去也是能学习到一些和我很不一样的点，比如说他可能花了很多时间去思考在AI方面，人和AI的交互，包括一些产品上的事情。我觉得对我来说是一个很不一样的朋友，我也从他那学到了很多东西。
张小珺： 你们之前在硅谷的时候多久见一次面啊？你们现在是不是还频繁打电话，多频繁？
姚顺宇： 我们在硅谷的时候见面确实挺频繁的，可能没几个星期吧。但是好像见面主要是为了凑一块玩。玩啥？就是真的就是纯玩，可能出去散散步扯扯有的没的，然后可能有时候吃个饭，打个牌之类的。她回去之后，其实我们也也还是经常会打电话。最近一次电话聊事了，好像就是前一两个星期。你怎么知道的？可能就是会过几个月，然后就开始Update一下大家过最近的近况吧。
张小珺： 他是不是多次想把你拉过去啊？
姚顺宇： 可能有这个意思吧，但是不关键不关键。
张小珺： 你为什么不去啊？
姚顺宇： 我觉得对我自己来说，我没想清楚吧。多半是我自己的原因。我也没有去任何中国的地方，我觉得主要原因是因为在去年的9月或者8、9月的时候，我离开Anthropic，然后离开之后决定要去哪时候，最大的动机是我想学一些不一样的东西。对我来说，我可能就没有更着重去考虑能够去领导一个项目或者领导一个Project，我更多的是优先去学习一些东西，所以那个时候选择去了Gemini。
张小珺： 我发现你们两个老被放在一起比较和讨论，对你来说是困扰更多还是享受更多？
姚顺宇： 我没什么感觉。因为我这个人也不太关注社交媒体，所以我真的没什么感情。
张小珺： 因为那个舜宇他之前在去年的时候说，AI进入了The Second Half，进入下半场，这个成为了一个非常有名的观点。你觉得今天的AI在一个什么样的时期？你能给他一个定义吗？
姚顺宇： 对我来说，我可能看的没有那么清楚，什么叫做上半场，什么叫做下半场，或者说这个定义一直以来对我并不是特别清楚。对我来说，确实现在AI进入到了一个阶段，就是我觉得大家都已经开始不那么担心一件事“AI是不是能够做得到”，而是担心这件事是不是被良好定义。我觉得这是一个很大的区别。比如说我觉得一年之前，就是可能去年年初的时候，那时候我在Anthropic，大家可能担心的事情还是说“OpenAI这个Reasoning做的这么强，我们有没有机会能够追上，然后有多大的机会能够超越他”，大家还很担心这个事。我觉得现在，在这至少Gemini、OpenAI和Anthropic这三家当中，没有哪一家会真的担心自己追不上。我觉得现在大家更难的事情，是去想明白要去做什么。这是一个Bet，是一个赌，但是也是一个很需要人的Insight的事情。
张小珺： 那这也意味着模型的能力被拉平了，对不对？它变得同质化，变得商品化。所以模型没有很大的区别，在好坏上没有很大的区别，但是它需要分化。
姚顺宇： 我觉得从用户的实际体验上来说，这三家的模型是能够感受到区别的。但是难的一点是，过去这个区别在纸面上也能看出来。纸面上是指比如像公开的有很多这种Benchmark测量的规范，比如说大家以前能够去看SWE-bench。能看SWE-bench，然后可能数学大家那时候会比像简单一点的AIME，难一点的像MATH。那个时候我感觉就是你从纸面上就能看出来，这个模型好像Reasoning强一点，那个模型好像Coding强一点，那个Agent也强一点。现在就是纸面上大家其实都比较相近。当你去看那个纸面上的消息，比如看SWE-bench，你会发现好的会比不好的可能高一个百分点或者两个百分点，但其实大家都在80%附近。那个附近数字高一点低一点，其实是Noise，就只是噪声而不是信号。但是从另一方面来说，大家使用上确实还是能体现出区别的。就我个人了解到的信息而言，Claude目前仍然是比较通用的这种工具、使用类的Agent表现最好的。在纯粹Coding的方面，可能最近Codex稍微追上了一点，把这个中间的Gap变小了一点。Gemini可能在纯的Reasoning和一些比较日常的使用环境下，目前还是比较好的。然后在Coding和Agent上，还处于一个在接近的这个状态。
张小珺： 这些能力他们是有意选择“我优先发展哪个方向”，还是说它就是好和坏的区别？就是他是能力问题还是意愿问题？
姚顺宇： 我觉得是有意愿的成分在的。尤其在过去的情况下，主要是意愿。当大家能从纸面上就看出区别的时候，那时候意愿肯定是占大多数的。因为像Claude就一直更看重这种使用工具的能力，包括Coding；那可能OpenAI有一段时间非常看重Reasoning。当然了，现在也开始看重Coding了。但那时候肯定是意愿会占大多数，因为你花更有意愿的话，就意味着你能花更多的精力去构建合适的基础设施、合适的Infra，构建合适的数据。尤其数据它是一个从某种意义上来说很花时间、很花精力的事情。所以说那个时候肯定是意愿占主导。但是到现在这个时候呢，我觉得两方面其实都有。因为纸面上都看起来差不多，然后甚至你就做一些更内部的测试来说，这个数字也都变得差别没有那么大了。这时候更难的事情是你该怎么去定义的问题，定义你想要的行为。在这个事情没有定义的那么清楚的时候，模型的很多差异其实来自于一些你想不到的事。
张小珺： 想象不到的事指的是？
姚顺宇： 当然想象不到的事就是，你现在去问我很难给你一个特别清楚的答案，可能过一段时间之后回过头来看我才能给一个清楚的答案。但是我可以举一个想象不到的例子吧。比如说退回可能1年、2年甚至3年的时候，那时候如果你去网上取这些预训练的数据的话，你可能训一个模型就会发现模型在写代码。那时候当然没有这种Agent写代码，他都是写一段代码。那时候你会发现模型写代码会写的很好，但是可能那时候大家不知道为什么。这个里面意外的原因，可能就是你从网上随便的去，如果不做任何的数据的筛选的话，那自然的这个Code Data的质量就会比别的高一点。因为你去看网页，你会发现GitHub的质量是显著比别的正常网页要高的。
张小珺： 在进入我们今天主题之前，你看最近大家都在讨论Manus，你作为一线的研究员，你对这个新的产品形态是怎么看的？你周围有哪些讨论？
姚顺宇： 有趣的是，我感觉这个事情在业外的讨论好像比业内的讨论更激烈。业内有人讨论，但是我觉得对于业内人来说，他并不是一个特别令人惊讶的事。可能在公司内部，也有人已经做了类似的这种实验或者这种Demo，只是可能并没有作为一个产品去很认真的宣发，然后把它打磨然后发出去。事实情况就是你去看这个Manus，最早版本的GitHub的那个Code，其实那个Code从某种意义上来说写的也不是特别的干净。但是我觉得他很重要的事是，他给大家展示了这种可能性。那可能展示这种可能性之后，未来OpenAI自己加入，然后这些模型的实验室或者说一些大一点的创业公司会很快跟上，然后把这东西打磨成一个真正可用的产品。
张小珺： 所以我理解其实在Manus发布之前，Google就已经有人在做这个事情了，只是还没有发布，因为大公司的流程比较长。
姚顺宇： 我至少我个人所得到的印象是这样的，所看到的是这样。
张小珺： 所以这种类Manus这种产品形态背后，它本身说明了什么？在今年出的这个时间点上？
姚顺宇： 我觉得技术上来说，其实并不能说明什么。就是说Manus这个产品，当然它依赖于模型能做的很多事情，但是那些事情的能力其实并不是到今年年初才准备充足。我觉得可能在去年，像Opus 4.5，然后当然那时候Opus其实比OpenAI和Gemini在Tool Use能力上都要强一些。所以我觉得在那个时间点，你做这个事，这个事就已经是可以展示出来了。而且他一开始发布也没有立即就火，他发布了之后过一段时间才火起来。所以说对我来说，技术上它并不是一个那么令人惊讶的事，它是模型能力的自然溢出。我会这样觉得。但是我觉得他可能一个对于大家的惊喜，是说以前可能大家都没有意识到，他让大家意识到了这件事可以做。
张小珺： 意识到什么？
姚顺宇： 意识到了这个你可以让模型做很多不一样的事情，然后把这个事情汇总之后，做一个很长、很长、很长Horizon的这种工作。以前的大家并没有广泛的对这个事产生共识，那这个事情给大家展示了这样一种可能性吧。
张小珺： 你看从去年初火的是Manus，今年出火的是Manus，就是从Manus到Manus的变化是什么？是模型能力的变化还是产品的变化？这也是一个我其实一直没理解的事。
姚顺宇： Manus和Open Cloud之间的质的区别是什么？这是一个我其实自己没太看明白的事情。说实话。或者换句话说就是，可能Manus这个事儿火了，但是如果你要回头问我说为什么Manus做不了这个事？我不明白Manus为什么做不了，可能只是他没做对。
张小珺： 但是你看不管是Manus还是Open Cloud，他们都选择了Manus卖给了Meta，Open Cloud卖给了OpenAI。这个现象说明说明什么呢？为什么他们都卖了？
姚顺宇： 我自己的感受是一个东西如果要长久的生存，还是需要考虑一些壁垒的。壁垒是模型。至少目前来说很多壁垒都是在模型侧，但是未来会不会产生产品侧的壁垒，是说不定说不定的。就大家市场上这都是老生常谈的话题，很多人就谈论这个什么数据飞轮之类的事情。目前来说我觉得没有哪一个场景真正的形成了数据飞轮。甚至AI纯粹原生的应用场景，我觉得目前除了Agent+Coding（写写代码）之外，没有哪个场景是AI真正原生的场景变得非常成功了。因为从某种意义上来说，ChatBot其实是搜索的一个延伸。他为什么不是独立于搜索的？是因为大家其实和ChatBot最多的交互是我有一个问题，我问这个ChatBot，这个其实是搜索本来干的事。但是它带来的比搜索要远强的一个事情是它变得非常Intellective，就是它有交互性，你可以追问，然后它甚至可以帮你总结出一些通过它获取的信息，帮你把它浓缩成回答你的问题的信息。这个是以前搜索给不了你的。但他当然就不是完全一样的需求，但是从大的需求上来说，是比较类似于搜索之前的需求。
张小珺： Manus和Open Cloud，我觉得都是现在最有名的“壳”。但是壳最后都卖给了模型，那是不是说明壳还是难以逃脱模型的掌心？这个逃逸速度不够快？
姚顺宇： 我觉得壳在目前这个情况下活下来，有两种我大概能想象的方式。一种想象的方式就是像你刚刚说的逃得足够快，就是我增长速度足够快，以至于在模型公司反应过来的时候，我其实已经占领了大量的用户心智，然后在模型公司追你产品形态的时候，我又自己研发出了自己的模型。我觉得Cursor就是试图在走这条路。那Cursor其实在这种AI原生场景下，几乎是我能想到的创业公司里增长的最快的。就算这样的公司，他现在也很有危机感。
张小珺： 他有多有危机感？
姚顺宇： 反正我的感觉是对于Cursor来说，现在和Anthropic已经进入了一个非常微妙的关系。就是曾经他们是亲密无间的合作伙伴，后来Anthropic自己有了Claude Code，现在变得非常成功，然后Cursor现在又自己试图做自己的模型。所以Cursor在努力的训练他的Composer。所以说我觉得都不用说未来，其实现在就是，他们已经处于一种比较竞争的关系了。如果在竞争中输掉的话，我觉得是比较麻烦的。因为代码这个事情，它本质上是一种服务于专业用户的专业需求，是一种效率工具。效率工具很容易出现的一个场景就是赢家通吃，我觉得这个是不管对Cursor还是对Anthropic，还是对任何一个做Coding的公司来说，可能都是他们比较担心的事。这是刚刚说的第一条路：要快，就是你长得够快，你在别人还没想吃你的时候就疯狂涨，等他想吃你的时候已经足够大。另一种方式就是这市场足够的小，小到模型公司根本懒得去管。我觉得Midjourney就是这一个例子。这个市场小到可能虽然你说咱们俩努力一把，能不能做专一那个事？可能花一些精力，花一些钱，花一些Data是能做到的，但是足够小，以至于可能咱们俩就不是很会在那上面花时间了，看不上。那可能也是一种活下去的方式。
张小珺： 逃出模型的手掌心，有谁成功逃逸了吗？
姚顺宇： Midjourney，大的就我目前还没看到，小的可能没证。那这个例子当然肯定有别的例子，只是我还没看到。小的我觉得会有例子。Notion算吗？我觉得他们有机会。反正就不能做那种通用的场景，我觉得这是Founder自己要决定的一件事：你要不要抱着万分之一的生存几率去赌一票大的，还是抱着1%的生存几率去先吃另一个小的事情。
张小珺： 如果是你，你会怎么选？
姚顺宇： 如果是我，我内心肯定是想吃一票大的，但是我真诚的想是，我觉得第一步是不能一步登天的。所以如果是我，我会选择去吃一个小的，但是我会选择一个有想象空间的小。
张小珺： 你说OpenAI为什么要收Open Cloud？Meta为什么要收Manus？Google为什么谁也不收啊？Google也收了，Google买了Windsurf的人。
姚顺宇： 我不理解。说实话就是我我不理解。我觉得Meta买Manus这个事儿，我觉得对他们来说最大的用处就是，如果抛掉花了多少钱之外，最大的用处是获得了一批很好的在亚洲的产品团队。
张小珺： 在亚洲说明什么？
姚顺宇： 我觉得一方面就是显然大家都知道，中国的AI人才储备还是很丰富的。虽然可能目前从技术上，纯技术上来说，中国AI还没有真的追上美国，但是显然中国是有很多好的人的，不管是从纯技术上还是从产品上。我觉得可能中国的本质上人才是比美国要更好的。所以对他来说，我觉得Manus成为了他在新加坡的一个锚点，就他可以从那里吸引一些从中国的或者是新加坡或者东亚的人才。我其实没有特别看明白这个产品本身对Meta来说有多重要。或者换句话说就是，为什么Meta不能自己干这个产品？
张小珺： 但是不管是Manus还是Open Cloud，它事实上就是诞生于外面的团队。为什么不是硅谷的这一帮研究员做出来的呢？你有没有反思过这个问题？
姚顺宇： 对，我觉得一个公司一旦变大了之后，他的负担也变大了。就说我作为一个研究员，我们可以做一些看起来很有趣、很有特点的产品。但是我一旦把这个产品去公开给公众，那要负责的事情是非常多的。第一你这个产品不可能说一上线，然后告诉所有用户“你得再去买一台电脑干这个事，否则他就有可能会获得你电脑上所有的权限，然后把你系统搞崩”。作为一个大公司，Google是不可能提供这样的产品出去的。所以你产品要花很多时间打磨，你要确认法律上他没有一些风险，用户上又不会损坏自己的品牌。如果你把它送出去了，你可能还要给他比较固定的一些资源去Serve这个模型或者Serve这条产品的线。所以这对大公司来说，我觉得还是有挺多负担。但是对于个人来说无所谓，就是我反正是一个开源的项目，我代码垃圾又如何，你帮我来一起写吧。但是不管是Manus还是Open Cloud，它其实指了一个方向，可能就是2026年的某种叙事的可能性。
张小珺： 你对2026年怎么样思考和预期的？
姚顺宇： 我觉得其实有太多的可能性。对我来说，从模型能力上来说，我觉得模型做到“Train with finite context， Use as infinite context”。就是换句话说，你用有限的这个Context Length去训练它，但是可以在使用的时候用非常非常长，甚至接近于无限的Context Length。我觉得这件事今年是是有机会能够做实现的。这件事情实现之后，我觉得会解锁很多新的应用。因为举一个最简单的例子，你有可能可以让这个模型跟你持续的交互，然后持续的获得你的信息。它在运行的过程中，会持续的根据当前的场景和你的对话，把那些他觉得不重要的信息扔掉，然后就成了大家梦想中的个人助手。我觉得这个从技术上来说，这件事今年是无论如何是会实现。但是当然，现在大家没有达成共识的是技术上怎么去实现这个事儿。显然是有很多技术路线，但是现在更多是属于在尝试哪条路线能够跑通。可能有好几条路线都能跑通，那我们到时候就要去实验上预测在长大用户常用的使用场景下，哪条路线的效率是最高的。我觉得现在更多处于这个阶段，而不是说大家没有想法的结论。就大家有想法，但是要确定哪个想法是最后的想法。
张小珺： 站在这个2026年的Q1，作为一个一线的研究员，你觉得模型的进步速度在放缓吗？
姚顺宇： 我觉得完全没有，完全没有。
张小珺： 它的速度曲线对比25年、24年的变化是什么？
姚顺宇： 这个很难量化了说，因为你得给一个标准，我才能量化的告诉你。如果你给的标准是，我就看在某一个Benchmark，比如说随便一个上，它每一个月涨多少个点，那这个事儿是肯定会变慢的。因为根据定义，这个Benchmark最高就到100%，所以你越接近，那肯定是越跑越慢。但是这可能并不代表用户体验这个模型的能力增长变慢了。因为可能从50%到60%，他可能感觉好了一点，但很有可能从70%到75%，他发现好的比50%到60%那个还多，这是完全有可能。如果是80%到90%，90%到百分之百，这个感受会更显著。那也不一定，因为可能过了可能到80%到90%，用户就发现没有任何区别，甚至还变差了。
张小珺： 你说完全没有变慢，你是基于什么标准？
姚顺宇： 我觉得是基于我个人作为一个研究员的感觉。我觉得我个人得到的感受是，这个模型学东西的能力越来越强了。以前可能让模型学会干一件事情，需要动很多脑筋，但现在可能不需要动那么多脑筋了。最重要的事你是要把这个问题定义清楚，然后想清楚怎么去构建合适的数据（但数据现在数据就更宽泛的指向环境之类的都在内了）。剩下的事情好像很多时候是顺其自然的了。
张小珺： 学习能力变强是为什么呀？模型的学习能力变强了。
姚顺宇： 我觉得可能原因有很多方面，但我觉得可能一方面也是因为预训练其实在过去的几个月里，我觉得还是越来越强了。预训练对模型的预训练，其实在过去几个月里还是变强了。我觉得这个可能是一个从某种意义上来说比较有争议的事，因为几个月以前，我觉得很多人已经在讨论预训练的这个Scaling Law是不是已经到头了。我的体验是没有，而且我的感觉是在未来的四个月，也没有看到到头的迹象。
张小珺： 你觉得到头是为什么呢？
姚顺宇： 我显然不知道大家觉得到头的原因是什么，因为我自己没觉得到头。但是我觉得我的猜测是，一个人觉得一个规律到头了，无非以下两种情况：一个情况是他觉得这个规律的适用范围到头了，就可能从根本意义上讲Scaling Law就是没有办法无穷延展下去的，维持有可能是对的，这是一种猜测，就是这个人可能觉得这个规律的适用范围到头了；另一种可能是这个人觉得这个规律其中的有一个条件不能满足了，比如说他觉得数据就已经撞上墙了，那我完全没有办法延展下去了，这是另外一种可能性。其实还有第三种可能性，就是其实他这个工作哪里有一个Bug，他自己没发现，所以他觉得到头了。从我的观感上来说呢，我觉得绝大多数撞到墙的人是因为第三种。
张小珺： 是哪种Bug？
姚顺宇： Bug是有很多种可能性的。一种可能性是你Scaling Law做的时候，一些科学的假设没有做对，比如说你选什么样的Token Horizon，每一个大小的模型，选什么样的期待的训练的数据量，然后这个数据是从哪里选。有可能是这些比较科学的选择没有选清楚，是一种可能性。但我觉得还有一种可能性就是纯粹有个Bug，这个其实在业界我觉得也不惊奇，很多时候修好一个Bug带来的进展是远大于一些很神奇的技巧的。当然另外还有的情况，我就刚才给的这两种例子，反正是我见到过比较多的情况。
张小珺： 那你们的Bug怎么办，你们怎么解决Bug问题的？
姚顺宇： 我觉得我感觉这更像是一个信念的问题。因为当你遇到一个Bug，你觉得他不能解除，你就会说这个到头了；当你遇到个Bug，你觉得这个肯定可以解决，那你就觉得这还没有到头。因为肯定每个人都要遇到Bug。我觉得这可能就像你说的，就是其中有一些比较信念性的东西。但对我来说更重要的一件事是做事系统。就是当你一个事情和你预测的不一样的时候，你能不能系统性的排除各种可能性，我觉得这个是一个很重要的事。这个是我觉得Anthropic和Google做的比较好的事，就是尤其在预训练上吧。就是说当某一个尺度上的行为可能和你想象中不一样的时候，大家能够去设计合理的、我们所谓的Ablation实验，能够看出来测试你的一些想象中的可能的因素是不是真的因素。我觉得这个做问题的系统性，才是关键。
张小珺： 你觉得模型能力还能提高，那它的驱动力，数据、算力、算法，你觉得它的驱动力主要来源于哪个？
姚顺宇： 我觉得其实都有。但是从某种意义上来说，数据和算力两个事其实是很强关联的一件事。因为你算力上去了，自然就会需要更多的数据；数据上去了，你就自然需要更多的算力。算法上来说，我觉得算法作用往往是有一个相变的。就是算法有一个阶段是你完全没有搞清楚该怎么做，那个阶段算法会非常非常关键，因为你没有完全没有搞清楚怎么做的时候，你可能就完全没有办法Scale up，然后可能就卡在那了。但是在某一个点，你可能发现了算法当中最重要的一件事，那他可能一下子就变成了从完全不能做变成了能做。然后之后算法的提升，更多的是一种比较平滑的提升，就是他可能从默认上面提高了你计算效率，或者使用数据的效率。我觉得就举例吧，就比如说从语言模型的预训练来说，那这个算法上的这个跳的过程，就是发现就是发展出Transformer这个事情。但是Transformer发现之后，更多的都是慢慢平滑的让它的效率，或者你使用数据或者使用算力的效率变得越来越高了。所以现在的驱动力是算力和数据。我觉得在现在比较清晰的框架里面，主要的驱动力是算力和数据。清晰框架是指比如说预训练和后训练，不管是基于强化学习的后训练，还是基于Supervised Learning就是监督学习的后训练。也在这两个比较清晰的Paradigm下，确实算力和数据是主要的驱动力。但是不可否认可能有别的方向，可能驱动力是算法。举个简单的例子，比如说多模态生成，那个我觉得可能就是一个算法上来说没有太想清楚的事。所以那个还是个科学问题还没有解决。但是语言已经不是科学问题了，自然语言的生成我觉得目前这条技术方案撞到头之前，我觉得在科学上是比较清楚，但是工程上也还有很多很多会要很多要做的事。
张小珺： 你觉得预训练还能提高多少？通过预训练提升模型能力，还有多长的路可以走，可以预期到？
姚顺宇： 人就是这样，就是当你没有撞到头的时候，你其实不知道这个路有多长。我能看到的就是现在还没撞到头，但我也不知道哪天会撞到头。如果真的让我去估计一个时间线的话，就像刚才说的，我觉得接下来四个月是还是会继续有进展。但是AI这个方向没有人能预测四个月之后的事。
张小珺： 所以过去几个月，你在看预训练和模型能力的时候，你还是很兴奋的。这是你周围的普遍的心态和状态吗？
姚顺宇： 我觉得是的，我觉得是的。
张小珺： 这是在Google一个小环境里面，还是说在整个硅谷的环境里？
姚顺宇： 我觉得很难说在整个硅谷，因为硅谷是个太大的地方。可能做产品的人对产品很兴奋，做产品来说对他们最兴奋的是可能有Manus。但是对做模型的人来说，可能就是我们会对这种模型的进展更兴奋一些。我觉得就在对于做模型的人来说，兴奋是一个共识吗？在过去四个月，我个人认为是的。在我至少在我能接触到的范围内，我觉得在Anthropic和Google，大家或Gemini，大家可能想的更多的是“我们AI会不断的进展下去，很快我们就要被替代掉，替代掉之后我们该干点啥”，而不是模型撞到头了该怎么办。
张小珺： 说到这个问题啊，为什么在过去几个月，Coding的发展速度是最快的？为什么是这个场景？
姚顺宇： 我觉得Coding这个场景，首先Coding这个事儿不只是在过去几个月发展最快，我觉得Coding这个事儿其实从Claude 3.5 Sonnet（就是外界有人管那个Claude 3.6），从那个之后一直都处于高速发展的状态。应该是前年的10月份或者11月份，差不多那时候。从那之后，我就一直都处于高速发展状态。我觉得Coding这个场景有两个最大的优势。第一个优势就是他的Reward Signal，就是他的那个回馈的信号是很好定义的。因为比如说像Software Engineer这种Task，有时候经常情况就是我需要写一个Code，实现一个Feature，一个特征。这个特征需要的是某些输入，会得到某些输出，这就是一个很容易能够测试的事情。所以它的回馈信号非常清晰，你输入和这个输出能够对，那就说明你的实现是成功的；不对，那就说明不成功。但这只是一个例子，就是在这种和写Code的相关里面，有很多很多这样良好定义的回馈信号。另一个比较大的优势是，Coding的数据有一个非常天然的基础，这个基础就是GitHub。GitHub上汇聚了过去几个几十年很多很多优质的程序员所写下的代码，然后从那些代码出发，是可以构建出非常非常非常多环境。我觉得这两件事从模型的角度上来说是为什么Coding可以做得很好。当然我觉得从产品上来说，还有另外一方面的原因，就是Coding这个产品的使用需求，其实是从某种程度上来说是比较单一的。他不像你去做一个像社交软件或者游戏，可能每一个人都有不一样的品位，然后你可能很难能够满足每一个人的需求，那可能就是需要推荐算法。但是Coding这个事，好的事情在于优秀的程序员写代码，其实风格是比较类似的。什么风格？简洁干净。好的代码是不脏，是有一个有一些共同的标准的，比如说像你说的就是这个代码简洁、结构清楚、适于未来的开发、有合理的抽象。当然还有别的很多好的标准，但是好的程序员往往是有比较共识的标准。对这件事，所以这件事从产品上来说，其实让Coding这个产品变得更简单了。
张小珺： 那你现在的工作百分之多少会用Claude Code写代码？它能帮你提高工作多少倍啊？
姚顺宇： 你问了一个我差点会被开除的问题，我Google不能用Claude Code的。就是我觉得对我来说，一个保守的估计，可能90%的Code是模型产生的。但是可能就是我需要花很多时间去去看这个Code是不是写的合适、写的合理、是不是真的是我想让他写的。我觉得有了AI辅助工具之后，可能写Code的这个事儿，最重要的地方变成了你怎么去设计你这个Code的逻辑，然后他需要和哪一个文件相关联，然后需要做哪些事情，然后你需要给这个模型可能给一些合理的Context，比如说这个Code你可以做一个Reference去看一眼。真正去输出Code的，我觉得模型比人的能力强太多了。所以说对我来说，你要实际去数有多少行Code是我自己手写的，有多少行Code是模型写的，我觉得保守估计模型写的超过90%，不保守的可能就是99或者100。
张小珺： 剩下10%是还不能写，还是为什么你没有让他写？
姚顺宇： 保守估计90%给我自己点面子，我觉得他不能写，而我能写的部分已经越来越少、越来越少了。过去可能是什么样的事他不能写的？我觉得很早的时候就是可能在一年半以前，那个时候市面上其实说白了就是只有Claude一家能够真的写这种软件工程Code。那个时候模型还是能体会到很多很多缺陷的，比如说他有时候可能写Code就只关注这一个文件，他就不会很关注那种多个文件之间的关联。然后如果一个Class，它的定义其实藏在很多层以后，或者说他其实没有直接被套在这个直接的树里面，可能这个模型找就找不着。现在我觉得这个事儿已经越来越少了。
张小珺： 作为一个Researcher，你的写程序的工作量能够是过去的多少倍？因为从写Code的角度是比较能难量化这个事。
姚顺宇： 但是如果说从比如说我做实验，然后实现一些Idea的效率的上来说，我觉得可能比起一年甚至一年半以前，可能都是20甚至50倍的这种加速。因为现在模型真的变得就是可以很离谱，就是你可以同时开好几个，然后你好几个Idea同时的去解释。甚至有些时候，这个模型可以帮你监控一些实验、监控一些结果之类的。所以说还是真的是一个挺大的效率提升。但是如果从个人工作时间上来说，我觉得他好像让我工作时间变更长了。
张小珺： 这是为什么？
姚顺宇： 就是因为开发的速度变快了之后，就越试越想试，有越来越多的想法要去试。所以说感觉以前你可能存在说，你有一个东西，比如这个文件以前没见过，你可能自己看，你搞得不是很明白，那你得花时间去找那个人，然后你约那个人可能就几个小时之后。但现在就不是，你就看到这个文件你不懂，拿去问一下Claude或者Gemini，可能五秒钟就告诉你结果，你就接着干了。所以说从工作时间上来说，我觉得好像工作时间反而变长了，而且工作的密度也变高了。
张小珺： 好，Google已经不是那个Google了是吗？不是那个养老可以养老的Google，不是那个Work Life Balance的Google。
姚顺宇： 我感觉在AI这个领域没有谁可以养老。
张小珺： 所以你现在早几晚几啊？
姚顺宇： 我一般可能早上九点钟开始。九点我就早上九点钟起来，可能先起来看一下邮件，然后看一看我前天晚上实验。到公司可能一般十点左右。晚上如果我一个人在美国的时候，我可能就会待到可能10、11点这样。当然如果我我家人在，我老婆在的话，我可能就会早一点回家，但是在家反正也是干。所以我觉得在这个AI这个领域，没有谁是在躺着的，除非就是你已经完全对技术没有兴趣了，对自己没有追求了。那你躺着其实也没有人管你，但是我觉得大家还是比较Self-Driven，就是还是自己想干。
张小珺： 你觉得其他的领域会出现更多的这样的Claude Code的时刻吗？Coding之后会在哪里爆发？
姚顺宇： 你问了一个好问题，我要是看清楚了，我可能已经出去创业了。但是除了Coding之外，我们已经能看到对很多别的方向已经产生大的影响。但只说那些方向可能并不是一个好的市场上的方向。比如说好多现在的做基础科学的研究，比如做数学、做理论物理，好多人其实已经大量的开始使用AI工具。因为过去你可能做AI研究很像，就是说你可能想到一个想法，你想跑一个数值，学物理的人又不怎么会写Code的，光学明白怎么打开这个编译器把Code跑起来，可能半天已经过去了。现在就没有这个烦恼了，你现在想试，5分钟之后Code写完了，你就可以开始试了。甚至像Gemini Deep Think发布之后，有很多基础科学的研究人员就把这种数学推导、数学证明，甚至就是去看这些不同的这种文章然后归纳这些事，全都交给模型了。所以已经我觉得对除了Coding之外的方向产生了影响。当然就是那些基础研究，你可能很难就是变成一个万众瞩目的事情。除非你就真的发现了一个以前人都没发现了的很妙的理论，比如AI产生了爱因斯坦理论这样级别的东西，那可能会变成万众瞩目。但那个时刻可能还没到来，但是影响是已经在产生了。
张小珺： 哇，AI好神奇啊，他为什么首先上来做的，都是人类觉得最难的那部分工作？
姚顺宇： 我觉得这是一个特别好的问题。我觉得过去的在我人生的阶段里，大家往往会觉得最有智力上挑战的工作，反而是那些比较理性的事情、比较客观的事情。比如说数学，比如说写代码，比如说做AI研究，还有科学研究。越是这些事，其实AI越容易做好，因为你一旦想清楚这个事怎么去评价。
张小珺： 为什么比较难呢？你看人都是智力分配最高的那部分人做这些工作。但是未来可能就不是这样了，未来会怎么样？
姚顺宇： 未来会发生了一个改变，就是有很多AI其实没有那么容易做，但是反而是人可能做的比较好的。比如说做产品经理，我实话实说觉得做好一个好的产品经理是一个我现在想不明白该怎么训练AI去做的事。
张小珺： 这是为什么？
姚顺宇： 没有标准，就是没有刻度。什么叫做一个好的产品？我其实想不太明白，没有一个很客观的标准。你一定是做出来了之后给人用了，你才知道它好，然后大家才会说它好。那个就是一个回馈信号很不明确的事，那个我就不知道该怎么去训练AI做。
张小珺： 对程序员什么时候会被彻底取代吗？会有会有这一天吗？
姚顺宇： 我觉得这一天会来，但是他不会是一瞬间的来。就不会是程序员都还在，过了一个晚上，第二天程序员全被开除了，不会是这样的。他一定会是一个渐变的过程，但是大家现在已经看到这个渐变的过程了，因为有一些公司已经开始裁员了。我觉得从某种意义上来说，AI是一个从某种意义上来说，他同样是一个很好的东西，但从某种意义上来说，他可能也是一个很不幸的事。就是AI是一个很Centralized的Technology，它会让少部分人变得更强，但会让大部分人失去他们的独特价值。所以说我觉得对于传统的软件工程来说，最后变成的结果可能就是，现在1‰的人干了过去所有人的工作，拿着现在100倍的工资。
张小珺： 那你对程序员有什么建议？
姚顺宇： 我觉得接受新事物吧，我觉得很重要。我觉得未来程序员可能很重要的一件事是，怎么和AI有效的协作。比如说有很多事情是AI可能做的不是那么好的事，比如说怎么去合理的设计一个一个事情的实现方案，然后怎么样设计让它可能跟这个公司未来的发展比较契合。那这些东西可能你很难去告诉一个模型，让他理解这些事，那这件事可能还需要人去做。但是可能像具体的、很具体的，就是像过去很多程序员做的工作，是你的经历告诉你实现这个方案下周五之前给我，我觉得这样的工作未来可能就不会再存在了。
张小珺： 那1‰的程序员会是什么样的程序员？他们的特质是什么？
姚顺宇： 首先1‰是个虚数，我真的不知道会是1‰还是万分之一还是十万分之一，也可能是1%，你不要那么悲观。我是一个著名的悲观主义者，所以说也不要太那什么。我觉得未来好的程序员，首先他肯定是从技术上来说，他一定是会非常强。因为如果你技术上弱，那没有什么道理AI不能取代你。但技术强可能不会是唯一，就不会是一个必要条件，它可能是个充分条件。另一个事情我觉得会很重要的，就是你得能够理解你的这部分工作在一个大的组织或者一个大的公司里，该怎么适配进去，这件事情可能也是一个重要。当然还有可能别的很多事情，比如说这个人的规划能力是不是足够强。他规划能力强的话，他肯定可以同时把这个一个很复杂的事情拆解成很多相对较小的事情，然后交给不同的AI去做。但是现在看这三种能力是重要的，可能AI还不能完全做，不代表六个月之后不能。可能六个月之后你过来问我，我发现最后一个事AI已经能干了，那就只剩两个事；再过六个月，可能剩下两个也能干了，那可能我就我的回答就会变得更悲观。所以说没有人能预计6月之后发生什么，我只能说从现在的观点来说。
张小珺： 刚过去的那个春节，很多人关注另外一件事情是Cicada。Cicada会让Google焦虑吗？
姚顺宇： 我觉得有可能有，但是这个焦虑的情绪目前还没有传导到我这儿。可能让Google DeepMind负责多模态生成的团队会有一些压力。但是如果你要问我的话，我觉得我可能不觉得他们有什么可焦虑的。就是我觉得并没有体现出什么范式上的改变，更多的是我觉得自己在不管是这个产品的效果，还是可能在数据上之类的这些细节会做的非常非常好。我觉得确实是字节过去在多模态生成一直以来都有比较强的优势，但是我觉得至少我个人没有体会到它是一个范式上的变化，那可能就不足以说让大家非常的焦虑吧。但是肯定是有压力。
张小珺： Cicada它的产品能力来自于模型能力还是产品能力？
姚顺宇： 我没在自己也干过，所以我也不知道具体的细节。但是你要让我猜，我觉得可能模型还是占大头的。
张小珺： 模型能力的好来自于什么？来自于数据？因为算法可能没有本质创新。
姚顺宇： 算法，因为刚才多态生成咱们说的，就是还属于科学问题，多模态的生成属于科学问题。对多模态生成还是属于一个比较科学的问题。
张小珺： 多态理解解决了吗？
姚顺宇： 比生成肯定是要更系统，有更系统的理解了。但是比起Text Token来说，肯定还是没有那么的范式还没有那么固定。我觉得生成上就是因为它是一个还没有范式上还没有固定的事，可能每家用的技术都会有一些大的或者小的的区别。现在更多的只是能看到说效果上来说，可能字节和Google Veo在属于效果上来说做的比较好。他可能也是来自于细节做得更好。你如果要让我猜，我会猜数据。但是我没在字节干过，所以也是我硬猜的。
张小珺： 你怎么看从Google去字节的吴永辉？
姚顺宇： 我何德何能评价永辉。我觉得我过去没有和永辉一起工作过，所以我其实真的很难给什么很好的评价、很客观的评价吧。但是我觉得我去了Gemini之后，看到了更多的是永辉好的一面。我觉得他是我通过去看他以前教过的代码以及他带过的项目，我的感觉是他是我见到的少数层级非常高然后人也很有Senior，但是还有很强的技术能力，我觉得是非常非常少见。所以我觉得我可能是还没到能够评价永辉的这个水平，但是要让问我说的话，我觉得永辉是非常非常强的。
张小珺： 你说站在2026年的这个Q1的拍一张快照，你觉得中美的模型能力差距是在放大还是缩小？差多远？
姚顺宇： 我觉得如果现在换一张快照，去看过去一年的发展趋势，或者过去一年半的发展趋势吧，显然这个中美之间的Gap是越变越小。但是最后这个Gap会不会完全弥合，甚至中国超过去，那我觉得是一个不清楚的问题。我觉得对中国的AI的研究员来说、研究机构来说也是一个机会。然后我觉得一个很真实的事，就是中国确实在实际的算力资源上来说，是占很大劣势的。但是这个很大的劣势，可能反而逼出了一些有趣的事。比如说中国的模型公司，其实对Distillation就蒸馏别人很在行。
张小珺： 最近达摩院不是点名了三家公司蒸馏它。
姚顺宇： 我觉得其实可能是一个蒸馏这个事存在，是一个心照不宣的事实。但是我觉得蒸馏它也有不同的方式，就是也有硬蒸和聪明的蒸两种不一样的选择。硬蒸就是最举个最简单的例子，就是我从Claude里面取出一堆它生成的Token，然后强行在上面做训练。如果干这样的事，我就觉得首先商业上也不是很道德，然后智力上来说也比较愚蠢。因为干这个事的公司，其实本质上来说它体现出来的一件事，就是它其实都不知道自己想干嘛，它能干的唯一一件事就是抄别人，然后让自己的模型数据上能看的好看一点。对，这就是硬蒸。但是其实蒸馏也有一些很有趣的科学问题。就是比如说我是不是有一种，可能就随便举个例子，就是有没有可能是我生成，我自己生成数据的这个链条当中，用到了别的模型作为辅助，或者说我自己模型生成的答案用别的模型作为它的评价者。这个其实是一个我觉得商业上来说比较灰色的地带，但是从技术上来说其实很有意思。因为你想，其实从某种意义上来说，可能中国的实验室成为了做Multi-Agent的训练的先驱，而且是真正的Multi-Agent。因为他如果从不同家的模型里，用这种比较聪明的方案把他们融汇到一个训练系统里的话，每家模型它可能是分布很不一样，它的语言的分布是很不一样的，这个是就是是真正的王炸。它可能比起比如说我用了好几个Gemini一块做，是一个技术上更有趣的事。所以说我觉得对我来说聪明的人，我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事，但是技术上其实很有意思。
张小珺： 你这两种分别说的是谁？能不能后期把名字哔掉？
姚顺宇： 我首先没有在中国的Lab干过，所以我不知道确切的事实。但是我的感觉就是应该是硬蒸了，然后可能曾经硬蒸过，但是后来可能慢慢也在努力向软蒸的方向转化。我觉得比较明显，可能蒸馏的比较少的是DeepSeek，我觉得字节也是。我感觉这个模型还是比较有特点。
张小珺： 但特点体现在哪里啊？比如说这个模型，你说他有多聪明呢？我觉得豆包是肯定没有Gemini和Claude聪明的。但是豆包，首先比如说豆包的语音生成非常非常强。
姚顺宇： 这个很难吗？在技术上确实豆包是做的最好的。因为我发现我生活上的问题，我只想问豆包，因为它很快。
张小珺： 但其他模型为什么不优化这个产品功能呢？
姚顺宇： 我觉得还是跟他的用户群体有关系。在美国，我觉得大家的这个想法更专注于怎么能够提高工作效率。
张小珺： 你生活没有一些困惑吗？
姚顺宇： 我个人确实是一个生活上比较无聊的人，所以我生活中没有很多有趣的困惑可以去问豆包。我生活中更多的困惑都是技术上的困惑，问Gemini这种聪明的模型就是最好的。没有什么半夜去打豆包情感电台的需求。
张小珺： 不只是情感，就是很多，比如说你做饭，你可能会遇到一个什么问题，你可能及时需要一个有人告诉你，但是你又没有不知道没有这样的人。
姚顺宇： 那些我觉得可能更多是数据上的问题，然后可能更更多的只是说美国的公司现在主要的优先级是在智能或者工作效率上。未来有一天会不会变成这些日常的事情，我觉得是是有可能的。事实情况是你如果去问这种日常话题，其实你能发现Gemini每一代到另外一代会做的也越来越好。其实我身边很多朋友，包括我自己以前也是，就是我以前在超市的时候可能写Code会去问Claude，但我可能日常查个什么东西，我就会去问Gemini。
张小珺： 你用过豆包没有？
姚顺宇： 我其实只用过一两次。
张小珺： 我发现你们都不怎么用啊，是不是有鄙视链，有智力的鄙视链？
姚顺宇： 没有没有没有，不至于不至于。首先就跟在中国的人试图用美国的模型会有一些复杂的事一样，我在美国用中国的模型其实也是挺复杂的。第二就是确实也没这个动机，尤其我觉得我可能生活中，工作是工作，休闲的时候就是做不一样的工作。所以对我来说，我的最好伙伴就是Claude和Gemini，但是可能对别人来说并不是这样，所以可能也只是我个人的问题。我自己用豆包的那一两次，是因为有人给我展示豆包手机。
张小珺： 你怎么看豆包手机？
姚顺宇： 我觉得是一个很好的想法。我我个人觉得效果上来说其实做的也不错。当然我不知道的是技术上来说，它的优化做的有多好。就是说它实现一些任务的实施从效果上来说是没什么问题，但我不知道它会有多大的消耗。如果这个消耗非常非常大，那可能是一个技术上需要解决的问题，因为你并不希望你的模型去给你订了一张高铁票，结果我花的钱比高铁票还贵，这个肯定是一个不可以接受的事儿。所以说技术上来说，我个人不清楚它有他有多成熟。然后我觉得产品上来说对大家来说还是一个挺不能说惊讶吧，但是让大家觉得挺兴奋的事。然后我觉得可能苹果以前也想干这样的事，其实苹果可能自家的模型一直不太行。
张小珺： 苹果好像不是很在意他的AI战略？
姚顺宇： 现在我我觉得呢苹果一定是在意AI战略的。因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点。但是自己的模型没赶上趟，现在可能要和通过和Gemini合作来试图做这样的事。至于现在他是不是重视，首先我也不知道。你要让我猜，我肯定觉得是重视，但你要让我解释他为什么要从外界来看没那么重视，我的唯一猜测就是，如果你外界来看就显得很重视，还做不成，那就显得很蠢。挽尊。
张小珺： 我们说一下豆包的模型啊。你刚才说豆包模型比较有特色，你具具体一点。
姚顺宇： 一个是他语音做的很好，这是第一点。我觉得语音做的很好，是我能感觉到最有特色的事。我觉得语音这个效果可能是客气的说可能是全世界最好的之一，不客气的说，我觉得就是全世界最好的。
张小珺： 这很难吗？
姚顺宇： 我自己没做到那个地步过，所以我也不知道是不是难不难。但是我觉得可能是一个很费工夫的事，不管从数据上还是各种优化上来说。它是个产品的事，还是个模型的事？它一定会是模型的事，它有可能也包含一些产品的部分，但一定是一个模型的事。我觉得这是一方面。另一方面我自己感受就不多了，因为我其实用的机会没那么多，那可能就是更多的是来自于亲朋好友的反馈，也就是说这个豆包这个模型就是Fun to Talk，就是聊起来很有趣。但我觉得那个更多的是一些主观的反馈了。我觉得他那个一个是语音，然后一个是它生成的很快，也是一个很重要的。因为我很多模型他都在给你展示是思维链，但是我就说那个生活上的琐事，我不想看他的思维链。这个事我觉得技术上并不难，只是可能大家目前还没有花更多时间在这个上面。然后事实情况是，如果你去尝试Gemini 3.1和Gemini 3的话，你会发现Gemini 3.1在完成同样一个一个问题的时候，已经会比以前快很多，然后废话少很多了。所以说我觉得这个不是一个在我看来不是一个技术上的难点，他更多只是什么时候去重视去做这个事。我觉得可能就是现在美国的这几家还都处于在努力把智能的上限往前不断推进，而字节呢当然他也肯定是在推进上限的，但是我觉得他可能就是在用户的优化上也做得很不错。
张小珺： 最近还有一个话题就是中国的机器人很火，在春晚上。我不知道你对这个有没有什么观察？
姚顺宇： 看过一些表演，也在亚马逊上搜过一些价格，确实很惊讶，他居然这么便宜。
张小珺： 买了吗？
姚顺宇： 没买，我买了也没什么用。但是确实我以前会，我不知道，我以前脑海里觉得这种人形机器人，然后当然就是软件层面其实没什么，但主要是硬件。我觉得硬件可能做的这么成熟，那可能怎么也得是个什么大几百万美金这样的。但是好像我去看了一下，价格比这要便宜很多，我觉得这还是体现出中国在硬件这个产业链上还是很有优势的。但是我并不知道它作为一个机器人硬件来说，我觉得确实是非常非常强。然后从软件上来说，没太看明白。我觉得机器人的模型也是一个目前非共识比较大的事情。
张小珺： 怎么说？
姚顺宇： 就是说它我觉得机器人的模型可能更多的处于Feature Engineering这个时代。就是你让你有一个给定的环境、给定的场景，你去优化这个场景，大家是知道怎么做的。但是做RL嘛，做强化学习，构建合适的虚拟环境，还是虚拟的这种这种数据，然后你去做训练是可以提高的，但是他没有很强的泛化性。我觉得这个是就是有没有泛化性，其实是很多AI方向它的一个分水岭。就是一个确定的场景，一个很单一的场景，能不能做好这个事不是最近这几年才解决的，十几年前就能干。就像语言也是，语言在这个基于Transformer这种类似架构之前的时代里，并不是说完全做不了。那时候你也可以去一很强的模型去做翻译，你也可以训练一个很强的模型去做语义分析，但是你不能做的事儿是我可以水平的提高所有的能力。这个我觉得是一个分水岭。然后我觉得Language Model在在Transformer和GPT之后跨过了那样一个阶段，Happened的一个就是可以水平的提高所有能力。然后你可能在一个点上的训练，他会把这样能力抽象的泛化到所有相关的事情上。但是机器人我觉得没到那个阶段，更多的还是在那个阶段之前，就是我有一个单一的场景，单一的事情，然后我能够为这个事情去做优化。
张小珺： 所以你怎么看硅谷的这些机器人团队啊，还包括Gemini内部也有很多机器人的人，你会怎么看？那个方向这算什么，这是你们子方向还是你们的平行方向还是什么？
姚顺宇： 我觉得过去是一个挺平行的方向，但是现在机器人我觉得大家也在尝试，就是能不能利用语言模型作为一个基底模型，然后在那个上面去训练这种类似比如像VLA这种模型。所以现在来说，就和变成了和语言模型这条线比较相关的一条线。然后我觉得我个人的感觉是，他们未来会变得很重要，但是目前还没有找到自己的路。但是他们做的事真的很有意思，我非常推荐大家去看看机器人的实验室，比做语言模型的实验室要有趣得多。做语言模型的实验室感觉就是正常的办公室，但机器人他们是真的就是会有人去操控这个机器人采集各种数据，然后去看这个机器人在货架里去取不圆样的货品之类，干这种事情。觉得是很有意思的一件事。
张小珺： 你去的是哪家？
姚顺宇： 我去我在Gemini自己的实验室，就是Google DeepMind自己的实验室去看过，然后还有那个DexNex我也去看过，他们是个叠衣服的机器人。他们就是可能场景更单一一点，就是我叠衣服是一个机器人，可能做一些别的产品，就比如说倒个水啊之类的这样。
张小珺： 你直观感觉，机器人进展相当于大语言模型的哪一年？还没有到GPT1的时刻对吧？
姚顺宇： 一定没到，我觉得一定是没到的。就是相当于大家还没有没有想明白怎么去Scale up。我觉得对我来说，不管机器人还是多模态生成，都没到这个点。
张小珺： 那接下来要进入今天的主题啊，我们还是对你非常的感兴趣，然后聊一聊，你是怎么从一个学物理的人进入AI的世界的？
姚顺宇： 我出生在宁夏，然后一个很小很小的城市，那是叫石炭井。你看就是你这困惑的表情，已经说明了这个城市有多小。这个城市过去的存在是因为一个煤矿，因为石炭井一个煤矿，然后有了这样一个城市。我在那出生，但是我小学的时候跟我父母一块去了上海，所以我小学的后半段和初中高中是在上海。然后我上本科就去了北京。上本科在北京，然后我是在美国。
张小珺： 你从小就成绩很好是吗？你是物理竞赛保送，然后在清华和斯坦福读的是理论物理。
姚顺宇： 我不是物理竞赛保送的，我觉得我小时候挺菜的。首先我读的初中和小学都是无名之辈。我我当时读的初中好像就是竞赛不是一个你该考虑的事儿，就处于这样一种这个初中里。那个叫上南中学东校，又是一个大家听了很困惑、一脸一头雾水的学校。
张小珺： 好，既然都说到这，那小学是哪个小学啊？
姚顺宇： 小学叫啥来着，我的Context Management能力太强了，我已经不记得叫什么了。
张小珺： 可以。就是那个初中就是一个班里面一个小的环境还是有一些想要好好干事的同学的，但是总体来说，那个初中我觉得是比较躺平的状态。我觉得可能就是学习还可以，还可以。当时的状态就是上海高中有所谓的，那时候有所谓的四校，就是什么上海中学、华二、交大和复旦的附属中学。我当时的状态就是能上这四个学校，但上不了这四个学校里最好的班。但是我当时特别想搞竞赛，因为以前都没搞过竞赛。
张小珺： 你初中开始搞过竞赛？
姚顺宇： 我初中没搞过竞赛。
张小珺： 你没搞过竞赛，为什么想搞竞赛？
姚顺宇： 因为没搞过，所以想搞。
张小珺： 怎么植入了这概念？
姚顺宇： 我这个人的个性，就是总是爱干一些自己不太会的事。当时没搞过竞赛，但是知道有这么回事，所以觉得上大学之前得干一把。但是那个成绩也没好到那个份上，所以去四校就是最好，那四个学校是进不了搞竞赛那个班的。我当时就发现有一个稍微差点的学校，那个学校就是格致中学，稍微差一点的学校，但是那个学校有一个竞赛班。然后我感觉这个竞赛按照现在的话说就是Underdog，用当时的话说，我感觉就是光脚的不怕穿鞋的，我觉得可以一搞。所以就其实当时那那时候就是，上海还有所谓的推优生的制度，就是你可以在中考考试前就去和某一学校签约，你就提前下预定你那个学校的名额，然后就直接去去他们那儿，然后就很自然去了，然后去搞了竞赛高中。
张小珺： 所以你其实是在上海四校的普通班里面，和这个格致中学的竞赛班里面，义无反顾的选了格致中学的竞赛班？
姚顺宇： 当然我也不能说我做选择的时候，能上最好的四个高中是那么板上钉钉的事，虽然后来的分确实够了，但那时候还没有中考。但是当时就觉得就算能上，我也应该去一个Underdog的地方赌一把。
张小珺： 为什么？
姚顺宇： 因为想干这个事儿啊。
张小珺： 你想干竞赛的目的是什么？
姚顺宇： 我觉得当时最主要的事儿是想体验。我觉得没干过，一定要找机会干一下。
张小珺： 为什么一定要干一下这个？
姚顺宇： 第一就是觉得他确实难吧，就是确实有一种对难的兴奋感。就是确实至少当没搞的时候，大家给我的印象就是，感觉这个事儿比你不搞竞赛学的那些东西要有挑战性的多了，感觉干这个事的人确实强。不干，你也就只是这个平庸石头里最光滑的那一个。所以我当时觉得要干。当然干了之后也实际上带来一些好处，就是我后来回想起来，如果当时没去搞竞赛，可能就进不了清华了。
张小珺： 你是有加分还是什么？
姚顺宇： 当时其实那个竞赛的保送生制度已经比较锐减了，就只有进入国家集训队才能保送。我那高中，反正我觉得我当当时没进国家集训队这个水平的，所以就别说了。但是我在考高三竞赛之前，阴差阳错的去清华参加二的一个夏令营，然后阴差阳错的在夏令营的最后一天，听说了他们在搞自主招生，但是主要是面向北京的学生。我就疯狂给招生办的老师发短信，说我要跟他们一块考。他答应了。
张小珺： 你们还是你就是就答应了？
姚顺宇： 他答应了，我和我们这高中一块去的那几个人去考。就上海去那个夏令营的那几个高中同学去考。
张小珺： 你有什么理由说服他？你给他发短信，我已经忘了这个短信具体怎么说了，但这个短信大概说的意思就是：你给北京的同学考，为什么不给上海的考？大家理直气壮啊。
姚顺宇： 我也不是觉得他们开后门，就是觉得人家有这个机会，凭什么不给我们，大家都在一条线上竞争嘛。然后所以就发了这个信息，然后人家就真让我们去考了。几个人？我记不太清楚，可能上海去那个考场里可能有7、8个人的样子。
张小珺： 是你发的那个短信？
姚顺宇： 可能别的高中也有别的同学发，但我们高中是我发的。都是上海高中去北京参加那个夏令营的同学。然后就这么去考，然后就签了。
张小珺： 这么好说话？
姚顺宇： 所以我从那件事得到的人生最重要的道理，就是胆子要大。你不争取是永远得不到的，争取了也有可能得不到，但不争取就绝对得不到。
张小珺： 你当时发那个短信的时候忐忑吗？你当时还在高中？
姚顺宇： 我已经不记得了。当时觉得自己这是个很大胆的事吗？还是还好。我当时满脑子想的都是现在就得争取，再不争取明天就争取不到了。就当天就发了，就是我在听说的那天就赶紧去疯狂发短信。
张小珺： 疯狂发给谁？
姚顺宇： 发给招生办的那个清华招生办的老师。
张小珺： 就发给了一个人，还是多个人？
姚顺宇： 不记得了，应该是一个老师。
张小珺： 他很快回了吗？
姚顺宇： 我觉得清华就这个Yes了。我不知道他们自己有没有讨论了，但是反正最后是说了是统一，那就一起考试了。所以我为什么我对清华还还是挺有感情的，其实我感觉这个学校是愿意给大家提供机会。
张小珺： 你那个考试考的怎么样？
姚顺宇： 我当时出来的时候觉得考挺崩的，因为有半道题没做出来。但是我后来发现别人没做出来更多，我就果然就招了。
张小珺： 你们那波上海同学进了几个啊？
姚顺宇： 好像两个。自主招生是减分还是什么？是降到一本线。
张小珺： 后来你高考考的好吗？
姚顺宇： 后来高考果然没考到清华的分，但是就是除了清北之外的学校都能上。
张小珺： 所以为什么网上都嫌你是保送的？我觉得就是大家不在那几年上过学的人，很难理解清楚那几年到底发生了什么。因为在我的两届之前，还是拿了省一等奖就能保送的。
姚顺宇： 拿了省一等奖就能保送。你们那时候呢？我们那时候就是拿了省一等奖进了省队，然后再代表省队去考国家的比赛，然后进了国家集训队才能保送。我是进了省队去考的国家比赛，但我没考进国家集训队，对。所以说我那届我是没有保送生名额的。
张小珺： 你搞竞赛搞得好吗？我觉得挺菜的，就是难道不是没有干到最好，就是很菜吗？我显然没有干到最好，所以就是很菜。
姚顺宇： 你家里人对你搞竞赛这个事情是什么态度啊？
姚顺宇： 我觉得我爸妈最好的一点就是他们不太管我。他们可能曾经也试图管过，后来发现管不住。
张小珺： 怎么管不住？
姚顺宇： 就是我也不听他们的。我觉得可能大多数中国家庭都是，孩子和父母商量已经算是很好的了，我一般都是通知。
张小珺： 你通知了啥？
姚顺宇： 通知我去自主招生了。然后包括中高考填志愿也是我，我爸妈甚至可能都没见过我志愿单。
张小珺： 他们比较佛是吗？
姚顺宇： 我觉得就是当你没有办法理解别人在干什么的时候，别指手画脚就是最好的。我觉得我爸妈这个道理懂得很好。
张小珺： 那你是比较叛逆是吗？
姚顺宇： 我觉得我是。因为我我觉得我个性是我很Care我想做的事。如果这件事是我自己想明白了要去做，你就别拦我，然后我也一定会尽最大的努力做到最好。但如果这个事我不想干，逼我干也没用，我也不会干。
张小珺： 对你的胜负欲强吗？
姚顺宇： 挺强的。但我觉得我更多的是在跟自己较劲吧，不太愿意和别人较劲。当然如果就是正好是我觉得这事很重要，你也觉得这事很重要，那我肯定是要干的比你好的。
张小珺： 好，那你到了清华就更神了，去学了量子物理。为啥呀？
姚顺宇： 我当时做那个凝聚态理论。现在回过头来说，当然能编造出一些听起来很合理的理由，但是摸着良心回到当初，我觉得就是阴差阳错。就是当时我们在基科班，然后基科班有一个非常好的传统，就是首先基科班他虽然在物理系，但它不限制学生干什么，所以基科班实际上2/3的学生都不会做物理。那你为什么会进这个班？当时清华的物理系全都是基科班，现在可能不是了，反正当时是。他另外一个好的传统是，他鼓励学生在实践中学习，所以他鼓励学生尽早的去进到科研的实验室里去，然后在科研中学习。我当时想很想做理论，是会觉得这个难吗？感觉就是你对难有一种着迷，可能也是一种病，之后可以再讲讲，这个这个病带来的不良后果是什么。然后我想搞理论，然后基科班或者清华学堂班有一个更小一点的班，那个老师就推荐说，高等研究院是个很好的地方。清华高等研究院就是杨振宁先生创立的研究院，是个很好的地方。然后我就去那找老师，然后正好有一个很那时候还很年轻的老师，叫王忠，是我本科的老师。那时候他也没几个学生，然后我俩就聊，我当然啥也不懂，但他还挺耐心，还给我了一些Paper让我去读。然后读我就跟他讨论，后来又发现凝聚态理论，尤其当时做的那个方向就是跟拓扑绝缘体这些比较相关的方向，其实是一个很适合本科生上手的方向。就是他需要的背景知识不太多，他只需要你可能懂最最基本的就是你得会量子力学、会统计力学、会固体物理，也就是其实非常非常容易学的基础知识，但是他可能很考验你对这些知识理解的深度。所以对于本科生来说，其实是一个特别特别好的方向，就是你能够很快的上手去做一些实际的项目。然后我们就一块做了一些工作，其中有可能在开放量子体系里面的那个工作，现在看来还是一个挺重要的工作。然后从某种意义上来说，我觉得现在回头来看做那个工作，做那段时间的科研，其实和现在做AI特别特别像。其实它更多的是你有一个想法，你有一个理解，然后你可以在那个阶段，你可以做一个数值的实验，去验证你这个想法和理解是不是对的。你发现AI其实也这样，AI也是你有一个想法，你有一个理解，你去设计这些实验，验证你的理解是不是对的，然后你设计一些模型上的训练的这个Pipeline，来把你的想法实施出来。所以说这两个是很像。
张小珺： 你能不能讲讲你这个非厄米系统的研究啊？
姚顺宇： 我尽量说人话，但是也有可能实际上说了一句鬼话。所以要是不想听的人可以跳过，划一下进度条。到时候可以在进度条上设置两个戳。对非厄米系统是这样，就说量子力学一个最基本的假设是一个孤立系统，它的演化被幺正演化所描述。幺正演化是个鬼话，对不起。幺正演化的意思就是他是一个线性的过程，这个线性过程它可以被一个算子叫做哈密顿量来描述。哈密顿量从某种意义上来说，它有有点像这个体系的能量，但不完全是一样，就是有点类似于，所以他决定了这个体系随着时间的演化。然后如果是一个孤立系统的话，这个哈密顿量会是一个厄米的矩阵。厄米矩阵就是你转制一下，然后做一下共轭，它和原来是一样的。但是真实的系统绝大多数都不是孤立系统。比如说你我作为人肯定要和外界有信息交互，有物质的交互；材料也是一样，就是你一块材料放在那，除非你抽特别特别真空，你总得和衬底有交互，你得和外界环境有交换。所以真实体系绝大多数时候都不是孤立系统，然后孤立系统就不会被一个幺正的过程去描述，它所对应的哈密顿量也不会是一个厄米的哈密顿量，这就是非厄米这个词的来源。它本质上是为了研究开放量子系统，就和外界有交换的量子系统，他的行为。然后当时发现一个很困惑的事是，我们一开始是试图研究这个开放量子系统里的一些拓扑现象，然后就发现手算出来的这个理论的结果和数值，死活也对不上。更确切的说，就是手算这个结果是假设了，这个体系是一个周期的边界条件，比如他在一个环上，或者在一个这个轮胎的表面上；然后数值的话，就会因为就和实际的情况会比较类似嘛，又会算一个开放边界的，比如说一个方块这个材料上的行为，就发现这两个结果死活也对不上。然后就试图理解这个事儿，后来就发现大家过去用来描述厄米系统的一个基本的范式，就是所谓的布洛赫波，就假设物体的本征态都是一些波的线性组合，这个算是正弦余弦波这种波的线性组合。这个假设在非厄米系统里面会Breakdown，就是会变成错的。事实情况就是后来我们就发现在非厄米系统里，其实它的这些能量的本征态都会有可能会聚集到这个体系的一边去。然后我们就系统的建立了这套这套描述的方法，就是建立一套体系去描述一个开放边界的非厄米系统，它的本征态该怎么去描述，进而描述它的一些随时间演化和一些动力学。这个是当时这个工作。后来就有很多，因为它是一个范式上的更新嘛，所以后来就有很多Follow up的工作。但是后来其实我换方向了，所以就没有太在这个方向继续做了。
张小珺： 你为什么不一直做？很难抓住一次范式的变化的？
姚顺宇： 很难抓住一次范式的变化，是的是的。这就是人性的弱点，就是我感觉我总爱挑战一些自己不会的事儿。尤其当时我不知道，我当时的感觉是在那个方向，可能那个工作从再过几年回头来看，就会是这个方向最重要的工作。后面你再去做一些工作，可能确实会让你更有名，获得更多的引用，写更多好的期刊的文章，找到一个好的教职，但是感觉作为一个科学生涯来说，就没那么令人激动了。所以我当时就想换个东西做，换一个自己不太会的东西做。所以就读博士的时候，就换了一个方向去做高能理论。
张小珺： 高能理论物理？
姚顺宇： 对，高能理论物理。
张小珺： 所以你本科和博士也是不一样的。
姚顺宇： 也是不一样的。还不是从物理跳到AI，其实你本科和博士看起来都是物理，其实也方向也已经发生了很大的变化，对是两个几乎没有任何联系的方向。
张小珺： 这个很很神奇。还包括你选竞赛，去格致中学也很神奇。这是你的什么人性？
姚顺宇： 就是说难听了，就是爱折磨自己，说好听的是挑战自己。
张小珺： 被折磨开心吗？
姚顺宇： 我觉得如果为了被折磨而被折磨，那这个人就是有心理疾病。但是如果一个人是为了学习更多的东西，丰富自己的经历和能力而被折磨，我觉得是值得的。
张小珺： 你本科那个老师王忠老师也是个Underdog是吧？
姚顺宇： 算吗？不算，人家做的挺好的，怎么可以这样说。在那个时候你跟刚才说还是很年轻吗？没没没，他他很年轻，但是我我对他的印象一直都是，他是一个很Sharp的人，就是很能看问题，试图理解问题、理解很清楚的人。确实可能不像很多老师那样是很有名气在社会上，或者很光彩夺目，至少那时候不是。现在现在已经很有名气了，那时候还没有那么有名气，但是我觉得从能力还是能力上来说，我觉得他是很强的。其实他一开始是他读博时候，是和那个守成老师，张首晟老师学习，所以说能被首晟老师挑中的人，基本都不会太差。
张小珺： 他对于你博士换方向说过什么吗？
姚顺宇： 没说过什么。我觉得他是一个不爱干涉别人的人。我不知道他内心是怎么想的，但是我觉得他是一个不爱干涉别人的人。
张小珺： 量子物理整个是一个什么样的世界观啊？
姚顺宇： 我觉得最大的区别就是，有很多和经典物理有很多很多不一样的地方。但是我觉得他们两个是一个对应的概念是吧。经典物理和量子物理，他俩是一个在不同能量和时间或者空间尺度下的理论。就是说本质上我们这个世界都是量子的，当然就我们现在也不知道，比更小的尺度会是什么。更小尺度上有很很多不一样的想法，比如说弦论是一个想法，还有像圈量子引力也是个想法之类的，但那些都没有办法被验证。被实验上能够验证的最小尺寸的有效理论就是量子，当然这里面包括了量子力学和量子场论。然后经典物理是，当你看所看的这个空间尺度比较大的时候，这个量子物理会慢慢退化成了经典物理。其实它更多的是在不同尺度下有不同的有效理论。这个事在物理上是一个很深刻的想法，就是所谓的重整化群说的事儿，就是说一个描述体系的理论，在不同的能量尺度下，可能看起来是完全不一样。然后哪怕他们可能从根源上来说都是一个大一统理论，当然但现在没有什么真正的大一统理论了。如果存在的话，他们哪怕在根源上是同一个根，但是他们在不同尺度上，可能看起来也是完全不一样。然后所以经典物理和量子物理更多是两个不同尺度下的描述。
张小珺： 对，讲到量子物理有几个词好像是相关的，比如说蝴蝶效应、比如说量子纠缠，能不能讲讲这些？我觉得这个可能是大家能听得懂的，然后我也不懂物理，大家不要骂我。
姚顺宇： 我也不懂量子物理。量子纠缠确实是一个大家比较耳熟能详的量子物理比较独特的事情。量子纠缠很简单的就是说我有两个例子，比如它属于一个纠缠态，然后我可能他们实际上相隔很远，但实际上我可能对其中一个做些测量，它也会影响到另外一个的状态，这个是真实存在的。
张小珺： 什么样的会有量子纠缠？什么样两个物体？
姚顺宇： 有很多就是实际的情况，就是当你足够看得足够细、足够足够微观的时候，绝大多数的例子可能都处于纠缠态。但是实际上来说，你可以比如说制造一个自旋和另外一个自旋，你先把他俩靠在一块儿，然后把他俩坍缩到一个纠缠态上，然后你可以把其中一个拉的很远，他俩就成了一个距离很远的纠缠态。然后甚至好像我记得几年以前还有人专门去做，就是把一个细菌和一个什么东西制备在一个量子纠缠态里。
张小珺： 什么叫制备在一个量子纠缠态里，这个是可以人为操作的？
姚顺宇： 这是一个可以人为操作的是吧，为什么怎么操作？一般来说就是通过一些测量和演化算符的作用，能够把它制备到这个状态上。但是这里面难的其实是实验上怎么实现这个过程。你可以想象就是说你做一些量子测量和一些所谓的量子门的操作，其实是比较难的，因为每一个体系它其实都不是孤立的。你可能这两个自旋，你觉得我给这么制备一下，它就到纠缠态了吗？那我再把它拉开不就完了。但是实际的问题是，这两个粒子其实活在我们这个世界里，会不断有别的粒子撞它一下，或者外面的热量来扰动它一下，它一下子状态就没了。所以难的是怎么去具体实践上去实施这个过程。纠缠的另外一个例子可能更耳熟能详，我其实应该提那个例子，就是薛定谔的猫。那就是一个更耳熟能详的例子，就是说他的状态其实是叠加了某一个放射源发出粒子和猫死了这是一个状态，另外状态是放射源没有发出粒子，这两个东西的叠加状态。比如说你去测量一下那个放射源发现放射源放出粒子，你就知道猫死了，不管离猫多远。对，其实那这就是纠缠。但是蝴蝶效应是一个另外的事。蝴蝶效应这个事耳熟能详的部分，其实反而是经典物理。其实大家经典物理听到的蝴蝶效应就是那个著名例子，就是什么可能南美洲一个蝴蝶扑棱一下翅膀，半个月之后北美洲刮了个台风。但是他从更数学的表述来说，就是说在时间起始的时候你如果做一个很小的扰动，然后去测量这个扰动产生的影响在未来有多大，你会发现这个扰动的变化是指数级变大的。这是数学上对经典蝴蝶效应的一个描述。但是之前大家比较费解的一件事，就是这个事情在量子体系里怎么可能存在。因为量子体系孤立量子体系是一个幺正演化，它是一个很线性的过程。所以说从某种意义上来说，你如果一个状态和一个矢量，另外一个矢量开始的时候夹角不太大，那经过一些演化之后，这个夹角应该不会变。然后怎么会存在这种初始状态离得差别很小，在未来会指数级变大了？好像在量子力学上看是不太可能实现的事。但刚刚又说了，其实我们的世界是在微观是量子，然后再宏观就变成经典了，但他俩是一脉相承的，怎么可能这有那没有？这是大家都理解的事。那当然这个后来大家就有一些更好的理解，就是说其实你讨论这个量子里面宏观效应的时候，不应该讨论两个态之间的这个变化，而是应该讨论一些所谓的Local Observable，就是局域的观测量的变化，那个其实是对应了经典物理里你看到的那些变化。
张小珺： 那你读了4年的量子物理以后，你当时在想什么？你觉得物理对你的帮助是什么？在你大四要毕业的时候。
姚顺宇： 我觉得本科期间读物理最大的帮助就是第一，想问题要想清楚。读书不在于读得多，而在于读得深。你读得多不代表你能够发现新的东西，但如果你对一件事有和别人不一样的见解，那个才是对这个社会来说更有价值的事。这是一件事。然后另外一件事就是别太相信理论，别太相信纯理论了。因为得出这个结论，因为当时那个事儿发现的主要原因，还是因为能做数值，就一开始是因为数值和理论对不上，才仔细的研究那个问题，然后发现了这个事。
张小珺： 那你博士为什么去读了高能物理？也是一个理论啊。
姚顺宇： 这也就回到了刚才这个话题，就是总爱挑战很难的事，有时候也是会带来一些不好的结果的。
张小珺： 什么不好的结果？
姚顺宇： 比如我就感觉我这个博士就是对我自己来说学到很多东西，成长很大，但是与这个世界来说没有产生什么贡献。高能理论这个方向就是足够难，非常非常难，然后它不好的事情在于，他其实不是特别可以验证，没有什么客观的评价标准。因为高能理论已经发展到了实验完全追不上的这个阶段。
张小珺： 实验完全追不上，你在理论讨论那些不管是能量尺度还是微观的尺度？
姚顺宇： 对。所以说是怎么进步的呀？他的进步依赖于什么呀？如果不是实验。一个一个进步的来源是来自于数学上的自洽性。就比如说你提出一个框架来描述这些事情，那你能和现有的已经被验证的更低能标下的理论相自洽。就比如说你研究弦论，那可能自然大家问题就是，弦论能不能在低能情况下回到量子场论，继而回到经典物理，那这个自洽性是一个判定方法，我觉得这个是很合理的，是很科学的一件事。当然也有些不科学的因素，就是当这个领域完全没有实验、没有客观标准的时候，肯定不会只有一个框架出现，肯定不会只有一个自洽的框架出现。这个时候谁做的好谁做的不好，其实就依赖于领域内一些老登的主观判断。
张小珺： 你是被谁伤害了是吗？
姚顺宇： 我也没有被谁伤害。只是我在那个领域待时间越长，就越觉得这件事蠢。人这一辈子也没多长，为什么要把自己的时间浪费在伺候老登身上。
张小珺： 对，所以感觉是花了5年学了很多知识，买了一个大教训。这个教训是什么？
姚顺宇： 这个教训就是要做实验，要有比较客观评价标准的事。或者从另一个角度来说，就是要做对这个世界能够产生影响的事。
张小珺： 所以你其实你本科还是比较顺利的对吧？在量子物理这个研究领域，很快你就有了非常好的学术成果，而且是范式世界的变化。但是你很快觉得没有吸引力了，所以你想找博士去挑战一个更难的事情。然后在博士期间其实是比较落寞的，至少从结果来说是这样的。
姚顺宇： 外界看不出来，外界看都是非常光鲜的，理论物理博士在Stanford。
张小珺： 对，我觉得从实际的科研产出来说，没有人会说我博士期间的文章不好。但是摸着良心说对这个世界有多大的影响？几乎没有，零，没有影响，几乎为零。所以对我自己来说，我自己很不满意的。但是我觉得确实也没有不满意到说我会担心有人说我在混日子，确实也没在混日子。
张小珺： 这是怎么做到的呢？
姚顺宇： 我觉得还真的是很多事情冷暖自知。达到外界的标准，达到一个小的圈子的评价标准，像训练模型一样，就是一旦有了这么一个小的圈子，你知道他们的评价标准之后，做得好是很容易的。但是就是其实你哪怕不认可这个标准，你是可以达到的。但是你还是知道你是不认可的。因为有时候你哪怕不认可你达到了，我也可以蒙蔽自己就继续往前走，但我后来就发现我蒙蔽不了自己，骗不了自己。
张小珺： 是哪一年发现的？
姚顺宇： 我觉得可能从博士最后的两年吧，就会有这样的感觉。但是那时候确实也没有想好，没有想清楚如果不做这个该去做什么。那可能就花一些时间去了解一些不一样的方向。比如说一开始我可能更多的是去了解量子计算或者量子信息这样的方向。然后拿了Postdoc Offer就是博后的Offer之后，感觉这个事更紧急了。因为在离开在学校里的时候，你还可以一个学生的心态。离开学校之后就是自己的Career，你得给自己找一条路。那当时就是觉得可能量子计算和AI是两条我觉得给年轻人、给小登机会比较多的。
张小珺： 所以你博士后的方向是啥？
姚顺宇： 博后没有方向。就是理论物理这个方向，博后是一个很独立的职位，就是你自己想干啥干啥。它更多的是从某种意义上来说有点像搞慈善。就是有一些可能不管是在意科研的国家组织还是个人组织，他会给学校捐一笔钱，或者给学校批一笔钱，然后学校用这笔钱来招一些博士后，在一个系里面去做他的研究，然后把自己的研究广泛的告诉系里的别人。他觉得更多的是一种社会氛围的这种工作。所以其实没什么限制，就是你其实想干什么就干什么。但是我其实也没做多长时间的博后，就我实际可能到伯克利待了两三个月，但官方来说就只能待了两个星期。
张小珺： 官方来说是什么？
姚顺宇： 就是我其实在入职之前已经去那了，因为我反正人就在湾区嘛，我觉得入职之前就去哪。但是我入职之后其实只大概两个星期就辞职了。
张小珺： 这两个星期发生了什么？
姚顺宇： 这两星期啥也没发生。我本来都不准备入职的，但是伯克利人就是太好，就是你没事，等事情定了再说，能来多久就来多久。你告诉他们你其实在跟Anthropic谈，对，我告诉他们，我觉得我可能会去做AI了，我要不就别入职了。但是伯克利，不止伯克利，我觉得就是湾区这两个学校的老师都人很好，他很照顾你，他就觉得你还没有完全谈定，那还是先把现在的工作先拿着。
张小珺： 你觉得物理对你后来做AI有什么帮助吗？
姚顺宇： 嗯，我觉得硬实力上其实没什么帮助。就是纯工具性的技能上来说，其实从物理到AI的转化是非常非常少的。但是我觉得可能非要问的话，我觉得可能主要的能力，不能说是能力吧，就是性格吧。可能是可能做物理人会更想刨根问底，更想理解一个事，然后更想做事很系统。因为我们习惯了这种很系统性的，不管是做实验的方式还是做理论的方式，所以我觉得这个可能是一个比较好的地方。但是我也不觉得这个事儿是做物理人独特的。就是为什么做计算机的人没有这个特性？我觉得我认识很多做计算机的人也有这个特性，很多做化学的人也有这个特性，学生物的也有这个特性。所以我也不觉得他是做物理独特的。但事实上就是可能比较有趣，就是这个领域里面确实有很多，尤其就是语言模型这种Large Scale的AI，确实有很多物理出身的人做的很成功，尤其是OpenAI这个公司。
张小珺： 因为很多人在描述这一代AI的时候，都会说是黑盒。你能用科学的角度来理解一下这个黑盒吗？就人工智能的运作原理。
姚顺宇： 我觉得这世界上所有东西都是黑盒。哪怕像物理这种大家觉得很理解的东西，其实也并不是真的有一个从他微观的行为一路演化到了宏观体现的这种理解。像不管是刚才说的量子力学还是量子场论，其实都是描述那个能标下的行为，本质上这个系统还是一个黑盒，你还是不知道它最微观的地方是什么样的动力学。AI也是一样，就是黑盒不黑盒，其实都是一个相对的事。我们确实对语言模型没有理解到神经科学手术刀级别，就不是说我理解这个行为，能理解到说这个行为是由于哪一个神经元、哪一个人工神经元的哪一个激发产生的这个行为。没有这个理解，不会到这个层面理解。除非就是在一些很稀疏很小的网络里面，像小的有所谓的Interpretability，就可解释性团队，他们可能会做一些类似的工作。但是在实际能够使用的语言模型里，都没有达到这样的理解。但是也不代表我完全没有理解。比如说Scaling Law，它就是一个描述了那个尺度下模型随着模型大小和数据是怎么在Loss这个指标下变得越来越好了。所以你说是完全没有理解吗？那如果说Scaling Law不算是理解的一个小部分的话，那是不是我们也得说我们其实对这个世界也完全不理解，这个世界也是一个完全的黑盒？
张小珺： 所以Scaling Law是一种科学规律，它是一种经验规律。
姚顺宇： 经验规律。但是呢经验规律和科学规律之间的界限是很模糊的。比如说我们回头去看这种热力学的各种各样的定律，第一定律、第二定律、克拉伯龙方程，乱七八糟，这些东西在当年被发现的时候也都是经验规律。但是只是说后来随着时间的发展，我们慢慢知道了它的微观机制，那它可能变成了一个科学规律。我觉得可能像Scaling Law或者类似的这样的东西，它目前肯定还是很经验的，但是未来当然技术变得比较固定，然后大家开始越来越多的理解它微观的过程的时候，会不会变成一个科学规律？如果这个事这个定义是存在的话，我觉得是有可能的。
张小珺： 能不能用科学的表达来解释一下所谓的智能涌现？
姚顺宇： 首先这个话就不太科学，所以自然也没有办法用科学的话来表达一个不科学的事。我觉得智能涌现对我来说它更多的是一种主观的感觉，而不是一种客观现象。当很多人说智能涌现的时候，他脑子里想的可能是以前的语言模型只能做某一个方向的事，比如只能翻译、只能做分析、只能做什么，但现在的模型好像可以做所有的事。但是这个事，我觉得像是对我来说，它更多的是一个技术上的涌现，而不是一个行为上的涌现。主要是我们通过研究发现了该怎么去做这种大规模的训练，然后能够水平的提升所有能力。我觉得这个是一个更本质的事。至于智能涌现这个事，其实我觉得每个人可能心里的定义都不太一样。
张小珺： 你的定义是？
姚顺宇： 对我来说就是没定义。对我来说，唯一区别就是有没有发现发生一个技术上的改变，使得我们可以做Scale up，可以水平的提升所有的能力。这个对我来说是一个良好定义的事。
张小珺： 你最后是在量子计算和AI之间选择了AI，这个是怎么发生的变化？
姚顺宇： 我觉得还是花了时间去了解两个方向的瓶颈在哪。我觉得好处是他们都给年轻人机会，好处是都有机会。但是量子计算对你来说，好像是离你的主线更近一些，在那个时候对不对？这就是为什么要去了解一下细节，因为了解细节之后发现不是的，是反过来的。量子计算，我觉得他现在的主要瓶颈其实在实验上，并不是你怎么去设计那些算法或者设计那些算子，更多的是你怎么在实验上实现它。那个事儿反而是我不擅长的，反而是和我过去很多我有兴趣的事是很不相关的。然后反而跟我相关的事是更更多像AI，就刚刚说的就是AI其实更多的是你有一个想法，然后你可以用一些数值去验证。这个数值在AI里面可能就是训练一个模型或者怎么样，这个反而和做物理很像。他甚至是就是为什么我之前一直在把AI和18世纪的物理学做比较，就是它热力学更像那个时代的物理。就是那个时代就理论和实验不分家，没有什么理论物理学家、实验物理学家，你就是搞物理的，你自己就可以做实验，也可以做理论的推测。我觉得AI就有点像那个时代。所以其实从理论物理跨越到实验物理的距离，比你直接跨到AI要远。
张小珺： 其实要远，而且从兴趣上来说也更远。你不喜欢实验物理？
姚顺宇： 我觉得做实验确实不是我的兴趣所在。虽然我自己不愿意做，但是我确实很有兴趣知道别人实验做的怎么样。
张小珺： AI不用做实验吗？
姚顺宇： 用，但是他是更多是像数值实验。不太像那个实验室去搭一个光学平台，然后你还要这实实，我觉得实验真的是一个就可能因为是我不懂，我没有达到那个境界，所以我有些事在我看来挺玄妙的。并不是说就是大家都知道这个光学平台怎么搭，但有的人就能给你搭出来，有的人就是耗了6年都没拿出来。这个是动手能力，我就是没搞明白呀，我有时候觉得这事很有点玄妙。所以还是数值实验清晰很多。
张小珺： 对，对我来说，做数值实验或者像AI就是训练模型，然后研究各种不一样的技巧来看某些细节，这件事反而是我能想明白他为什么要这么干。但是在搭台子这个事上我就是一头雾水。你做过是吧？
姚顺宇： 我当时就是大家可能都做过基本的，就读物理的人，肯定都做过基本的实验培训。但是更多的就是有很多做实验的朋友，然后不管去看他们的实验室，看他们怎么做实验的，还是跟他们聊怎么设计实验，我就感觉很多事我其实不太能够理解，但是他们确实有的人就是做得好，有的人做的就是不好。
张小珺： 所以你说现在从事AI研究像17世纪热力学研究，其实在表达虽然大家没有办法很清晰的从科学上去解释和理解这个事情，但是它不会阻止它的发展。
姚顺宇： 对，就是它更像是在为什么呢？比较那个时代热力学就是那个时代大家其实不理解什么是热的微观理论，大家不知道热是什么东西，就像现在不能理解对，就像现在大家不能理解这个Language Model里面哪一个矩阵元是在干什么，其实大家也不理解。但是不妨碍你有一些好的经验定律，比如热力学的各种定律和现在的各种Scaling Law。所以从这个角度来说，是这个层面上来说，它是类似的。然后从研究人员的角度来说，就是刚才说的另外一个问题，就是它的理论和实验其实不太分家。
张小珺： 那你是怎么去面试Anthropic的？你这个Anthropic的历程是怎么展开的？
姚顺宇： 我觉得其实主要还是因为有前同事在Anthropic。
张小珺： 前同事。对，就是Anthropic其实有很多做物理出身的人，尤其是做理论物理出身的人。为什么呀？这是他们从人的选择上，为什么会选择这一拨人？
姚顺宇： 我觉得当然就是很多人可能会找一些原因说做物理人擅长这个或者擅长那个，但是就我个人的视角来看，我觉得主要的原因还是Connection，就是联系。因为Anthropic的创始团队里面，创始团队其实有三、四个比较技术的人，然后其中有两个现在还仍在技术一线领导的人，他们俩都是做物理出身的。然后他们可能招的一些人也是做物理出身的，所以就这样一直延续下来。但其实到了现在这个阶段，就在我之后，其实也几乎没怎么再招完全没有AI背景的人了。所以说也是一个时代的产物。然后我反正是当时我决定去做AI了，所以我就去试图联系一些地方。
张小珺： 你只找了Anthropic吗？
姚顺宇： 没有，我还找了OpenAI和GDM，就Google DeepMind。但Google DeepMind因为他那时候速度太慢了，所以就没有出现在考虑的范围内。
张小珺： 但是后来显然Google DeepMind这个事就获得了长足的提升，那后来动手就非常快。
姚顺宇： 哈哈，对。然后OpenAI也联系了，但是OpenAI可能没有找到特别合适的事和人。Anthropic是因为我当时联系了后来我的第一任Manager，我第一任经理，然后他以前也是做过这个理论物理的。然后他当时就说我们在尝试做强化学习，尝试做这种大规模强化学习，有很多科学问题也要去理解。那个时候24年9、10月的时候，其实强化学习还没有像现在这么成熟，那时候大多数人其实都不太知道怎么做，因为OpenAI o1其实还没发布呢，那时候o1只是快发了。就是只是大家都知道有，但是大家都还没看到结果。但是Anthropic当时其实不知道怎么做的，当时是大体上知道，但是有很多细节需要仔细去研究。然后所以他就跟我说，有这么个事儿，你要不要来面试一下。然后我觉得可能是一个好的机会。
张小珺： 你当时怎么认知强化学习啊？
姚顺宇： 没认知。我大概知道Pre-train Post-train，但我其实不太知道具体的这种工业级别的语言模型是怎么训练的，只能知道就是像学术界是怎么训练的。所以其实现在谈那时候的认知，其实在我现在看来就是没有认知。更多的还是我倒是觉得这个事是一个不确定的事，然后是一个好的机会，所以我就去干了。当然也有些面试的准备和面试的过程。
张小珺： 怎么准备的，聊啥？
姚顺宇： 我当时跟谁面的？小北，后来我的一些同事当时面的。然后面试题也不太难。但是对我我也不知道怎么准备，然后我就去把我能找到的那些自己能学的学了一遍，然后能做的作业做了一遍，然后自己手搓了一套，就是那个Andrej Karpathy他有一个著名的项目，叫好像叫nanoGPT还是叫什么，反正就是他有一个可以在一个Google Colab Notebook里面就能训练一个很小的GPT模型，然后我就手搓了一下那个，然后就去面了。然后很快拿到了offer。
张小珺： 然后你第一个方向就是大规模的强化学习？
姚顺宇： 当时其实是有两个组Manager来跟我聊，一个是做Evaluation，就是模型评测；另外一个是做强化学习。然后我是选择了强化学习，当然选择强化学习是因为它更加的不明朗。那个时候其实Anthropic也不像现在是一个大公司了，那时候公司其实也很小。当然我去的时候，我们的那个大的Team才只有十个人左右，不是十个人，反正就十个人。那Team叫什么？叫Horizon。那个时候那个大Team也就这个大Team的平行Team，其实后来几乎就是按强化学习的方方面面都在这个Team了。但那时候他整个大组就是个强化学习。首先这个创业公司你也很难说这个组的目标是什么，因为他可能曾经也有过很多不一样的目标，只是那个阶段可能主要的目标是做强化学习。然后当然底下也有做更数据的组、更多环境和Infra和基础设施的组，也有更做这种Research和算法的组。然后我去的那个组是比较偏Research和算法这组。
张小珺： 那时Anthropic多少人啊？
姚顺宇： 那个时候可能七八百的样子吧。整个公司七八百。
张小珺： 你一进去对这家公司的印象是什么呢？
姚顺宇： 我觉得我对Anthropic的印象还是挺consistent的。我觉得进去之后，我对家公司的印象就是执行力非常强。就是他是他其实是一个比较Top Down的公司，所以很多事情决定了之后就会全力去做。公司员工之间的的氛围也很好，大家都不会藏着掖着。尤其刚去的时候很小嘛，所以就是大家也都认识，所以就氛围很好。如果是做只是做语言模型相关的事的话，其实现在回头来看，那是一个非常非常好的学习机会，就是你能够接触到这个模型训练的方方面面，然后都能找到对应的人去问。
张小珺： 那个时候的Anthropic已经有了现在我们都知道他那个非常坚定的Bet了吗？
姚顺宇： 有的。这个Bet来自于哪里？为什么会有这个Bet？我不知道他完全的来源在哪。我自己能看到的一个显然的来源，就是前一代模型Claude 3放了之后，推特上那时候可能还没叫X呢，推特上有很多人在讨论说那个Claude 3好像写Code的比GPT-4强。那个年代GPT-4还是一个和大家Gap很大的模型，所以能有一件重要的事比GPT-4强就很厉害了。所以是试出来的，我觉得至少是其中一个原因。
张小珺： 对，这也是我觉得这个公司很强的一点，就是它Execution执行力非常非常强。一旦给他一个信号让他觉得是很Reasonable、这公司该做的事，那就会扑上去，他没有那些大组织里的用语。
姚顺宇： 对，为什么他的Coding会比GPT-4要好？不能输，是有原因的。是个随机的原因，不是一个我这么选择所以有了这个结果的原因。是一个纯技术原因，但是确实我不我不能确定一开始是随机试着的还是故意选择的。你要让我猜，我肯定会觉得是随机试的。
张小珺： 纯技术的原因是由某个人做了某个事情。是确实有某一个团队做了某个事情，是自上而下的还是自下而上的？
姚顺宇： 我觉得最开始可能是自下而上了，但是后来就变成了一个自上而下的事，就是要快速捕捉到一些市场，就是内部和市场的信号，要赶快要扑上去。我觉得Anthropic是非常非常强的一点。
张小珺： 他执行力来自于哪里？来自于Dario这个人？来自于他的某种特质？
姚顺宇： 特质就是感觉Anthropic作为一个公司来说，它能够实行这种比较Top Down的机制，是一个很独特的事。为什么？因为实行Top Down其实有有一个很难的点，就是你做技术的决策人必须也得是公司本身的决策人。首先就是你技术上得能服众，那下面的研究员才会信服，去做这个事。另一方面就是你得是公司的决策人，你得能为这个公司负这个责任。Anthropic有这个条件，就是说他的技术上的Leader领导人，其实是公司的Co-founder。那是谁？不是Dario，就是John，像John Schulman和Sam，然后像他们俩就是公司Co-founder。让他们自己做这个决定，那是人家的公司，所以他有权利做这个Top Down的事。
张小珺： 那Dario作为CEO，他会Say Yes和No吗？
姚顺宇： 我不知道他们决策层的讨论里面大家起到了什么样的作用，我只能说技术Leader是有决定权的。我只能说对我当时的工作来说，我接触的最多的就是John。
张小珺： 可是这对于其他模型公司很难吗？
姚顺宇： 很难，比如说OpenAI就干不了。
张小珺： Ilya在的时候难道不行吗？
姚顺宇： Ilya在的时候有可能可以，但是Ilya后来一方面我也不知道因为什么原因，好像就是失去了这个做决策的能力，然后就走了。其他公司我觉得都比较难，就是Google也比较难。但是我觉得Google就是另外一套打法，不太一样。就是说大公司和Startup，他打法本来就不一样。因为Startup重要的是Make Bet，就是我得赌一件事。我如果想要赌，就意味着有风险，所以就意味着我能够去很快的做一些决策，然后很强力的推进一些决策。那可能在这种情况下，Top Down我觉得是一个很有优势的事。所以我觉得Anthropic从组织上来说是比OpenAI更有优势。但是作为大公司来说，他可能就是另外一套想法，因为大公司的想法可能是自己尽量减少做赌的成分，而是我能在方方面面都有储备，然后任何一个事儿成了我都能跟上。然后如果有事我自己做成了，我可能还能领先，这可能是大公司的业态。所以说在Gemini，Google是一个很传统的很Bottom Up的组织，就是公司层面是可能有一些比较良好定义的框架来看你的工作是好是坏，来引导你做一些公司需要的事儿，但是本质上还是你自己来决定自己做什么。
张小珺： 所以你觉得Anthropic能Make Bet，是因为它的独特的文化组织？
姚顺宇： 呃，这个听起来其实应该是其他公司也能做的，但是却非常奇怪的发现其他公司很难做，而Anthropic可以做到。对，我觉得还是需要技术的，这个其实挺难的，是技术的一号位。但是与此同时，CEO可能没有成为一个阻力。
张小珺： 这个难吗？
姚顺宇： 这个就得看你这个Co-founder Team有没有足够的互相信任。这个也很关键。我觉得Anthropic这点也是在Start up里很强的，就是他Co-founder Team没有一个人离开公司。他们如果你看他们的过往，那就是一群真正一起打过仗的人。他们源自于他们都是以前OpenAI的一块的。然后像他们甚至好多人就是在一系列关键的文章上的合著者。因为你像Scaling Law这个Paper是主要John Schulman，然后Sam，然后当然还有Ilya，然后还有一些可能Tom Brown也在吧。然后GPT-3的Paper就是Tom Brown在，然后Ben Mann在，然后John和Sam也都在，大伟也都在。所以他们是一块趴过战壕的人，我觉得互相之间的信任还是很关键的。有很多公司可能就是干着干着连这个小集体都团结不住了，那你怎么能指望这个大公司能团结住呢？
张小珺： 你在说OpenAI是吧。
姚顺宇： 哈哈。
张小珺： 你一加入Anthropic公司正在做的最重要的项目是什么？你参与到那个大项目里面了吗？
姚顺宇： 当时做就是为了做大尺度的强化学习，然后能够用它来提高Coding的能力，这就是当时最重要的事。然后我们当时做这个组的研究重心就是一个事，这也是这组为什么后来就慢慢变大然后变得越来越重要的原因。最终带来的结果就是大家一块冲了Claude 3.7这个模型。
张小珺： 你说内部叫有一个3.6？这个是啊？
姚顺宇： 不是内部叫。就是外界的Claude 3.5其实有两个版本，一个可能是6月的版本，另外一个10月的版本。然后你也可以看出Anthropic这个公司曾经也是没啥产品能力的，居然管两个模型叫一个名字。所以后来外面人为了区分那个3.5，后面那个版本叫3.6。所以Anthropic也跟随着外面的这个习惯就叫3.6了。管这个再新的模型叫什么？3.7。所以你去看实际的这个公司的产品时间线，其实3.5、3.5 New、3.7。
张小珺： 怎么会有一个3.5 New，这个是怎么想的？
姚顺宇： 我只能说那个时候的Anthropic，可能真的是没有什么产品上的想法。
张小珺： 所以你第一个项目是3.7还是3.5 New？
姚顺宇： 3.7。
张小珺： 3.5 New你参与了吗？
姚顺宇： 3.5 New其实我没参与，几乎没参与。因为那个3.5 New就已经看到了Coding的迹象是吗？你刚才刚开始的3.5 New的时候，已经看出Anthropic的模型在Coding上会比别的模型强了。所以你进去的时候刚刚好，就是他们有他们知道了这件事情，就是管理层也知道这个迹象，然后他们要Make Bet的时候。你这个运气很好啊。
姚顺宇： 我觉得我进去的时候是大家肯定已经看到这个事能做成且重要，但是不太清楚怎么去把它做成。然后我去的时候是跟大家一起去研究怎么把它做成。
张小珺： 对，所以方法是大尺度的强化学习？
姚顺宇： 对，从大的角度来说是。但是当然有很多技术细节是需要去研究的。
张小珺： 有没有什么Notion啊？
姚顺宇： 有很多NDA的内容呢，有好多不是社会能写这么详细的。原则上来说，员工是不能在在职期间和离职之后透露任何跟新公司内部相关的信息的。当然实际上来说就是大家可能心里都有一个度，就是说如果这个技术没有公开的话，肯定是不会公开去谈的。但是我觉得虽然我不能公开去谈，但是我觉得把简单的事做得比谁都干净，是最关键的。
张小珺： 什么叫干净啊？你刚才也用过这个词。
姚顺宇： 就是我觉得有很多花里胡哨的技巧。比如说做强化学习，最简单的Algorithm就是Policy Gradient，但是不代表这是唯一做法，它还有别的算法，比如说各种复杂的搜索算法之类的东西。但是是不是这些复杂性是必须的？然后这些复杂性可能给你带来了一些效率上的提升，但他可能给你带来一些比如说基建、Infra上的困难。那你怎么去Trade off这些事？这些事其实做研究需要去理解的，就是怎么去Balance这种不同的因素，然后选择最好的那条最稳定的那条路。我觉得很多的Notion，其实都是在这些这些细节里面，怎么去处理这方方面面的细节里。
张小珺： 那那个时候怎么来描述Coding很重要呢？他认为是语言模型的一个分支，一个重要的分支还是什么呢？
姚顺宇： 每个人可能想法不一样。对我来说，它重要的原因有二。一个原因就是远一点，Anthropic也一直在讲这个事，就是说Coding本身也是做语言模型研究的一部分。如果你能够把Coding做的很好，那可能会让你的研究效率有翻倍的提升，就是形成一个研究上的飞轮。这是一方面原因。对我来说，另一方面原因是，因为Coding其实是模型使用工具和环境交互的一个很好的抽象。首先这个抽象刚刚已经说过，抽象的好处在哪？比如说是回归信号清晰，数据充分。其实是很难在别的场景下找到能同时有这两个特质的使用工具的场景。所以对我来说这是一个好抽象，在这里面做的一些研究，可能是对更通用的那些使用工具和环境交互的能力的一些有用的Lesson。
张小珺： 那时候Cursor是什么状态？
姚顺宇： 那时候Cursor还是一个纯产品公司。我觉得从某种意义上来说，好像在我去Anthropic之前的那段时间里，Claude和Cursor都属于比较Underdog的状态。然后3.5 New就是3.6外界的3.6这一代的时候，首先是这个模型能力上去了，然后Cursor又发现这个模型真的能够做这种Agentic Coding的工具了。然后这个壳包着这个模型，一下子让公众体会到了，不是公众，就是公众是指就是软件工程那个圈子，当时体会到了这事好像是真的是效率工具了。所以后来这个一下子就起来了。那时候Anthropic有没有意识到Cursor是未来的竞争对手？那就不知道了，得问Dario。
张小珺： 3.7是怎么做出来的？
姚顺宇： 这个是一个分水岭，对于Anthropic来说是一个分水岭式的模型。我觉得对于Anthropic的后训练来说是一个分水岭。就是在3.7之前，后训练都是处于一个比较小规模，然后可能就是修修补补模型的一个状态。
张小珺： 大家不重视后训练是吗？
姚顺宇： 也不是不重视。就是一开始大家其实很长时间都没有搞明白后训练该怎么Scale up。但是在那个阶段，不管是OpenAI还是Anthropic，还是包括像中国的DeepSeek，他意识到了这个事该怎么去Scale，就是你得找到合适的环境，这个环境的回馈信号足够的清晰，然后这个环境本身也是一个很强的数据源，然后在这个上面能让这个训练非常稳定，这事就能做成。
张小珺： 我记得那个时候，其实大家都不知道OpenAI的秘密项目是什么，就知道她叫Strawberry。然后大家觉得会带来一个新的范式，新的范式就是后训练强化学习，但是更多的就不知道了。
姚顺宇： 其实我去Anthropic的时候，大家已经比较清楚这个事儿该大概该怎么做，大概的这个方向是怎么做。当然后来就是后来，随着我对这个领域知道越来越多之后，我就发现，其实那个时刻，其实OpenAI做的方式和Anthropic还是差别挺大的。就是具体这种算法呀和使用、数据的方式其实是不太一样的。虽然都叫后训练和强化学习，虽然都叫这个，但是当然就是我觉得那些不是本质区别，就是大的方向来说他们是同一个，就是找了一些回归信标非常清楚、非常客观，然后数据本身又比较干净、对于模型来说是可学习的，在上面做稳定的强化学习训练。大的方向来说都是这个方向，但具体实现其实是差别比较大。但后来事实也证明，就是具体实现其实每家方向都不一样，但是都能做成。而且当时OpenAI的目标也不是Coding。当时我了解到的叙事是说，预训练作为第一个范式已经金矿快挖完了，所以我们现在开启第二个金矿，就是后训练要强化学习，然后来让Scaling Law继续。我觉得很长时间OpenAI都是这个想法，我不知道他们现在的想法有没有变。
张小珺： 你觉得预训练和后训练作为两个范式，都没有达到他的那个平台期？
姚顺宇： 我觉得都没有。但是你说要去预测到了多少，这个做不到。我觉得到达平台期有两种可能性，有一种可能性是技术本身到达了，就是你明明还有想让模型要干的事，但这俩技术就死活教不会了。另一种可能性是你想干的事儿到平台期了。我觉得现在是后者。就是我们现在知道了一个Chat Bot，你可以叫他干这个，然后有一个Codey，你可以叫他干这个，后面就不知道了，就不知道该教点啥好。
张小珺： 就是说这是模型还是一个非常聪明的小孩，你其实可以教他很多东西，但是我们人类作为老师，现在还不知道下一个东西该教什么。
姚顺宇： 对，或者说该怎么去合理的教他，用现在的一些方式。
张小珺： 说到3.7，这是几个月做出来的？
姚顺宇： 最后林林总总从开始训练到发布，可能花了四五个月的样子。
张小珺： 从你刚进去开始？
姚顺宇： 就是从开始大家做为了这个事儿做研究，那可能花了两三个月，然后后来开始训练到训练结束，中间磕磕绊绊，很多事情要处理，有很多新的基础设施，其实基础设施真的很重要很花时间，然后又可能花了可能两两个月这样子。
张小珺： 你在其中做的重要的工作是什么？
姚顺宇： 我觉得我也没什么重要的。我对我个人的贡献，我觉得我对任何一个模型的贡献，我的陈述都是我觉得我自己对那个事没那么重要。我更多的是我很幸运，有机会在那个时候加入了一个重要的项目，做了一些事。因为从某种意义上来说，AI在现在最近这几年，这个事儿本身是一个不可阻挡的事。他不在于你这个人去干或者不干，你不干，自有别人也一样能干出来的。所以我觉得在这个时代，其实所有给个人贴金的事，其实都有点炒作的嫌疑。但是确实我觉得对我来说，我是很幸运能在那个阶段加入一个重要的事，然后学习了一些知识。
张小珺： 那你在幸运的在那个阶段，在Anthropic这家公司的大尺度强化学习的这个团队里做了什么？
姚顺宇： 我觉得3.7那个时候可能主要做的还是，就是在RL里做这个Agentic Coding这件事。这件事怎么把它Scale up？是怎么去准备各种各样的环境和Data，然后包括算法上会遇到什么样的问题，当时主要的研究都在这部分。
张小珺： 这里面什么Tips吗？
姚顺宇： 现在来看没啥特别有用的Tips。说到技术的Tips，其实这个事是一个大家很一方面很愿意听、公司又不让你说、但实际又没啥用的事儿。为什么？因为很多算法设计其实并不独立于算法，它是非常依赖于基础设施。举个简单的例子，就是有些公司大家经常讨论一个问题，就是说在强化学习时候，这个Sample就是给你产生这些Trace、这些Token的那个机器和Trainer，用来实际训练这个模型然后改变这模型权重的这个机器，这两个机器可能会有不一样。当然不一样，有有有一些原因是因为数值上的不一样，有些原因是因为使用这种异步的训练架构，所以它自然就是从根本上来说就不一样。那你不同公司可能这个不一样程度是不一样，所以你算法的设计也会不一样。有些公司它可能这两个Difference非常非常大，那你算法可能最大的部分就是在于怎么控制这个，然后怎么让这个训练稳定，可能对于训练的实际的效果之类的权重就会稍微小一点。但有可能有的公司它的基础设施建设就特别特别好，这两个差别没那么大，那可能就可以花更多精力在这个训练效果上。很多这种小的Tips是其实是没什么用的。因为我确实也发现了，可能很想知道Anthropic怎么做、Google怎么做那个，但其实我有时候不愿意回答一个主要原因是，因为我觉得本质上我回答这个问题也是在误导他。就是现代的AI训练是一个大的系统，你其实要了解这个方方面面的系统，才能有一个全局的认识，什么事是因为什么而变得有用了，而不是说这个事本身有用。
张小珺： 从3.7到4.5又发生什么呢？
姚顺宇： 预训练和后训练都有。当然就是Scale up上做的更多了。然后Data不管是Data还是训练的算力都更大了。但是我觉得从范式上来说就没有特别大的改变。
张小珺： 到你离开Anthropic的时候，他已经多少人了？
姚顺宇： 接近2000人了吧，扩了一倍多。
张小珺： 所以你在Anthropic时期，刚好是他就最剧烈转变的一个时期啊。
姚顺宇： 我可能就是踩在了他还是个小公司的尾巴。其实我觉得进去之后过了可能三四个月，这个公司就已经开始人一下子就变多了。文化有变化吗？还是经历一些比较混沌的阶段吧。然后可能尤其可能就是在我离开的那段快离开那段时间，我觉得文化上还是经历了一些混沌，因为从外面来了一些人，可能跟本来的文化有一些冲突。
张小珺： 之前的文化是什么？之前就是简单。就是它像更像是一个小作坊，大家都是朋友，然后大家都知道对方在干嘛，也没有人会做过多的这种个人宣传啊，或者做一些没有用的事，也没有人做这没有用的事。大家都是有很多事要处理，然后公司那时候紧迫感也更强一些吧。后来人多了，这样的文化肯定会受到一些冲击。
张小珺： 带来了什么风气啊？
姚顺宇： 确实有一些人我个人不是很喜欢。当然不代表他们真的不好，就是我个人不是很喜欢。可能我不太喜欢在这个领域里面说很多话的人。我觉得Idea is cheap，想法是很便宜的，很多想法其实很显然所有人都知道，难的是怎么把实现，怎么把它变成一个一个小的可实现的步骤把它做出来。我不太喜欢那些一天中很多时间花在Slack上、花很多时间在那讲一些大道理的人，我觉得没啥用。
张小珺： 你后来为什么突然离职了？你是完成了什么阶段性的工作吗？
姚顺宇： 当时酝酿了多久？我觉得可能酝酿了一两个月，一个多月吧，一个月多一点。一个方面是就是我不是特别认同Dario反华这个事。我觉得他作为一个公司的CEO来说，他个人他做什么样的观点我觉得都无所谓，但是作为一个公司的CEO来说，我觉得把这个观点推到这么极端的地步，是一个非常情绪化的体现。这是一个比较小的原因。但是大的方面有很多，公司在刚才说的文化上有些冲击，然后包括我自己可能也想去学一些不一样的事情。Anthropic他毕竟非常的专注，然后你可能做如果你还想做和语言模型相关的方方面面，然后做这种使用工具、Agentic、Coding这种事，那在Anthropic很好，能学到很多东西。但是Anthropic有很多不做的事。比如说Anthropic完全没有人做这种多模态生成，你想学没地儿学。然后RL也没有花太多的精力在这种更底层的工程的技术、基础设施上。所以可能想要学习更多的东西也是我当时离开的一个动力。
张小珺： 反华占百分之多少比例？
姚顺宇： 因为他的个人原因，我在公开场合说我40%。但是这个数字反正就是听听就好，这个数字就是告诉你它不是主要原因，但它确实是一个很大的原因。不是个主控原因，但是是一个majority holder的原因。
张小珺： 你这个选择也很神奇，因为大多数人在一个他还是一个Underdog的时候加入会更有感情，然后会愿意陪公司走更长时间。但你反而跳去了Google。因为很多研究员一进去Google，他会觉得Google给的Scope不够，所以他反而会想跳去。你这个反向行动好像也是反的。
姚顺宇： 我觉得其实取决于你自己想要的是什么。如果你很想要的是我有一个很明确的Scope，然后这个事儿和我的最后的产品模型息息相关，我一定要把我其中的一个想法送到这个模型里去，那Google可能是一个很差的地方，因为毕竟有那么多的研究员，有那么多已经成熟的组织做这件事情，是很有很有很有很复杂的这个过程。但是如果你想要的是你有研究的自由，有探索的自由，然后想去学更广泛的东西，我觉得这个世界上可能找不到第二个比Gemini更强的地方。所以本质上还是取决于你要自己想要什么。但是我觉得很多人离职，不管从哪离职换到另外一家之后，可能会觉得不开心的主要原因是因为没想明白自己想要什么。比如说你要是到了Google，你可能更不如你刚开始想的是我要有研究自由，然后学更多的动机是学习，然后你去了之后发现还是想要有产品Impact，那你可能就会很难受。
张小珺： 你不追求Impact吗？你在你也说这个现在这个AI是一个非常大的系统，然后是一个很大量的人写作的一个东西，你在里面追求什么？
姚顺宇： 我觉得分阶段。我觉得在Anthropic也经历了太多这个和产品息息相关的事之后，我可能也想给自己换个脑子，去学习一些不一样的东西。但是你说有没有哪一天我可能又换回这个脑子，又想去产生一些产品的影响，也是有可能的。
张小珺： 这产品影响力怎么量化？这个内部都很清晰是吗？
姚顺宇： 不好量化。就是我觉得因为发论文的时候，他还是有这种作者主导作者。你现在呢？其实没有办法量化，实际情况就是没有办法量化。这也是为什么我觉得在这个时代，其实谈每一个个人个体的影响，是一个很虚无缥缈的事情。我觉得本质上还是这个组织做了这样一件事，或者这个世界需要这样，所以产生产品Impact是个主观感受。在模型测是这样。然后实际上你可以细节谈的是，说你自己做过哪些事情，具体的技术的贡献，然后它在技术上产生的效果，这个是可以客观的去谈论。但是比较主观的事儿是，你说这个效果在最后的产品里占了多大的比重，这个没有人能说清楚。
张小珺： 在3.7上你能描述一下吗？你觉得什么样的技术性的工作对模型是产生影响？
姚顺宇： 主要主要还是跟Agentic Coding的环境有关的工作。然后也有也有一些算法上，算法上主要是怎么让这个训练变得更稳定。但是我觉得算法上肯定是有一些提升，但是也没有达到特别理想的效果。比比之前的算法肯定是要好的，但是那个我觉得也不是我个人的贡献，我觉得也是大家集体的贡献。
张小珺： 我每次问你，你都会说这是集体的贡献。
姚顺宇： 不是一个个人英雄主义的时代。
张小珺： 个人英雄主义时代对于语言模型来说可能过去了。什么时候是啊？
姚顺宇： 就是在Scaling的那个时刻。就是在那个技术还没到Scale up那个点之前，那找到了那个技术的人可能是一个英雄，或者找到那个技术的一个小团体可能是个英雄。找到那技术之后，可能很长一段时间从模型测来说，都是集体主义。就是这个集体能不能一起工作，能不能为了一个目标一起花自己的时间、花自己的精力，这个是最最重要的事，而不是每一个个人提供了什么样的东西。
张小珺： 说集体主义的原因是，因为其实能力是来自于AI是吗？
姚顺宇： 说集体主义的原因是，因为我觉得AI这个方向本质上是简单。没有哪个除了除了可能跳变那一下，那个Idea可能是得有一些很深刻的洞见，在之后的那个过程中，很多想法其实是非常Trivial，就是非常愚蠢的，就是谁都能想谁都能干，只是你运气好撞到这个机会就干了而已。
张小珺： 包括你在描述Anthropic做Coding，好像他也是某种随机性，但是你要抓住它。
姚顺宇： 但是我觉得做Coding可能还比做模型测的这些技术上的东西，可能还更稍微有点个人英雄主义，就是说你能不能足够快的赌这件事儿。那确实是Anthropic很强。但如果今天没有Anthropic做，可能别的公司也做了，我觉得是一个必然的事。所以他都是AI在涌现能力。对，我觉得是看你能不能抓住那个能力，不管是公司还是个体。在在这个可用的语言模型、大尺度语言模型出现之前，那个时候很多事情是一个非必然，就是有没有一个人能够发明一个东西，一个语言模型能够大尺度的做训练，然后以及GPT这个范式能不能被发现出来，那是有很多不确定性的。但是你说比如那那个时候，你说如果没有Google Brain，那可能Transformer就不会被发现，可能要过很多很多年才被另外一个有钱又有人的组织发现，那可能就是一个很大的影响。但是进入那个阶段之后，尤其到现在已经反过来了，就是你任何一个组织想要停止AI进展是做不到的。Anthropic很担心AI安全，那Anthropic有没有这个能力阻止AI发展？它没有。你阻止发展，别人会发展，你的话语权还会变小。其实现在是更多是这种状态，是这个世界在推着我们前进，而不是我们在推着这个世界前进。
张小珺： 感觉未来我们会更加难以阻止。
姚顺宇： 我觉得已经阻止不了。我觉得试图去阻止AI里的一件事发生，可能本身就不是一种正确的想法。刚才聊到Anthropic，其中一个很重要的动因是所谓AI安全，是他创立的时候动因。
张小珺： 现在跟他有什么关系？
姚顺宇： 现在的关系比较复杂。一个自然的问题是，大家可能会问一个做AI安全的公司，为什么现在开始训前沿模型了？Anthropic的解释是说，我首先得拥有一个最前沿的模型，我才有话语权来推进我的AI安全。所以说他其实一直以来的想法是说，我要做这个世界上最好的模型，你大家不得不听我的来推进我的安全政策。但其实我从我个人角度来说，我觉得这个想法是非常幼稚的。就这个事儿现在看来他是不会发生的。更有可能发生就是大家都有很好的前沿模型，而你没有办法阻止任何事发生。如果你真的想要避免AI带来一些危机，什么才是一个更自动化的事？举一个自动化的例子，就是核武器。核武器也是一个可以大家觉得可能有毁灭世界力量的事，但核武器最后受到控制的方法就是Multiparty control。就是这世界上大家有很多个有核武器的国家，他们互相都有毁灭对方的能力，所以通过这样一种制衡才稳定住。我觉得你要阻止AI干一些不好的事，可能最终是需要一种类似的机制来实现的，而不是寄希望说一家公司制定一个法律。
张小珺： 你刚才也提到Google有个可解释性团队是吗？它的可解释性到达哪一步了？
姚顺宇： 在一些比较简单、比较稀疏的神经网络里面，他们能够做一些有趣的研究，比如说看一看某一个输出的或者输入的文字或者图片，它的内在的表示是长成什么样子，然后你可能把那个表示反一下之后，他会能输出一个什么样的东西，做一些这样的研究。
张小珺： 你刚才还提到一个观点，就是AI本质是简单的。你能不能描述一下这句话？
姚顺宇： 我觉得这这甚至不是一个结论，这是我的一个Statement。我对这个陈述的解释是它本质上简单的点在于它能做实验。它和比如说本质上难的东西，比如说物理的区别在于那个东西，你没有那个能标下的实验数据，你就是理解不了那个能标下的理论。但是AI不被这个所绊，目前你理解不了没关系，我也可以往前发展。而且我现在事实就是，能够做任何我能想到的实验，只是可能说我需要一些时间去把这个计算量提上来，或者把这个基础设施准备好，但是没有什么本质上的困难。所以我一直说就是AI没有给人感觉他碰壁的原因，就是首先很多东西你都能试，其次现在不是说大家已经想空了脑袋没有什么想法可以试了，更多的情况下是有太多的想法得一个个试，花时间。
张小珺： 感觉人好渺小在这个事业面前。
姚顺宇： 是的。所以说我觉得很快，可能AI就会开始自己做实验了。我觉得未来的6到12个月AI就会自己做实验。其实当时就是这话不太好定义，我说了一个很模糊的话。就是AI自己提高自己，或者自己来加快自己的发展过程，这件事其实已经在发生了。就像我们刚才最最早的时候聊过，他已经开始帮我们能够去实现一些我们想要的东西，然后很加快我们实验的速度。但是我觉得未来6到12个月，他目前还做不到的事情是什么？是说他能不能从头到尾的把一件AI研究的事做完。就比如说他不仅能写这个Code，他还能跑这个实验，看到这个结果，看到这个结果还能分析这个结果，分析这个结果，指导他哪做的不对，然后提出新的假设、设计新的代码、做新的实验。这个链条目前还没有完整，但我觉得这条链条可能是下一步会慢慢变得完整的事。
张小珺： 基于你的各种原因，在你离开决定离开Anthropic那一刻，你对这家公司未来的预期是什么呀？
姚顺宇： 我觉得我离开的时候，我对这个公司其实挺悲观的，但后来显然是我过度悲观了。
张小珺： 为什么悲观？
姚顺宇： 我当时悲观的原因是，我觉得我当时离开Anthropic时候，Anthropic其实主要的收入来源都是API，就是卖卖Token。这个是差生意，因为这个生意只有对一个公司是好生意，就是Google。因为这个生意最后就是得打价格战，你打价格战，你没有完整的这个链条是没有什么太多优势。但是后来Anthropic显然在产品方面就是我觉得确实是有很多巧思，做了很多好事。不管是像Claude Code也变得越来越好用了，然后Claude Work，然后和各种各样的这种工作和效率相关的事情都慢慢汇聚起来了。所以感觉他现在反而变得比，我当时觉得你要问我OpenAI和Anthropic哪个会先死（就不会真的死，就是哪个会先变得没那么重要），我当时觉得会是Anthropic会先变得没那么重要。但是后来首先OpenAI被Google揍了一拳，然后Anthropic自己就上道了，所以现在看来好像Anthropic更占优势一些。
张小珺： 自己后悔过没有？
姚顺宇： 不太后悔。我觉得对我个人来说，我个人的动机还是想要去换一个地方提高自己。对于这件想做的这件事来说，这个选择没有什么错误。
张小珺： 你也提到Anthropic的产品有很多巧思，特别是今年就是像Claude Work这些，这个来自于哪里啊？
姚顺宇： 我没看到Claude Work发展过程，所以我不知道。然后Claude Code我觉得，产品还可能还真是有一些个人英雄主义的机会。那个人是研究员还是产品？那个我觉得Claude Code的几乎至少这个事的开端吧，是他自己想要做这个事提高自己或者同事的工作效率，最后变成了一个对所有人都很重要的事。
张小珺： Boris是一个什么样的人？
姚顺宇： 我跟他没有太多的个人接触。我更多的只是看到他的工作，在公司的时候，他是个Researcher是吧。但他主要是在产品那边。所以Anthropic是有专门的产品部门的。以前没有分的那么开，后来有单独的。
张小珺： Anthropic感觉是很懂AI的产品。
姚顺宇： 我觉得这就是为什么刚才刚开始说的时候，觉得这个产品经理可能还是目前挺难被AI取代的。好的产品经理，他好像不是上一代那种产品经理，他不是那种Feature的摆放啊什么的，他好像是知道怎么跟AI协作的某种产品经理。
张小珺： 说说你到了Google DeepMind以后的工作吧。工作重心发生变化没有？
姚顺宇： 还是发生了一些变化的。我反正我自己主要在站外，就是做ML Coding，然后和一些比较Long Horizon的事。这两个事其实刚才都大概提了一嘴。ML Coding其实它主要就是想要实现，刚刚说的这个完整的AI自己研究自己的这个链条。那当然这个过程当中有很多实际的问题，有很多实际的细节要去解决。就是我觉得大的方向上来说，大家其实是比较有共识的是该怎么去做，但是还是回到细节，就是细节上有很多要处理。比如说怎么样去选取合适的Data，怎么样去选取合适的回馈信号，以及它又带来新的基础设施的挑战。然后现在就是要把这些事情要慢慢摸清楚。Long Horizon就是刚才说的另外一件事，就是想要能够实现说这个模型能够做到那句口号：Train with finite， Use as infinite。我觉得想要把这个训练的长度一直变长，可能并不是一个很现实的方案。但是很现实的事是，你如何在有限的Context下去做更长的工作。其实人就是这个样子，人的Context其实很短很短，你现在问我昨天晚上吃的什么，我是一点也想不起来了。你可能能想起来。我是一点也想不起来了，因为他对现在这个场景来说不关键。我现在知道昨天晚上吃什么又能怎么样？所以我选择把它忘掉。所以人本质上Context是很短，但他能够选择性的遗忘，然后选择性的去Retrieve，就是去把这些跟当前场景相关的信息再抓回来。所以说我觉得那个可能也是一个对我来说很有趣的这种方向。这两件事是有点相关、有点互补的。为什么？这两件事其实都在模型使用工具和和环境以及不同的模型、不同的人交互的这个大的范畴内。在这个范畴内，大家过去完成的那个节点就是Agentic Coding，就是又是工具又和环境，环境就是这个虚拟机或者你自己电脑里做交互。然后这个事儿，其实它横向就会长出不同的使用场景。那作为AI Research，其实就是横向这个场景里的另外一个场景。这个场景它其实不仅横向上是一个新场景，它在纵向上也让这个事情的尺度变得更长。因为你可能完成一个代码的补全之类，是一个很快的事，但你做一个完整的AI研究，或者做一个这种计算机科学的研究，那是一个很长的过程。所以说它其实就是像一个T字形一样，横向也有延展，纵向也有延展。
张小珺： Long Horizon是不是还是个科学问题？
姚顺宇： 有科学问题也有工程问题。我觉得他科学问题更多的是怎么把不同的方案尝试一下，以更科学的方式尝试之后，找到一条最后我们要走的方案。
张小珺： 这个有哪些方式？
姚顺宇： 我可能不太说说得太细了。但粗的来说，有一些方案是从Pre-train的角度，从预训练角度来说，有一些方案就是类似于这种稀疏的Attention，Sparse Attention。比如DeepSeek也有一些工作，然后学界也有很多工作。然后从后训练的角度也有后训练的方案，比如说像外界你每天用什么Cursor这些，他们就是很强的Context Management，管理这个Context能力，比如说他可以让这个模型去选择，把中间某一段觉得不重要就扔掉了，那一段重要就存在某个文件里，到时候再取回来。这两种大的来说，这两种方案都有人在研究。当然它具体实施细节是不止我刚刚说的这些例子，刚刚说的这些例子就是比较公开的例子，具体实施细节当然就每个公司还有自己的小秘密。我觉得其实也最终都会大家都会互相知道。然后我个人是比较花更多时间在后训练的这部分方案上。因为首先我自己本来就没有花正式的工作时间在预训练上，预训练对我来说更多是一个兴趣，我想学习的事，但我自己其实没有在那上面做太多的工作。另一方面是我觉得后训练这个方案其实更符合我自己对这个事的理解，就我对这个事的理解就是刚才一直在说的一件事，就是说能不能用短的Context训练，但是他能做长Context的事。预训练这些方案，其实本质上还是需要你有长Context的训练，它需要数据里有。所以说他不太符合我对这个问题的哲学。
张小珺： 所以你现在看可以吗，用短的去训练长的？
姚顺宇： 可以是一定可以，但是我们不清楚哪个方案最有效。
张小珺： Kimi的长文本做的很好，好像为什么呀？
姚顺宇： 有一些技巧。有一些让我很惊讶的技巧。这是预训练的事是吧？长文本做得很好一定是两边都有。但是我只是说对我来说，预训练那边那个技巧还是挺让我惊讶的。OpenAI做的没有Kimi好，在长文本上。但是也有说法也不一样，就是有些人也说Gemini 3这一代长文本反而变差了一点之类的。Again。
张小珺： 你加入Gemini的时候，感觉大家对Gemini的预期不高？
姚顺宇： 没，Gemini在当时预期已经挺高的了。
张小珺： 你那是几几年几月？
姚顺宇： 我是去年的9月底，那个是Gemini 3放之前。你对他的预期高，其他人呢？我觉得业内的人当时对Gemini都还是印象不错的吧。我觉得之前一直觉得Google很有危机，在OpenAI的冲击之下，我觉得大家的感知可能在Gemini 2.5这一代产生了变化。因为2.5是一个明显你能看出来Google开始上道了。Gemini 1.5也有一个小的事情某一个具体的方面做的已经算很强了，就是很明显他已经不是很落后。但是2.5是真的第一代，就是我觉得开始有人开始用的模型。反正我自己其实也用过2.5，用的挺多的。
张小珺： 你是看到2.5去的Gemini？
姚顺宇： 我去Gemini跟这没关系。主要还是我知道Gemini他大概是一个什么样的氛围，就是有很多人在做不一样的研究，然后我也知道一些人其实做研究很有意思。然后很多Gemini工程师，我觉得技术是非常非常非常强的，我觉得我我我是从他们身上学到了非常非常多。但是我觉得从大家的感知上来说，可能业内的人在看到Gemini 2.5之后，就可能就已经意识到了说Gemini要赶上来了。
张小珺： 那对你来说，是不是你加入了Gemini的一个信号？
姚顺宇： 不是我加入他的一个信号。那你为什么加入Gemini呢？也就是刚才说的就是主要是因为我当时想做事，就是想要去。但你知道Gemini强对吧？是因为他们来来找我的时候，肯定会也会让我去和他们的人去聊嘛。那从聊的过程中，其实是能够看出来状态怎么样了。
张小珺： 是他们来找你？
姚顺宇： 对，但是我觉得最后就变成双向奔赴了，所以哈哈。
张小珺： 你当时OpenAI不是选择吗？如果你想从Anthropic离职，OpenAI也是当时的选项。OpenAI当时应该还是比Gemini从势能上要强吧，在那个时候。
姚顺宇： 但是，不过那个时候是不是各种那个内部的内斗开始出现了？我觉得OpenAI确实也是我当时一个选项，然后我觉得OpenAI最后没有去的一个主要原因，还是我对他的文化，至少当时来看，我对他的文化是有比较大的担心的。我觉得用粗話来说，就是感觉踏实做事的人没有Gemini多，也更没有Anthropic多。这个我很Care，这一种文化和人的亲近感，让你去了Gemini。
张小珺： 然后你又赶上了Gemini 3的那个转折点是吗？Gemini 3应该对他来说是一个很大的转折，是一个士气是吗？
姚顺宇： 我觉得从实际的效果来说，我觉得是两件事让Gemini产生了一个大的转折，就变成了一个市场里举足轻重的玩家的话，是Nano Banana和Gemini 3两件事连着。我觉得如果只有Gemini 3，可能也不会有现在这么好的效果。因为当你的市占率连10%都不到的时候，你这个模型好一点坏一点，等它传播出去就是太慢了。但是Nano Banana做到一件事，首先市场上这件事很爆很爆款，然后大量的人去下载了Gemini的App，然后Gemini 3又紧接着放，把这个部分留下来了。所以现在他就变成了一个举足轻重的玩家。觉得可能就是没有Nano Banana这么一拳，那其实OpenAI的位置很爽，就他市占率已经高到，你其实模型上干点啥，对他来说可能影响都没那么大。甚至说实话，我觉得就是真正普通人用模型的时候，对于模型的这个能力的感知，其实是很弱很弱的。绝大多数人甚至都不用o系列模型，绝大多数人都用普通的GPT。所以说对于Gemini来说，这个Nano Banana把量打下来，然后Gemini 3又把人留下来，是一个很关键的事。
张小珺： 他事实上抢走多少ChatGPT的用户啊？
姚顺宇： 我不知道现在具体的比例，但是我的感觉是，Gemini可能是市占会在20%左右。但是我确实没有仔细去检查过现在的数据。
张小珺： 这是从事后归因来看，这两个因素共同促成了Gemini今天对于OpenAI的冲击。但你从内部视角肯定能更前置的知道为什么就发生了什么，Google会有这样的变化。
姚顺宇： 我觉得首先就是Google的这个技术储备一直是够的，人是一直是够的。然后组织上来说，就是后来变得越来越清晰了，就是有一个更好的框架来让大家一起干这个事儿了，所以说可能会慢慢有些进展。然后我觉得从某种意义上来说，我作为一个局外人，从某种意义上来说，我觉得OpenAI还是救了Google一命。因为大家以前一直都担心说，这个聊天机器人会不会完全把搜索取代掉。如果这个事真的发生了，Google其实很难受。但是好在OpenAI先把这事做了，然后让Google意识到了这个事儿很重要，但是他这又没有把这个事做到底，又没有把这事做到极致，又没有完全把搜索干掉，可能就吃掉了一些份额，结果让Google自己把聊天机器人也追上来了，那现在难受的就是他了。你要万一有一个公司，就假如说在一个虚构世界，有些公司不仅做了Chat Bot，而且还一路高歌猛进越做越好，真的把你搜索吃掉了，完全没有给你反击的机会，那就很难受了。
张小珺： 那恰饱没有吃掉搜索，是因为OpenAI干的不好，还是因为这个形态干不掉搜索？
姚顺宇： 两方面其实都有。首先目前的ChatBot这种交互方式，其实不会完全失掉搜索。他比搜索强的一点是说它有很强的交互性，你可以追问，然后你可以帮你把一些很复杂的信息去浓缩，这是它很强的地方，所以这部分使用场景，它确实会把搜索的人抢掉。但是搜索里还有一些非常愚蠢的场景，就是你有一个特别简单的事，你根本不想浪费这个时间在聊天机器人身上。比如说我就是搜买大米，我一搜就完了，结果我还非得去问ChatGPT，我还得非得问哪个好，然后他还在那转圈圈转半天，然后给你个Link，你再一点再跑到网页再去买，没有那个必要。所以说从事实的使用上来说，他目前的形态并不足以把搜索完全吃掉。然后当然从另一个角度上来说，他可能在聊天机器人这个事情上，也没有做到登峰造极，他还真的让别人让Google把他给赶上了。
张小珺： 那他自己现在还不算赶上吧？在产品上我觉得在产品上不算赶上，但是在模型上已经是赶上了。但是你要投资人投OpenAI，他们会说他们下注的时候是认清楚OpenAI其实是一个产品公司的时候，他的护城河其实是产品和品牌。那从今天来看的话，似乎Google还没有在这件事情上能够赶上OpenAI吧？
姚顺宇： 这就是反正这都是我作为一个局外人、观察者的视角来说。既然你是点评家、观察者的角度来说，我觉得Google传统上在产品就是有点慢，是一直都比较慢。所以你说OpenAI会不会在产品上有优势，我觉得是有可能的。Google特别擅长的一件事是什么？是找到一个最为简单的产品形态，大家都长一个样，他就疯狂给你卷技术，你就卷不过他。所以那个事儿是Google擅长的，因为搜索引擎就是这样的一个事儿。搜索就是一个典型的，就是大家都是一个框一个键，但他就是比你搜的快、搜的比你准，你拿他一点办法也没有。所以这个为什么，就是我感觉就是一直以来，Google都处于一个做的很好，华尔街都不太认可的状态。大家总觉得这公司壁垒到底在哪？也没有什么产生产品的巧思，也没有什么留存的机制，但他他就活到了现在。
张小珺： 所以他技术好的原因是啥？
姚顺宇： 我觉得还是人好吗？我觉得还是氛围吧。就是Google是一个特别特别重视以前的就是特别的重视工程师，后来就是特别特别重视研究的这样一个氛围。所以他很适合那种通过技术能力溢出的产品能力的产品。
张小珺： 如果从这个角度来看的话，那你觉得OpenAI的位置是稳固的吗？现在？
姚顺宇： 我觉得现在谁的位置都不稳固。AI的形态还有很长的路要走，没有到什么终局之战。
张小珺： 这个感觉呢？感觉国内已经有点这意思了。
姚顺宇： 我不理解，就是为什么？我很费解。国内觉得我们在争夺一个Super App，Super App就是此消彼长的呀。我觉得Condition on聊天机器人这个事就是Super App，那可能可以争夺一下。但是问题是你这个形态是不是Super App？那个形态会被别人哪天出了一个完全不一样的形态，然后你的功能变成了那个东西一个子集，这也是很有可能的是吗？我觉得我看不出什么不可能。为啥ChatBot不是那个终极形态？但是这么多年我们也就看到这个了，对就是一个对话框。我觉得在这个事上，我确实没有什么理性或者量化的标准来说明，更多的是你觉得这事很蠢。就是这个模型明明有那么多的能力，但居然用的是Chat Bot的方法。不太Make Sense，知道吧。所以需要一个产品经理来解放一下模型的能力。
张小珺： 人类到现在只通过ChatBot去跟AI沟通，让你觉得很蠢？
姚顺宇： 是很蠢。
张小珺： 那应该用什么去跟AI沟通？
姚顺宇： 没想明白，要想明白我就干了。
张小珺： 那你没有告诉我Google内部到底发生了什么变化，然后有了外界看到的模型能力的突飞猛进？
姚顺宇： 就是刚才说有一个我觉得组织上更清楚了，然后组上一旦清楚的话，组织变化了。尤其像预训练，现在变得非常非常清楚，就是谁负责什么事情，然后每一个节点上谁是负责人，这些事情都很清楚。
张小珺： 以前是混沌的吗？
姚顺宇： 以前最早的时候很乱。我没有最早的时候在那待过，但是根据同事或者我以前认识的人的描述，以前还是更混乱一些的。现在就是至少运行上变得非常非常清楚，然后加上Google一直有的这种比较强的技术背景，然后他做事也比较系统，所以觉得预训练在Google是一个非常非常可控的事、可预测的事。你能够知道下一代不会差，然后可能你还会知道他会有多好。
张小珺： 通过Anthropic这种自上而下的管理，他也做的不错。那Google是这种自下而上的，它依然是自下而上的是吗？
姚顺宇： 他比以前肯定要更自上而下了，比起最早的时候。但是他比Anthropic来说还是更自下而上了一些。就好像不同的文化都可以是吗？对模型的训练，就是我觉得大公司有大公司的打法，Startup有Startup的打法。
张小珺： 大公司是，你刚刚也说他是一个完全不一样的趋势，它是一个不一样的方法。Google是什么方法？
姚顺宇： 现在Google更多的说是像这种比较确定性的事，比如像预训练已经是一个比较确定性的范式了，那可能Google就会更像把它做成一个工程项目。然后工程Google的工程管理能力很强，所以说他就能慢慢的把它做好。
张小珺： 什么叫工程项目？
姚顺宇： 工程项目的意思就是你其实是非常、非常、非常Top Down的一个组织，然后很清楚我们下一阶段要做的是什么事情，然后就去做这个事情。中间需要有哪几个节点被处理掉。然后哪怕是做研究，也是说就是有一个很清晰的框架，告诉你怎么去验证你的结果是好是坏。所以这个是Google很强的事情，在过去的任何的一个大的工程项目上。所以说预训练，其实我觉得就是现在进入到Google的舒适区里了。然后后训练当然就是有更很多的不确定性，那可能后训练现在来说还是更Bottom Up一点，就大家可以更广泛的试。
张小珺： 你说Pre-training也是一种RL，为什么这么说？
姚顺宇： 就是你很难从纯技术的角度说，Pre-train就是预训练和或者说这个监督学习SFT和RL的本质区别是什么。因为预训练和SFT本质也没啥区别，就是你无非就是把你拿到的那些数据当成你的Ground Truth，然后你就把它当成你的Expert，把那个当成你的专家输出，然后你朝那个专家输出的分布上靠。强化学习可能就是更宽广的一个级别，他就是说首先这个本来输出的东西也不是一个给定的专家，而是我自己产生的一些东西，然后我也里面也有好的结果也有不好的结果，然后我好的结果要往上靠，不好的结果要远离它。所以说从某种意义上来说，Pre-training和SFT是强化学习的一个子集。但是这两件事确实在现在这个时代是有区别的。但是我觉得对我来说，它的最大区别在数据上。Pre-training的数据更多的还是要Distribution广，就是分布足够的广，或者足够的符合你想要覆盖住的一些范围，但是数据的质量并不需要非常非常的高。但是后训练就反过来，就是说它分布上来说可能要远窄，但是他在有的那些数据质量上会要求非常高。所以我觉得目前来说，对我来说，他俩最本质区别还是在数据分布上的区别，而不是在算法或者训练方式上的区别。
张小珺： 那像不同的Lab，它是怎么分这个组的呀？预训练和后训练有不同吗？还是都一样？
姚顺宇： Anthropic和Google比较类似，两个都是预训练是一个组，后训练是一个组。OpenAI可能比较混沌。最早的时候，他一开始的时候他是分三个组，就是他他有预训练，然后他还有强化学习Strawberry组，然后他还有一个Post-training组。我的我没在那干过，但我的理解是他的Post-train其实就不是他的，他的那个RL组就是Strawberry和他的Post-train，其实是别的公司的Post-train和产品。他可能是以一种不一样的方式给他切了。他把后训练当产品做，就是他的一部分后训练，其实是和产品是在做产品。他只是名字没改过来呢？也不完全是。因为绝大多数公司的产品其实不太训模型了，他更多的是把这个需要的特质告诉训练模型的团队。但是他好像就是他的Post-training，既从某种意义上说自己又是产品，但自己又能训模型。
张小珺： 这是不是他对于产品的理解，就是需要有可能训练模型的人来做产品？
姚顺宇： 有可能有可能是件好事。但是他后来又也这个组织变化很多次，所以我现在也不知道他们组织成啥样了。
张小珺： 你们最近发了几个模型，然后我看到你也都参与其中。Gemini 3 Deep Think，Gemini 3.1 Pro。
姚顺宇： 我觉得可能只能说是有幸参与。
张小珺： 感觉都是集体工作。那你为什么现在都变成了明星人物，然后每次都被拎出来单独写一下？我不明白。
姚顺宇： 我觉得其实不太好。每次看到之后，我都感觉明天该怎么去办公室见同事呢？
张小珺： 会有异样吗？
姚顺宇： 在办公室就还好，我觉得同事可能还是人比较好，他们可能也不是特别看重这些事。但说实话我是觉得我参与过的任何一个项目，不管是在Google还是在Anthropic，都一样会发生，效果也不会变差。我觉得大家现在每个人都是冲浪的人，本质上是那个浪，而不是你那个冲浪的人。
张小珺： 浪是AI吗？
姚顺宇： 对，就是AI这个事情本身是这个浪，它会往前走。不管你冲不冲这个浪，这个浪都会拍到岸上。只是说有人可能就冲了这个浪，有人就可能晚了一点没赶上那个浪尖。
张小珺： 你有幸的参与了这两个工作的什么？
姚顺宇： 主要可能就是有一些算法上设计的小的细节，然后一块讨论呀，然后有一些数据上的东西。但是数据上的东西，我觉得可能对之后的工作会影响更大一些。
张小珺： 这几个模型有范式变化吗？
姚顺宇： 没有哪个变化大到了从不知道怎么做大尺度的强化学习到大尺度强化学习那个级别的变化。肯定都是会有一些小小的变化。
张小珺： 这几个小小的变化你们讲一讲？
姚顺宇： 几个新的模型不能讲，很不幸，对不起。
张小珺： 最近我感觉模型已经发麻了，国内一堆模型，国外也是很多模型。OpenAI，你们，国内GLM、字节、DeepSeek一直期待还没发、Kimi。你能不能给大家画画重点？
姚顺宇： 我觉得从某种意义上来说都没那么值得关注。
张小珺： 大家在争什么？现在感觉群魔乱斗。
姚顺宇： 我觉得有一些争的事情呢，其实现在看来已经没那么重要了。就是因为过去带来的惯性，是大家会争各个Benchmark的第一名，证明自己模型的基本能力很强。这个事情呢其实到现在已经到了公众关注那些Benchmark都有点打满了。其实你想最早大家关注这个SWE-bench，随便试，大家都打到80多，幸亏没有人超过83。因为最近OpenAI刚放一个Post说超过83，那个有的题目都是不良好定义的，谁超过谁尴尬。然后大家以前Reasoning就是打完AIME打MATH，打完MATH打像GPQA这些Benchmark的。然后GPQA在Gemini 3之前，大家可能最高的都我忘了，那时候可能十几这样子，然后大家觉得登天难，然后Gemini 3给变成30多了。然后Claude 4.5还是4.6，变成4.6应该是变成60多了。然后Gemini的DeepSeek一下打到80多。所以这个也打满了。所以现在就是感觉光靠打这种公众认知的模型能力，其实已经没啥太大的意思了。所以从这个角度来说，我觉得其实本质上就是没有什么太多的重点，虽然大家发的很快。
张小珺： 发的快，也说明其实这道题对大家所有人来说特别简单了，大家都知道怎么弄了，没有什么秘密了。
姚顺宇： 对，就是还是就还是那个冲浪理论嘛，就还是这个浪在往前走。
张小珺： 那大家下一个可能在寻找的目标是什么？那下一个范式级的变化是什么？还会有吗？
姚顺宇： 我觉得我刚才自己聊的那两个事，是我觉得ML Coding和Long Horizon。这两个是我觉得我觉得是对于Google来说会很有价值的事情。因为首先ML Coding是Google首先自己是一个AI Research大户，然后他自己又是AI Research最全栈的，就是他不仅有这些训练模型这些部分，它还有设计硬件的部分，从硬件接到模型的部分。这一整套东西如果能被加速，或者或者说被更好的管理，那可能对这个公司来说是很有价值。Long Horizon就不说了，就是所有人都知道，都觉得很重要的。所以说我觉得那个可能是对我来说，不能说是范式级别的，绝对是不到范式级别的，但是是一个我觉得是很有价值，需要去在未来几个月之内能够看到曙光的事。范式级的，可能就还是那些更非确定性的东西，就是什么多模态生成，那个我觉得可能会有一个英雄吧，或者会有一个英雄集体吧。
张小珺： 还有聊的比较多的Continual Learning、世界模型呢？
姚顺宇： 我觉得Continual Learning和这种Long Horizon，刚刚说Long Horizon没有本质的区别。因为以前大家觉得这俩事差别很大，是因为Continual Learning会改变模型的一些权重。然后你做这种，比如说像开源大家做很多这种Context Management，是不会改变模型权重的。但其实你想这俩事没有本质区别，因为Context里那些词的KV不也是一种权重吗？所以说你觉得这两个方案最后谁能更有用，在长久来说更有用，我觉得是不清楚的。但是他们本质上都是为了做刚才Long Horizon这种类型的事情。然后世界模型，一万个人有一万个世界模型。
张小珺： 啥意思？
姚顺宇： 定义不清晰。首先我不知道什么叫做一个世界模型，其次就是每个人在说他们做的世界模型的时候，可能也在说不一样的事。比如说咱们俩做的世界模型，可能就和比如说像李飞飞他们做的世界模型就不是一个事儿。我不是特别了解像外面像李飞飞他们这些Lab做的事情到底是怎么样的，但是Gemini的世界模型更多的是一种End to End的这种级别的训练。他想要的结果是说我一个比如视频生成，是大家能够给定一个描述然后生成一个视频，但他想要达到的结果是，我不仅能够生成一个视频，我是能生成一个场景。什么叫一个场景？场景也就是说我生成了这个时刻的状态，然后我还可以再给他一个Condition，这个条件是我在这个状态下做了一样什么样的动作，然后他下一个时刻状态会变成我上一个时刻状态和动作的函数。然后他是End to End的去训练这样的能力。这种可能是一种方案。我首先也不知道大家最后想要的结果到底是什么，然后我也不知道大家对自己世界模型的定义到底是什么，所以我觉得更多还是一种探索状态。
张小珺： 刚才我们一直没有聊到一个组织是xAI。我们聊了Anthropic，聊了OpenAI，聊了DeepMind。xAI呢？
姚顺宇： xAI我是不明白。作为点评家点评一下，他们怎么最近这么动荡？
张小珺： 我觉得他们一直都挺动荡。那为什么最近这么动荡？
姚顺宇： 我也不知道。我其实跟xAI接触的没有那么多，然后我接触的一些人现在也走了，其实我也不知道他们发生了啥。
张小珺： 你刚才说Anthropic的时候，你说技术的一号位能Make Bet是非常重要的。那在Google这样的一号位是谁啊？这个英雄是谁呀？
姚顺宇： 英雄在可能在不同的阶段是不一样的人，但是英雄的背后都有一个人，就是Sergey。就是Google的那个Co-founder。我觉得最终很多很多大的决定可能不是由他来决定怎么做，但是最后拍那个板子得他来拍。
张小珺： 现在也是？
姚顺宇： 嗯。
张小珺： Demis Hassabis呢？
姚顺宇： 我觉得可能更多的在一线冲锋的人是Oriol。其实是DeepMind的CTO，然后他他现在也是那个Google的SVP。Demis在负责什么？我觉得Demis可能管了更多那种偏Science的事情，就比如说那个药物的Design，Isomorphic Lab那些事情。Gemini他管的不多，至少从我的视角来说，我看到的更多的人是Oriol。当然有可能就是那公司管理层的事，其实也有可能很多是我看不到的部分，那我就不清楚了。
张小珺： 你刚才也提到AI是整个是一个系统吗？你对于怎么系统性的做AI有什么认知吗？现在经过了你这两年的工作。
姚顺宇： 有几方面吧。一方面是从整个系统来说，他需要一种比较科学的态度。就像Scaling Law，你要清楚地理解自己做了什么样的预设，然后我在做一个改变的时候，其实有哪些因素是和它相关联，哪些因素是不相关联的。然后从组织情况下来说，从人的情况下来说，其实需要人很Reliable，需要很负责任的人。其实每一个系统，就每一个评价框架都是很容易被Hack的，所以你总可以做一些事让你的指标看起来很好很好看。但是一个值得信赖或者踏实的人，他其实是会想自己做的这件事如果效果好的话，是不是真的，比如说在大的尺度上效果好，是不是我中间漏了哪些因素。所以说把事做系统听起来是一句话，但真正做起来是很复杂的事，就是有很多细节，有很多阻力，因为它其实是违背人性的。因为每个人个人的人性，可能都是为了让我自己做的东西能够体现的更好。但是对于一个公司或者说一个组织来说，最有利的事，是把整个公司的系统性做的非常扎实、非常严谨。
张小珺： 能不能举点例子呀？好像有点抽象。
姚顺宇： 他确实有点抽象啊。所以这也是你说没有那么多的个人英雄主义的一个表现。就人要变成一个更可信可靠的，它是一个系统的组件。我可以举一个一个可能也是比较鬼话的例子，就是比如说做强化学习，你可能可以做一个算法出来效果比别人好，但是可能更关键的问题是你要去问，比如说在真正的大尺度下我是不是能够保持稳定性是一样好的，以及我比别人的东西效果好是不是因为我用了不一样的数据，以及我是不是用了更多的Training的FLOPs，是不是用了更多的Sampling的FLOPs。然后我具体在真的这个最后的这个大的Run里面，到底哪个才是我的限制因素，然后我该看训练哪一个指标。这些可能都是需要研究员自己对于这个系统怎么运作有一个好的理解，以及对公司负责任才能做到。否则就是你很容易做到一件事儿，就是你你可能比如说你在考虑纯训练的时候是比别人好的，但你考虑纯训练加采样的时候就不比别人差了，你总可以选择你只是Training。那就很糟糕。所以这个就是既需要你个人负责任，又需要说组织所建立的这个体系里能够尽量的发现这些有意的或者无意的这种边界的事情。
张小珺： 但是你作为个体的话，你不知道怎么样是对全局最好的呀？
姚顺宇： 其实是需要，我觉得如果一个研究员做不到对全局去考虑的话，他就不是一个好的研究员，在现在这个时代。这个和我觉得和你就是在学术界做Research是很不一样的事。因为在学术界做Research，本质上是一个人吃饱全家不愁的状态，就是我为我的项目负责，我为我的可重复性负责。但是在一个公司里，你其实更多的时候是我得为这个公司负责。对这是两种完全不一样的心态。
张小珺： 那你这种自觉性从哪里来的？
姚顺宇： 不知道。我觉得我可能就是拉不下脸。
张小珺： 拉不下脸是对，就是你对一个公司负责任，是你和这个公司的契约的一部分。其实我觉得没什么道理不这么做，这么做是没有原因的。
张小珺： 所以个人英雄主义会破坏这种整体性？
姚顺宇： 我觉得如果只是为了个人英雄主义而做事的话，很有可能会破坏整体性的。当然实际中可能你能力很强，然后你真的成了一个英雄，那也是有可能。
张小珺： 因为你也经历了两个组织了，你觉得什么样的组织更能够激发智能，在这个时代？
姚顺宇： 其实这是一个很有争议的事。因为刚才也聊了，不同组织可能有些比较自上而下，有些比较自下而上。那一个自然问题说，比如说这两种组织哪个更能够激发创新？过去的观点就是自下而上是激发创新的必要条件，因为就是你得每个人有自由嘛，有自由才能有创新。但是完全自下而上，就发现其实也不行，因为它就乱。
张小珺： 那就是Google之前的样子是吗？
姚顺宇： 至少在我印象里，在我了解到的印象里是这样，就是他就是乱，就是大家甚至都不知道我做这个事有什么用，那可能也也不好。所以就可能需要有一个人，或者有一个小的集体，能够把这两件事稍微融合一些。这是为什么，我觉得其实一个组织运行的好不好，看起来是组织的问题，但其实归根结底是技术Leader的问题。就是这个技术Leader有没有能力把这个组织运行的很稳定，因为最好的那个状态往往都是最不稳定的一个状态，就很容易往不好的那个方向塌缩的。所以得有一个Leader来控制这个事。
张小珺： 你觉都是做技术的来做这个事情，而不是CEO来做这个事情？
姚顺宇： 那当然每个公司的CEO可能有不一样的职责，但是得有一个Leader，我觉得至少得有一个Leader，他能有一两个特质才能去做这个事儿。一个特质就是说他自己有救火的能力。不是说他光嘴上说要做什么要做什么，而是说有一件事真的遇到困难了，他能自己下场去带人，把这个困难解决掉。当然绝大多数时候，可能一个Leader是不会有时间去做这个事，但他至少有这个能力。第二个重要特质，就是他得能够理解别人，就哪怕一件事可能是他不做的事，但他能理解到为什么别人做那事重要，能够容得下别人。
张小珺： 你觉得Google的TPU在哪些方面表现的比GPU更好？劣势是什么？
姚顺宇： 我觉得从纯硬件的角度来说，很难说哪种硬件真的好或坏。尤其是在这种大规模商用的情况下。因为本质上来说GPU和TPU在使用上来说最大的区别，从硬件的区别来说，使用上来说最大的区别就是GPU它有比较好的开源生态，TPU没有。但这个事儿其实在大规模商用的时候，并不是一个问题。因比如Google自己用TPU，那自然会花时间去搭这个基础基础设施。而基础设施就是一个你可能比如说你只跑1000张卡，那可能是一个很大的负担，但你跑一个几十万张卡的集群，那搭一个基础设施也不是一个多大的事。所以从实际大规模商用来说，没有哪个孰优孰劣。但是这两个确实有一些设计理念上的区别。就比如说GPU，至少我后来这几代GPU没怎么用过，就像比如像Hopper那代GPU H系列CPU，它的设计是说，我一个Pod里面可能有多少张卡，就比如八张卡，然后这八张卡之间可以两两互联，NVLink非常快，所以这一个Pod几乎就是没有什么Communication的Bottleneck。但是TPU他可能就反过来，他就是说我抛弃了卡与卡之间两两互联，但是我能尽量的把尽量多的卡放在一个大的这个架子里面，那就只有这种三维Torus这种设计。所以他就一张卡，就只有在三个方向连三个最临近的，但是它整个集群可以连成一个大Torus。然后如果你的Compiler或者你的Sharding的逻辑写的足够好的话，你是可以利用这样的东西，其实就是等效来说你会获得更大的储存空间，然后也会减少很多Communication的Bottleneck。
张小珺： 劣势是什么呀？
姚顺宇： 劣势就是它肯定是比起GPU来说，至少在小的Scale上来说，比起GPU是更加固定的一种结构吧。所以说它的易用性或者通用性可能没有那么强。
张小珺： 最近硅谷有很多New Lab出现，你怎么看这个趋势？为什么他们都出去从这些模型大厂跳出去，成立New Lab？
姚顺宇： 我看不太懂。我的感觉是绝大多数New Lab都会死。我觉得就是可能有一些Lab是真的有好的人的，然后像有些Lab可能确实也开始在做一些事，比如说像Sakana AI，他还是在Deliver些新的东西的。但有些New Lab就是，我就完全不知道他们到底要干嘛，然后这俩人其实已经远离这个专业好久了。
张小珺： 你觉得26年国内会非常的看重C端的趋势，谁成为那个Super App，你怎么看？
姚顺宇： 这个好像在硅谷没有人讲这个事。就是因为美国Enterprise就是这个就是公司，或者说效率软件这个市场太大，而且利润也太高。所以说对于美国来说，其实C端之前就只有ChatGPT一家做，然后其实也没啥油水，没什么利润。所以说现在大家重心可能都会先放在这种效率软件或者Enterprise上。所以中美的趋势已经发生差异化了。我觉得不只是AI，就是过去的整个互联网都是不一样。就是中国很强的就是C端，就是他能够想出一些非常非常复杂的产品的形式或者结构，然后用一种你觉得很间接、很不自然的方式把这个利润滚起来。
张小珺： 什么叫很间接很？
姚顺宇： 就比如说像抖音这种东西，他并不是说我你看视频，我看一个视频收你两毛钱对吧，而是说你可以免费看视频，但是我可以偷偷加广告，我可以偷偷做直播，我没头做电商。但是做效率软件没这个事儿，做效率软件非常直接，就是我让你帮你写代码，我成本一个月150，卖你200，我挣50，这是非常直接的事。我觉得美国在过去的体现就是在这种很直接的产品上，能够把技术做到极致。但是一直没有哪个产品让我觉得就是复杂到，说让你离不开他，你又感觉不到他在挣你的钱，但他实际上挣了你的钱。
张小珺： 你这么说，我突然觉得Meta就应该抄字节。
姚顺宇： 但我觉得Meta没自己强，因为Meta他也找不到自己的生态位。然后美国又没有一个做这件事情的公司。就豆包这个生态位还没有人找到。那Meta就抄豆包呗，他也不需要那么强的模型能力。不是，但我觉得还是美国做产品的，本质上做C端产品的人人不行啊，比中国来说差远了。
张小珺： 这是过去10年的积累是吗？
姚顺宇： 因为过去10年在美国的这个正反馈都来自于做To B的很多，或者就是在美国这地方挣钱太容易。挣钱太容易的时候，你就不会费脑筋去想怎么挣钱。
张小珺： 不是很多中国人都要找你聊聊吗？有什么好玩的人啊？很多国内的人来科技公司。
姚顺宇： 我觉得都挺好玩的。然后确实发现国内人做产品可能还是想法更复杂一些，更复杂一些。就是想的这个回路更长一些。跟美国还是风格不太一样，美国是我觉得美国就刚才说了嘛，就是做个什么就拿这个卖钱了，就是简单。就是这个事就是需要这个能力，有了这个能力之后就要比别人便宜，我就能挣得比你多，你拿我一点办法也没有。中国呢，中国感觉都是这种什么一开始不挣钱，但一旦他开始挣钱，你就拦不住他。就是它就是真的是能形成那个Flywheel那个自己的那个圈，你就是他真的把那个圈转起来的时候，你再想往里插就插不进去了。
张小珺： 那你觉得美国公司现在看得懂字节跳动没有？
姚顺宇： 我的感觉是没有。她都这么大了哦，你说就是是不是重视啥？那肯定是重视的，就大家肯定都知道字节是一家被严重低估，从它的市值上来说是被严重低估的公司，这是我觉得大家很明确的事。然后我觉得也很明确，就是说在消费者市场这一端，我觉得没有哪个公司能和自己竞争。但是他毕竟是家中国公司，至少从公众意识上来说，他毕竟是家中国公司。他自己看懂他了吗？我就不觉得大家看懂了。但是你看Meta其实也在主动的从字节挖人嘛。
张小珺： 你在AI行业有什么偶像吗？或者欣赏的人。虽然你在AI行也很短。
姚顺宇： 没啥。我感觉我来这个行业的时候，个人英雄主义时代已经过去了，所以也没有什么英雄。有时候你甚至觉得旧时代英雄有点蠢。所以说真的没有什么。
张小珺： 你觉得谁比较蠢？这个还是不说了吧，No comment。
姚顺宇： 我觉得和做物理时还是不一样。我觉得做物理时还是存在着一些我觉得真的比我聪明太多的人。比如说我读博的时候，我那个年轻老板，我觉得他比我聪明太多了。我觉得我可能也是看到他，我才觉得自己待在那个领域也没什么用，有他了还要我干嘛呢。得跑到AI来降维打击一下是吧？也没降维打击，但是反正就感觉AI这事儿本来也不太需要脑子。
张小珺： 不太需要脑子，真的不太需要脑子？你需要什么？
姚顺宇： 我觉得这个行业最重要的特质就是靠谱，做事细，然后对自己做的事负责任，这是最重要的特质。你说那些东西有多需要脑子，我觉得都是一些本科生就能干的活。
张小珺： 可是你说AI没有个人英雄主义，现在一个AI研究员的价格炒的多高啊？跟球星转会一样。我不知道是好事还是坏事？
姚顺宇： 对我个人来说，我当然很高兴，是我受益于这个。但是实际上来说，我并不知道这个事是不是一件好事。
张小珺： 你为什么价格会变得这么高？
姚顺宇： 我觉得可能一方面是大家觉得这个事很稀缺吧，但是它实际上可能确实也没那么充足。因为训练一个人，虽然这事儿没那么难，但是你训练一个人是需要一个环境的，就是你得有那个机会去接触这件事，你才能学会这件事。你没有那个机会，你就是再聪明也没用。那可能过去能撞到这个机会的人没有那么多，所以说在市场上来说可能是比较稀缺。从这方面来说，但我觉得另一方面，也是可能对人的炒作有点过分了。非常喜欢神话个体。现在我觉得真的，就是再说一次，这是个集体主义的事。
张小珺： 那很多人也会很好奇，因为很多公司也想招AI的人，那你觉得最重要的还是要靠谱，这个有什么衡量指标呢？就怎么能够快速的判断一个人靠不靠谱，做事细不细？
姚顺宇： 每个人都有一些自己衡量的方法，然后我当然也有一些自己的Trick。我好像有出一道面试题，然后我可以大概讲一下，这个应该不涉密，所以我也可以应该可以讲。很多面试其实很简单，就是说我需要这个人在24小时之内完成一个强化学习的项目，从0到1。就是他要自己去选用什么样的模型，我告诉他他有的资源是什么样的，然后他自己选用什么样的模型，用什么样的数据，用什么样的算法，然后把这个模型训出来。24小时之内，就是我让他24小时去完成这个事。然后24小时结束之后，他会跟我有一个小时的讨论。然后这个事儿呢其实在AI时代没有那么难过。没有AI的时候，这是不可能的，没有人能24小时之内把它做出来。但有AI之后其实特别简单，因为AI能帮你全套做。但为什么还要做这个事呢？有两个原因，有很多原因，其中设计成这样的两个原因，一个原因是因为我觉得在这个时代还去考察别人比如代码写的好不好，其实没用，因为绝大多数人都不用自己写代码，它更重要的是它能不能有效的利用AI，那这个事一个方面的考察这个问题。第二方面是这个事其实有一个陷阱，就是如果你全盘让AI做了，但你最后没有试图好好理解AI为你做了什么，那在那一个小时的讨论里面会露馅，那是一个会挂人的地方。所以那个考验的另一件事，就是说你有没有真的和AI形成了协作，还是说你就全权扔给他。那个是我我觉得我个人很看重的事。当然这个题目的设计本身也有一些比较阴暗的巧思，就是说为什么设计成24小时？就是为了看这个人有多看重这个机会。可能熬夜。如果他足够熬夜，他就能撑住这24个小时，如果他撑不住，那只能说他可能对这个机会也没有那么看重。
张小珺： 那对于比你更年轻的人，你觉得他们现在来AI还是一个很蓝海、很有机会的地方嘛？
姚顺宇： 我觉得纯做语言模型已经不是一个蓝海了，我觉得晚了。末班车已经发车了。
张小珺： 那班是哪一班啊？
姚顺宇： 我感觉我入行的就是那个末班车。在我入行之后当然还有些新的人，但我觉得他们就没有机会能接触那么好的机会，就是能在还没那么小、没有那么大的团体里做一件事情，那么可能就很少能遇到这样的机会了。但是我觉得AI它是一个很大的方向，语言模型只是其中的很小很小很小一部分，还有很多别的事情。比如刚刚说的多模态生成，那可能还有很多机会；机器人那可能更机会更多。包括更夸张的就是，你能不能用AI去帮助一些真正的科学问题，比如帮助做量子调控之类的，那可能就是更蓝海，那都是Blue Sky的事了。所以说对于足够年轻的人来说，可能做现在最热火的事并不是一个正确的选择，做现在没有人做到的事，可能更多的是一个好的选择。
张小珺： 你自己未来会怎么发展？你会在Google很久吗？
姚顺宇： 我觉得应该不会这么公开的说。我觉得应该不会。我还是会尝试去挑战自己的，要折磨自己。但是我就是可能需要找到一个值得折磨我自己的事。
张小珺： 如果AI不是本质的难的话，你会不会做的觉得无聊啊？你对你的挑战在哪啊？
姚顺宇： 我觉得它虽然不难，但是你知道和不知道还是有一个Gap的。就是你从完全不知道这其中细节，到慢慢理解这其中的细节，理解它是怎么运作的之类的，这些事情我觉得还是需要花时间花力气的。然后当你理解之后，我觉得对这个事儿也是会对你未来做，比如不管你是做产品相关，还是说往往别的AI的方向去发展，我觉得都是长期来说会有帮助的。
张小珺： 你未来想在哪里去发展？我觉得都有可能，没想好该怎么折磨自己。
姚顺宇： 你不应该不会再跳去另外一个公大公司了吧？应该不太会了。
张小珺： 你觉得你在Anthropic上学的，和在Google DeepMind学的有什么不一样？
姚顺宇： 我觉得还是挺不一样。我觉得在Anthropic就是你可以把一个事儿了解很透，把一条线就是Language Model这条线的方方面面了解的很透，他给你这样的机会。然后在Google它更多的是一种横向，就是他有很多不同的方面，包括很多不一样的人，然后也能见到不一样的视角，也能见到不一样的研究方向。就是你都可以看见。Anthropic是因为他Bet的足够的坚定，所以你能理解的更纵向。
张小珺： 你有想过用AI去解决物理问题吗？你们那有人在论物理？
姚顺宇： 有人在干，所以我觉得不需要我去干。
张小珺： 你对这个没有本质的兴趣？
姚顺宇： 我觉得这个事就是，首先我觉得目前对我来说不是最高优先级。我觉得如果哪天，我觉得我把我手上最高优先级的事解决了，然后我又没有找到别的事儿干，我可能会去干这个事。
张小珺： 你现在最高优先级是什么？
姚顺宇： 我现在最高优先级是，就是把我刚刚说的这两个事情，ML Coding和Long Horizon，至少推进到一个和同事能够把它推进到一个比较稳定的状态。那个我觉得是我的最高Priority。当然可能之后也会有别的Priority。但是用AI做物理，我觉得是一个已经有很多人在试的事，然后多一个我不多，少一个我不少，不如就让别人先干。
张小珺： 你有特别崇拜的物理学家吗？
姚顺宇： 也没有。但是有点多，不知从何说起。物理学家有，人工智能科学家没有。但也是跟人的成长经历有关吧，就是我觉得就是一个成年人，是很难真的崇拜一个人的，那一个儿童可能会。
张小珺： 那崇拜过谁啊？
姚顺宇： 我觉得物理学家其实还是有很多，就真的挺挺强的。但是就是大家都说的那种，什么100年前那种人就不说了，就什么爱因斯坦、海森堡这些就不说了，然后包括大家后来都知道什么像Frank Yang，就杨振宁，这些也都不说了。然后像我之前做拓扑绝缘体体系的时候，其实有一个他后来也拿诺奖，就是那个Haldane。就是你会发现这些人他有些异常的远见，就是他在他那个时代显得格格不入，但是你看好像最开始做好在拓扑模型和这些分数量子霍尔效应相关的事的时候，离最后大家搞明白这些拓扑物态过了好好几十年。在那个时候他能够觉得这事儿重要，然后一直在自己在推进这事儿，我觉得这是一个很不容易的。当然你觉得你要非要在人工智能找一个类似的人，我觉得可能Geoffrey Hinton。就是在大家都觉得这事儿吧可有可无，或者不那么确定的时候，他一直在这个方向做，那我觉得这可能是一个英雄级别的人物。
张小珺： 在他之后呢？AI在他之后？
姚顺宇： 我觉得可能也有一些英雄的集体，就是比如像Transformer，那可能是一个英雄集体。
张小珺： 你讲过一个特别让我印象很深的话，我在这个行业又没有什么导师，又没有什么旧友，我想喷谁喷谁。这可能就是不做AI的好处吧，不做AI出身的好处吧。就是真的没有什么负担，没有哪个老师是你的亲属，所以你觉得他傻，他就是傻，就可以直接说他傻，无所谓的。
姚顺宇： 你以前也这样吗？我觉得我做学生的时候还挺收敛的，但我后来发现收敛没用，对自己也没好处，对别人也没好处。还是更直接的表达自己的想法是最关键的。我觉得直接表达自己的想法是一个短期一定会有人恨你，但长期大家会欣赏的事情。
张小珺： 我最近听谁说话特别蠢，把这个名字哔掉谢谢。
姚顺宇： 我觉得他是挺蠢的，而且蠢的始终如一。
张小珺： 他有没有可能是那个对的人呢？
姚顺宇： 我觉得他说的话用Pauli的话来说，就是Not even wrong。因为不良好定义也很难说他说的是对是错。就是有一天可能有一个不一样的范式发生了，他就可以跳出来说，哎，我当年说过这个这个这个，但是你就发现可能如果范式是一种状态，他也能说一样的话。这就是我为什么很讨厌这种很Vague、很模糊的人的原因。因为一个事儿模糊就是没有意义的。
张小珺： 你为什么觉得他说话很模糊？没有正确的定义，就是是一种模棱两可。如果他有正确定义的话，我可以解释它为什么有正确定义，但它没有正确定义的话，我没有办法解释它为什么没有正确定义，因为它真的没有正确定义。
姚顺宇： 我觉得LeCun还是就是一个很良好定义的事，就是他他是要做，嗯然后他的方式可能更偏这种更传统的这种Neural Network Model的方式，而不是更End to End的这种方式。我觉得至少他是良好定义的，至于它是对是错，那我觉得是未来会检验的事情。
张小珺： 我觉得人年纪大了，不一定会变成老登。人年纪大了会变成两种状态，一种状态叫做德高望重，就是他会可能少指手画脚，还会花自己的力气去培养年轻人。另一种人就是老登，就自己也不懂，还爱指手画脚。
姚顺宇： 你是受了谁的刺激啊？我也不知道我受了谁的刺激，但我确实见过不少老登。
张小珺： 您是从什么时候变化的，就是说话非常直接，开始不收敛了？就是你过去都是这么想的，但是你不说。
姚顺宇： 我觉得我过去可能也也会比较直接，但是没有这么直接。但是做了AI之后就更直接，这是没有没有束缚是吧？一是没有束缚，二是这个领域足够客观。就是你其实不用太担心因为自己的观点而惹到什么人，只要你的观点是自洽的，就是你有一套自己观点的理论，你不是说随便喷人，那肯定是会惹到别人。你也是有一套自己的自己的理解，我觉得其实大家是会尊重你的，因为最终你在这个领域做的怎么样，是有客观的评价标准的。
张小珺： 好，我们每个嘉宾都会推荐一本人生之书，要这本书真的对你产生过重要的影响，你要说的这本书是什么？
姚顺宇： 这是今天最难的一个问题。我感觉你还是高看了我的文化程度。我真的没有什么人生之书，说实话真的没有什么好。
张小珺： 最近读了一本书？上次那个季逸超说的是线条小狗。
姚顺宇： 最近读的书就是汤川的自传，汤川秀树的自传。你要非要说就是可能有印象的书，首先我这人确实不爱读书，我感觉就是我这个人文化水平比较低，然后我读的书除了专业性的书之外，所有的书感觉都是闲书。像什么汤川的自传，其实本质上也是本闲书，但是就是我觉得写的挺有趣的，就是你能看到一个后来看起来如此成功的科学家，在他年轻的时候有一种挣扎感，很真实。然后可能就还有些什么闲书，像小说之类。有本小说我很喜欢，那个《来自新世界》，是一个日本的小说。我觉得你要非让我推荐闲书的话，我可以推荐那个。
张小珺： 你最近有看什么电影啊，什么电视剧，玩什么游戏？
姚顺宇： 什么都没有。
张小珺： 一个全球范围内你喜欢的食物？
姚顺宇： 寿司吧。
张小珺： 一个全球范围内你喜欢的地点？
姚顺宇： 全球范围内喜欢的地点，我觉得现在你要非让我选，我可能会选夏威夷，因为我很喜欢海。但是也很难说，因为之后我可能去了更多海的地方，就另有新欢了。
张小珺： 一个少有人知道，但是可能需要知道的知识点。
姚顺宇： 别相信老登算吗？
张小珺： 你有迷信过吗？
姚顺宇： 我本质上没有迷信过，但是我觉得有些时候可以靠迷信来安慰自己。
张小珺： 我说你有迷信过老登吗？
姚顺宇： 迷信老登啊？从来没有吗？真的没有。但是我以前可能没有这么恨老登，后来就变得越来越恨老登。
张小珺： 为什么？可能就是当你自己有越来越多判断的时候，那些蠢的人就显得更蠢。那他们也没有伤害你啊，为什么会恨他呢？
姚顺宇： 我觉得就是厌蠢症，每个人都有厌蠢症。
张小珺： 你的MBTI是什么？
姚顺宇： 不知道为什么这些年会有一个对于就是年轻人对于年龄大的人这么不友好的一个词出现，它的来源在哪里？可以问问Gemini，让他Deep Research一下，看看老登这个词是哪来的。
张小珺： 在你心目中影响AI进程的几篇论文。
姚顺宇： Sequence to Sequence是一篇，那是Language Model在Feature Engineering时代的高峰。然后Scaling Law是一篇，就是Kaplan他们在OpenAI的那篇Scaling Law也是一篇，是把这种体系化的研究方式引进到这个领域的一篇。当然最后实际上Scaling Law做的的方法可能他那样并不是正确的，但是是第一篇把这个想法引进来的，我觉得这很关键。
张小珺： 基于你当下的认知，一个关键的重要的Bet是什么？
姚顺宇： Long Horizon。
张小珺： 我们工作室叫语言及世界工作室，第一次听到这个名字的时候，你在想什么？
姚顺宇： 我觉得这个名字有点太平庸了。其实我觉得这个名字是一个可能放在10年以前是一个很独特的视角，但现在大家共识太多了。因为10年以前确实就是，可能现在不止10年，就是可能在什么14、15那个年代，大家都会觉得视觉是最重要的事，但那个时候我觉得意识到语言是承载智能的重要载体的人，可能是一个不一样的事情。不过我觉得我们这个名字，不是在AI的语境里面讲的，那就值得深思了。