Anima Anandkumar：物理世界没有基础模型

我是 Alessio，Kernel Labs 的创始人，和我一起的是 Swix，Latent Space 的编辑。

今天，我们非常荣幸地邀请到了 Applied Intuition 的创始人 Kassar 和 Peter，欢迎你们。

你们真的很会切换到播客模式。

你们是真正的专业人士。

就在这之前他们还在开玩笑，然后很快就切换过来了。

哦，是的，很高兴你们来，也许你们可以先自我介绍一下，这样大家就能熟悉你们的声音了。

哦，当然，我是 Peter Ludwig，Applied Intuition 的联合创始人兼 CTO。

我是 Kasser Yunus，我和 Peter 是联合创始人，我担任 CEO。很高兴见到你们。

你们能高屋建瓴地介绍一下 Applied Intuition 是做什么的吗？我读过一些国会文件，Peter，当你们去那里的时候，全球前 20 大非中国汽车制造商中有 18 家是你们的客户。

你们在农业、国防、建筑领域都有客户。我想大多数人第一次听说 Applied Intuition 是因为 YC，但之后你们沉寂了很长时间。

所以，也许先给大家一个高层次的概述，说明它今天是什么，然后我们再深入探讨各个部分。

好的，Applied Intuition 的使命是构建物理 AI，创造一个更安全、更繁荣的世界。

因此，我们致力于各种移动系统的物理 AI，从汽车到卡车，再到建筑和采矿设备，以及国防技术。

我们是一家真正的技术公司。我们构建并销售技术，卖给制造机器的公司，也卖给政府，实际上任何想要购买技术让机器变得智能的人都是我们的客户。

是的。我认为在更广泛的 AI 领域，过去三年的焦点理所当然地放在了大型语言模型上。所以一切都体现在屏幕上，比如代码补全产品之类的。

而我们的不同之处在于，我们将智能部署到许多没有屏幕的东西上。它们是物理机器。

有时在驾驶室或汽车、卡车等内部会有屏幕，但我们提供的大部分价值是将智能置于安全关键环境中。

这两个词非常重要，因为学习系统可能会犯错，如果你问它比如“告诉我关于这些即将见面的播客主持人的信息”，但显然你不能那样做。

举个例子，我们现在就在日本运营无人驾驶卡车。

(漏译)

(漏译)

(漏译)

(漏译)

(漏译)

(漏译)

(漏译)

(漏译)

(漏译)

(漏译)

我们不能出现L4级卡车的错误。

这始终是公司的使命吗？

我记得最初，我认为人们把你们和Scale.ai归为同类，因为你们在数据基础设施方面有些相似。

公司是如何演变的？

从一开始，我们就一直想成为一家真正推动工业领域发展的科技公司。

所以我们从自动驾驶开始做起。

我们的第一批客户是Robotaxi公司。

我们最初做了很多仿真和数据基础设施方面的工作。

然后随着时间的推移，我们扩展了产品组合。

现在我们拥有超过30款产品，在物理AI领域是一个相当广泛的技术布局。

是的，我认为之所以被拿来比较，是因为我们都是YC宇宙的公司，但两家公司其实非常非常不同。

Scale本质上是一家服务公司，一家数据标注公司。

我们一开始就做很多工具，现在也仍然在做。

所以你认为开发者工具现在因为AI热潮又重新流行起来了。

但说实话，10年前它并不流行。

在2016、2017年做一家工具公司并不是一件时髦的事，因为我不知道你是否还记得，

风投们普遍认为工具只是工作流，

而工作流最终并不那么有趣。

现在我们又回到了原点。

但当我们创办公司时，这有点像公司愿景的边缘部分。

从最早的时候起，我们就想将软件部署到物理机器上，比如汽车、卡车等。

显然，我们当时不知道Transformer热潮会发生。

我们不知道自动驾驶系统会变成端到端。

这些事情我们当时都不知道。

而为什么这很重要，因为当自动驾驶系统变成端到端时，

这些模型现在可以泛化到多种形态因素上。

所以九、十年前，工具是构建技术并将其销售给终端客户的好方法，现在也仍然是。

很多客户希望自己构建这些东西。

所以我们提供一系列解决方案，从只使用开发工具套件的一部分，到购买完整方案。

正如Peter所说，看待这家公司的方式，或者至少我们看待自己的方式，是一家技术提供商。

这有点像，你知道，英伟达或AMD做的事情，但我们不做芯片。

我们不做硅片。

但本质上，我们是一家技术提供商。

而且我觉得，甚至，你知道，我们刚创办公司时经常开玩笑说，我们不是那种做Instagram的人。

从根本上说，那完全不是我们。

我的意思是，我——

你有想法。

是的。

嗯，我觉得这就像——而且，我们做过地图之类的东西，谷歌地图。

消费产品因为很多不同的原因非常难做。

我觉得它并不能满足我们的兴趣。

我认为我们更像是密歇根那种传统工程领域或传承出来的人。

你说的，乔。

不过我得说，十年前很清楚的一点是，软件和AI在车辆中还有更多可能性。

这大致就是我们十年前起步的领域。

这些年来我们走过的具体路径，我认为我们一直很有策略，并且不断调整，确保我们真正在构建对市场有价值的东西。

技术变化太大了。

我们自己的技术栈完全改变了，大概每两年一次。

所以到现在，我们可能已经完成了四次技术栈的完整演进。

我大致看到这个节奏还在持续。

所以我们思考工程的方式几乎是在这个两年周期内，我们做好准备：嘿，我们要投入适当的资金，但同时也要非常动态，随着研究论文发表以及我们研究团队发现新进展并适应它们。

是的，有一件事一直没变，就是我们招募的人才类型，坦率地说。

是那些属于，你知道，有时非常传统的，比如谷歌、GenSuite，但与其他公司截然不同的工程师。

我们招聘的是真正了解硬件和软件交叉领域、了解非常底层系统的人。

显然，还有传统的机器学习研究人员以及那些真正将机器学习系统投入生产的人。

这一点一直很一致。

我认为你可以看看我们工程团队的构成。

公司83%是工程人员，所以就像一个巨大的名单，很多工程师。

顺便说一句，1000名工程师。

这在你网站上，所以我想可能已经过时了。

这是最新的。

好的，然后有40多位创始人。

是的，而且这更多是运气而非策略。

我们招募了很多前创始人。

对创始人来说，无论是YC还是非YC，这里都是一个很棒的地方，因为我显然认识很多YC的人。

我们有点像招募了很多Google的人，让他们同时发挥技术和非技术技能。

因为你知道，我们更偏向应用层面。

我们有一个研究团队，从事基础研究。

我们发表论文，并且在这方面取得了很好的进展。

但本质上，业务希望将这种智能部署到生产环境中。

有一种特定类型的人对此更感兴趣。

是的。

你提到了tick stack，Peter。所以我想让你自由发挥，深入谈谈这个话题。

我在某种程度上对植物营养的起点和终点感兴趣。

哪些事情你们不会做？你们在所有垂直领域都做哪些共同的事情？

我们的工作可以分为几个方面。我们从事这个领域已经将近10年了。

所以技术相当广泛，但我们起步时有一千名工程师。

你可以做很多事情，尤其是AI工具。

我们的起点是仿真以及仿真工具和基础设施。

所以一般来说，如果你要构建一个涉及移动机器的非常复杂的软件系统，你需要进行测试。

最好的测试方法是结合虚拟开发、仿真，当然还有现实世界的测试。

然后有一个非常谨慎的过程，来关联仿真结果和现实世界结果，并确保仿真器实际上与之准确对应。

仿真是一个非常深奥的话题。

我们在这方面有一整套产品，我们已经就此专门讨论了很多很多小时。

但这是我们公司工作的一部分。

作为其中的一个子部分，强化学习也极其关键。

我认为现在很多AI系统中最好的进步在某种程度上都与强化学习有关。

现在我们有了大量的计算资源，可以在强化学习中做很多有趣的事情。

我们做的第二类工作是操作系统技术。

真正的操作系统。

想想调度器、内存管理、中间件、消息传递，以及高可靠性的网络和数据链路。

现实是，如果你想将AI部署到车辆上，你需要一个非常好的操作系统。

当我们深入这个领域时，并没有找到任何让我们满意的方案。

当然，市场上确实存在一些东西，我们也在使用它们。

作为一个工程组织，我们大致意识到这些东西并不好。

我们觉得自己可以做得更好。

所以，让我们自己来构建。

那一刻的灵感启动了我们的操作系统业务，现在这已经是一个非常真实的业务了。

为了编写和运行优秀的AI，你需要一个优秀的操作系统。

这就是我们进入该领域的原因。

然后我们工作的第三个板块是真正的基础AI技术。

模型。

我们在基础研究方面做了大量工作，同时也包括世界模型和实际运行在这些物理机器上的自主模型。

这涵盖了汽车、卡车、采矿、建筑、农业和国防领域。

所以这包括陆地、空中和海上。

还有一个较小的子领域，那就是人类与这些机器的交互。

嗯，从历史上看，如果你操作一台挖土机或任何这类机器，你需要按按钮，无论是物理按钮还是触摸屏，这正在从根本上改变。

无论是物理按钮还是触摸屏，这正在从根本上改变。

变成你直接与机器对话，你和机器组队协作。

变成你直接与机器对话，你和机器组队协作。

语音，是的，语音，当然。而且机器还能感知驾驶舱里是谁，他们的状态如何。

他们的状态如何。

从安全系统的角度来看，最简单的版本就是驾驶员疲劳了，对吧？

从安全系统的角度来看，最简单的版本就是驾驶员疲劳了，对吧？

就像你开车时收到提醒，建议你喝杯咖啡休息一下，但这里的情况要严重好几个数量级。

就像你开车时收到提醒，建议你喝杯咖啡休息一下，但这里的情况要严重好几个数量级。

就像你开车时收到提醒，建议你喝杯咖啡休息一下，但这里的情况要严重好几个数量级。

但这种人机组队的概念很重要。

当你考虑运行代理，或者只是运行Claude的不同实例在后台为你工作时，你可以把它想象成……

当你考虑运行代理，或者只是运行Claude的不同实例在后台为你工作时，你可以把它想象成……

打个比方，几乎就是复制粘贴，然后放到一个农场里。我们有一个农民在操作

一些机器。他们与机器交互的地方，可能是需要做出

关键决策或脱离接触等情况。但一般来说，物理机器上的

智能体在代表农民运行和做决策，直到出现某些

关键情况。这也是我们正在做的事情。所以这不是纯粹的自主，而是有点

混合，但属于自主范畴。

在汽车领域，这通常被定义为SAE等级中的L2++系统，

即人在回路中。

但把这个概念应用到其他垂直领域。

你完全没有提到硬件，比如传感器，或者

显然你提到你们不做芯片。

我认为即使在自动驾驶领域，也存在摄像头与激光雷达的争论。

在你们的领域，你们可能做出了一些设计决策，

这些决策是由OEM在机械上安装设备的能力驱动的吗？

你们在共同设计这些方面有多大的影响力？

是的，我们不制造传感器。

我们不是制造商。

显然，我们在自主产品中使用了大量传感器。

至于实际安装在车辆上的传感器，我们有一套优先支持的传感器。

然后我们的客户可以从这些传感器中进行选择。

显然，如果对支持其他传感器有非常强烈的意见，我们也会将其添加到平台中。

而激光雷达问题目前是自主领域的老生常谈。

目前行业的现状是，激光雷达无疑是一种有用的传感器，特别是在数据收集和自主开发的研发阶段。

例如，如果你看到特斯拉的研发车辆，它至今仍装有激光雷达。

在湾区，你会看到Model Y或CyberCab上装有激光雷达四处行驶。

所以它很有用，因为它提供逐像素的深度信息。

如果你比较激光雷达和摄像头，你可以说，这个摄像头朝这个方向，这个激光雷达朝那个方向。

现在对于摄像头的每个像素，我可以知道那个像素有多远。

然后你可以将其用作模型训练的一部分。

然后这些深度信息就成为摄像头的一种学习状态。

数据。然后当你做生产系统时，现在可以移除激光雷达，现在你

实际上可以仅通过摄像头获得深度信息。所以这种高传感器配置的研发

车辆与降成本后的生产车辆之间的差异，我们将其应用于整个产品组合

产品。当然，最终目标是实现超低成本且超可靠。然后，在

某些用例中，会有一些更定制化的东西。比如在国防领域，举例来说，你

经常在夜间工作，因此你更关心红外等传感器，并且你不想发射能量，所以不想使用激光雷达或雷达，但你仍然需要在夜间能够看到。所以，是的，我们处理全范围

酷，所以这有点像硬件层面。

那么在操作系统层面，情况如何？

有什么独特之处？

我的意思是，我开特斯拉。

每当我开其他带屏幕的车时，

体验总是很糟糕。

它就像廉价的安卓平板。

就是卡顿等等。

自动驾驶功能的操作系统是什么样的？

对大多数人来说，其实就是你刚才描述的。

当你想到车辆的操作系统时，你想到的是HMI，对吧？

人机界面。

当然，那是很重要的一部分。

但实际上那只是上面薄薄的一层。

所以当我们谈论车辆中AI的操作系统时，有很多很多层

深入到安全关键领域和嵌入式系统。

你谈论的是对比如电动机或

发动机和执行器的实时控制，并且你有不同的冗余，用于比如

车辆的转向执行，所有这些都需要操作系统的核心支持，

当然对于自动驾驶，还有实时传感器数据流进来，

延迟非常重要，对吧？如果你试着想象运行微软Windows，

比如流式传输传感器数据或控制车辆，延迟

会高得离谱。你永远做不到。所以我们所做的特别之处在于我们真正

拥有这种系统级思维，对吧？所以我们关注的是，我们关心每一个性能

整个系统的特性。而且，因为我们做了很多软件

或者说所有软件，我们可以微调和控制所有这些方面。所以我们可以非常、

非常仔细地调整系统中每个部分的延迟。我们可以仔细调整

内存管理。我们可以为不同情况设置正确的故障安全机制和回退方案。

因为你必须考虑：如果发生严重故障怎么办？

如果宇宙射线在处理器中间翻转了一个比特，导致某些功能失常怎么办？

你必须为所有这些情况设置故障安全机制。

所以核心操作系统是其中的一部分。

然后最后一件事，虽然不那么令人兴奋，但实际上是一个非常大的话题，就是更新的可靠性。

我有一辆特斯拉，你会相当频繁地收到更新，对吧，大约一个月一次。

大多数制造车辆的公司基本上从不进行更新。即使

他们进行更新，通常也只更新一个模块。也许他们更新

HMI模块，但他们无法更新，比如说，系统的CFU关键部分。

你必须去经销商那里才能更新。而通过我们的操作系统，我们现在实际上可以

对车辆中的任何系统进行高度可靠的更新。这说起来容易做起来难。

技术栈中有很多深奥的技术细节，以确保你不会

意外地把车变砖。

我想象你正在……

那会很糟糕。

是的，把车变砖非常昂贵。

老实说，在整个行业中，我们做过的最具影响力的事情之一

就是我们正在让整个行业能够真正进行软件更新。

澄清一下，Oswald，这个产品的客户是谁？

我猜很多硬件制造商都有自己的固件。

我相信其中一些会直接让你们来写，因为你们是专家。

而另一些则会用自己的。

谁为此付费？谁邀请你们进入？是最终用户还是制造商？

是的，让我先打个比方，关于软件的碎片化。

今天的物理机器更像是在Android和iOS出现之前的手机市场。

顺便说一句，很多很多年前，我在Google做过Android的工作。

Larry 在 Google 决定做 Android 的部分原因是，他们想让 Google 的产品运行在很多手机上。

他们从行业里买了所有这些手机。

结果，这些手机上有大约 50 种不同的操作系统。

Google 几乎不可能让自己的应用在所有 50 种设备上运行得一样好。

所以解决方案是，如果他们创建一个非常好的操作系统，并让它对所有手机制造商有吸引力呢？

这大致就是 Android 的起源和存在的原因。

这是 Google 将其产品推广到极其多样化设备上的一种方式。

现在实体行业的状况有点像那样。

是的，这些公司有固件，但他们的操作系统太多了。

太碎片化了。

要让现代 AI 应用在这些车辆上运行，首先必须统一操作系统。

这就是我们这么做的原因。

然后你具体的问题是，我们的客户是谁？

一般来说，是制造这些机器的公司。

我们把技术卖给他们，以简化架构并让这些应用能在上面运行。

有多少是可复用的？

你们是有一个为所有东西配置的操作系统，还是需要更多定制？

高度可复用。

基础技术是相当通用的。

不过，我们确实需要考虑芯片组支持。

比如，如果你在编写一个 LLM，并且假设

我要用 CUDA，在 NVIDIA 芯片上运行它，

那么你就不太需要考虑硬件了。

你只需要说，好的，我在 CUDA NVIDIA 生态里，我就用这个。

但硬件，尤其是在安全关键系统中，要多样化得多。

不是只有一两个玩家。

有很多不同的芯片组需要支持。

所以我们的操作系统不仅仅运行在 x86 上。

它必须运行在许多不同公司的多种架构芯片上。

不过，我们已经在这方面工作很长时间了。

所以我们支持所有这些芯片组。

然后当你想运行AI应用时，我们可以跨多种提供商可靠地做到这一点。

我认为这很大程度上是受Android的启发。

Android拥有庞大的测试套件，是一个运行在数千种设备上的可靠操作系统。

我们认为我们可以在所有这些物理运动机器上做到同样的事情，区别在于我们处于安全关键领域。

Android不是。

所以在Android上，我不必使用Gmail。

我可以使用Superhuman。

那你们的机器呢？

人们可以把别人的自动化方案带到你们的机器上吗？

还是说它是一体化的？

你必须使用我们的方案。

不。

我的意思是，是的，它完全是开放的。

是的。

是的。

我们的理念是我们是一家科技公司。

所以我们向客户授权我们的技术，让他们按自己的方式使用。

所以如果客户想要，

如果他们想要授权我们的自主技术

和我们的操作系统，

那太好了，我们会授权这些。

如果他们只想授权操作系统

然后使用不同的自主技术，

那也可以。

我们有很好的文档。

或者只想使用开发者工具。

是的，没错。

这就像是一加一大于二，

显然，如果它们结合在一起的话。

我猜全是 C++ 吧？

因为有不同的编译目标。

我们用了很多 C++。

我的意思是，Rust 算是新晋热门语言

在很多方面也是如此。

但没错，越往底层走，尤其是涉及实时约束时，你迟早会用到 C++，有时甚至需要用到汇编。

哦，天哪。

我很好奇编码助手的采用情况，既然你提到了更小众的语言。

公司内部采用情况如何？

你们学到了什么？

我们什么工具都用。

Cursor 曾经是公司里最火的工具，持续了好一阵子。

现在，Claude Code 似乎已经取代了它的地位。

我们有一个内部排行榜，用来鼓励公司内部的采用。

而且，它们确实非常有用。

说实话，我们也从这些工具中汲取灵感，并将这种思维方式应用到物理领域。

比如，如果为某个屏幕上的东西构建一个应用如此简单，我们就会借鉴同样的思路，思考：如果你想让一台物理机器做某事，我们如何利用自己的工具和平台让这件事变得同样简单？

你们是否在改变操作系统架构或服务暴露方式，使其更 AI 友好？

是的，当然。

在早期工具和基础设施工作中，我们有很多工程师是某些领域的专家，但处理的事情往往更偏数学或抽象，这时 GUI 工具对某些任务非常有用。

举个例子，我们有一个叫 Sensor Studio 的产品，它可以帮助你为自动驾驶车辆设计传感器套件。

可能是汽车、无人机、采矿设备或机器人。

你可以在不同位置放置传感器。

有一个库。

你可以了解在设计该系统时所做的权衡。

那是一个高度图形化的密集型工作，因为它有点像 CAD 工具。

如果你见过 CAD 工具的话。不过现在，我们暴露了所有底层 API。利用 AI 代理，你只需通过文本就能配置传感器套件，而且很可能比过去通过 GUI 得到更好的结果。我们现在正将这种思路推广到整个产品组合中。

我还在想，就 AI 采用而言，这是否至少会改变你们的招聘？

或者说，你们如何以不同方式管理工程师？

是的，确实会。

我们，我认为就像现在湾区的每家公司一样，正在不断调整招聘方式，因为有效工作所需的技能变化太快了。

过去你主要考察的是纯粹的编码执行能力，而现在更看重AI工程师的技能组合。

也就是说，你知道如何实现，但单纯地敲代码已经不再是核心工作了。

实际上，关键是要知道该问什么问题，知道如何将这些不同的AI工具整合起来。

所以我们现在进行的面试，我认为比以往任何时候都难得多。

但我们也允许有选择地使用AI工具来解决问题。

我认为在这种情况下，你会开始看到工程师群体呈现出更明显的双峰分布，对吧？

你会开始发现，哇，有一小部分人真正理解了这一点。

他们全身心投入，显然投入了必要的时间来学习这些工具以及如何高效使用它们。

而另一部分人则没有这样做。

两者之间的生产力差距巨大。

所以我们显然在努力筛选出那些真正对此充满热情的人。

我三年前第一次写了关于AI工程师的文章。

当时我写道，实际上，并非每个人都应该成为AI工程师。

因为有一种极端观点认为，每个软件工程师都是AI工程师。

我举的不应该采用AI的例子是嵌入式系统、操作系统和数据库领域的人。

他们现在采用AI了吗？

我认为这是经典的“苦涩教训”话题，六个月前我还会说同样的话。

但现在AI对每个领域都变得非常有用。

我同意。

没错。

我认为六个月前或者一年前，如果你尝试用最新的Claude模型来编写着色器（GPU着色器），结果可能并不理想。

而现在用最新模型做这类任务，你会感到惊艳。

哇，居然真的有效。

太神奇了。

我们在嵌入式领域也看到了同样的情况。

不过毫无疑问，尤其是在安全关键系统中，人工验证是100%关键的。

你不会把自己的生命托付给AI编写的软件。

那些没有经过人工仔细检查的软件。

所以我认为现在的真正挑战在于，对于这些安全关键系统，如何确定适当的人工验证级别。

你怎么看，嗯，谈到模拟方面，我认为可验证奖励和强化学习是目前最热门的东西。

你们内部做了什么来围绕这个构建？

是什么让你，嗯，让你晚上睡得着觉？

如果有人只是随便写写代码或者想尝试新东西，你有一个足够好的系统。

因为我认为反过来也是对的。

就是说，如果写任何东西都超级容易，那就会给可验证方面带来很多工作。

这对人们来说是什么样的？

是的，所以可验证性，一个更广泛的评估集合。

你如何评估你得到的结果？

我认为这可能是目前最难的问题。

因为随着模型变得更好，找到系统中的缺陷会变得越来越难。

所以，做适当的评估来找到这些缺陷的问题，随着模型变得更好，也变得越来越难。

但它的重要性从未降低。

仍然会有未满足的边缘情况等等。

所以这对我们来说是一个大的投资领域。

关于强化学习的话题，关键是在最新一代的这些技术中出现了所有这些新需求。

例如，端到端是现在的大趋势。

在自主系统和物理AI中，你现在可以训练这些模型，它们能够有效地

接收传感器数据并输出控制信号，从而获得非常好的结果。

但训练和改进这些模型的方式与之前的

几代非常不同。

为了在端到端模型上做强化学习，你现在实际上需要

模拟所有的传感器数据，对吧？

所以这就变成了，我们称之为神经模拟的工作，但可以把它看作是

高斯泼溅和扩散方法的混合体，

我们非常关心性能。

性能就是一切。

如果你能以足够快和足够便宜的方式做足够的模拟，你最终就能得到有价值的结果。这也涉及我们在嵌入式系统上的很多工作，那是一项性能工作。

而那种性能优化、性能关键性，也延续到了很多

模型训练工作中，因为让它变得可负担的唯一方法就是它必须非常快。

我认为值得花几分钟谈谈我们自己对于验证和确认不断演变的看法，从传统的模拟器——你可以想象成车辆动力学之类的东西，也就是把教科书和那些公式放到软件里——到现在这个神经模拟/世界模型宇宙。

我认为值得花几分钟谈谈我们自己对于验证和确认不断演变的看法，从传统的模拟器——你可以想象成车辆动力学之类的东西，也就是把教科书和那些公式放到软件里——到现在这个神经模拟/世界模型宇宙。

我认为值得花几分钟谈谈我们自己对于验证和确认不断演变的看法，从传统的模拟器——你可以想象成车辆动力学之类的东西，也就是把教科书和那些公式放到软件里——到现在这个神经模拟/世界模型宇宙。

我认为值得花几分钟谈谈我们自己对于验证和确认不断演变的看法，从传统的模拟器——你可以想象成车辆动力学之类的东西，也就是把教科书和那些公式放到软件里——到现在这个神经模拟/世界模型宇宙。

我认为这是一个有趣的话题。

是的。

所以在更传统的开发中，你通常会对问题有非黑即白的答案。

所以在更传统的开发中，你通常会对问题有非黑即白的答案。

例如在欧洲，有一个监管体系叫 Euro NCAP，即欧洲新车评估计划。

作为其中一部分，车辆必须通过一系列测试。

这些测试实际上包括安全系统。

比如自动紧急制动，针对一个跑到车前的孩子，或者一个被遮挡的孩子突然跑出来被撞到的情况。

所以最终你会得到一种二元答案：被测车辆是否通过了这个特定测试？

并且有一套非常非常知名的测试用例，车辆必须通过。

可以说，直到大约十年前，行业就是这样运作的。

但现在发生变化的是，有了这些模型，一切都在于统计，对吧？

你不再有非黑即白的答案，而是：我能从系统中获得多少个数量级或多少个九的可靠性？

以及我如何证明这一点？

说实话，对于物理AI这个行业来说，最大的突破在于这些模型正变得越来越可靠。

实际上，事情变得好多了。

你能从这些系统中获得的九的数量现在已经足够好，以至于实际部署它们变得具有成本效益。

因此，验证和确认的重大转变是：过去它更严格地基于需求，看你是否满足；现在则更多是统计验证和确认，关键在于有多少个九的可靠性、平均故障间隔时间等等。

因此，验证和确认的重大转变是：过去它更严格地基于需求，看你是否满足；现在则更多是统计验证和确认，关键在于有多少个九的可靠性、平均故障间隔时间等等。

目标受众是监管机构还是客户？

我想客户已经接受了，主要是需要满足监管机构的要求。

我们确实与美国政府合作，当然也与欧洲政府和日本政府合作。政府绝不像AI实验室，所以他们只关心结果。

他们听到结果。所以我们在这方面进行教育，教他们说：嘿，这是我们认为验证应该怎么做的方式。

这是一个我们认为合理的方法，以及如何思考无人驾驶系统何时真正足够安全可以上路之类的问题。

但我不会说政府要求这样做。更像是我们在教育政府。

说实话，这更多是为了我们自己的安心。对吧，我们想要构建非常安全的系统。

当然，我们的客户也非常关心这一点。

但在这种情况下，我们也在以骑士精神教育我们的客户。

是的，首先，我们的第一个核心价值观是围绕安全。

所以我认为，我们怎么强调都不为过：我们自己验证和确认我们部署的系统对我们来说是安全的，这可能与某个监管机构或客户的要求同样重要。

当然。是的，你必须让自己满意。

是的。从全球来看，监管往往像是某种最低共同标准，但你真的需要大幅超越监管机构的期望，才能做出好的产品。

我经常谈到的一件事，我也试图让听众产生共鸣，就是Cruise，他们发生了一起事故，基本上终结了公司。我想知道人们是否对单一事件反应过度，因为事故无论如何都会发生，对吧？因为这是一个统计问题。

但我不知道监管机构是否理解，你不能从单一事件中推断出结论。

但我们确实会这样做，因为我们只能依靠这些信息。

而且你的样本量不一定比消费者驾驶的样本量小。

我认为Cruise的例子并不是技术故障。

真正复杂的问题在于公司如何与监管机构沟通，以及他们的行为方式。

我认为那才是问题的关键。

如果你仔细看，这确实是一个技术故障，但被那个女人弄得更糟了。

是的。是的。让我换一种说法。存在一个版本，其中Cruise仍然存在。

对。对。这就像压垮骆驼的最后一根稻草，是一长串问题中的最后一个。

比如ATG发生过可怕的事故，有人真的死了，因为那是一个无家可归的人过马路。

所以，是的，我认为我们怎么强调都不为过：最终，对某事的统计验证只是其中的一部分，但不是全部。

比如，消费者以及所谓的主流技术采纳，也是这个讨论的一部分。

我认为像Waymo这样的公司正在为行业做出很多积极贡献，因为他们设定了很高的基准，并且以一种非常负责任的方式展示了如何处理这些问题。

Waymo也发生过事故。

只是没有你提到的Cruise那么严重。

但是的，所以我认为你会继续看到这种情况。

我认为长期问题可能还是在于，很明显，从统计上看，人类驾驶要糟糕得多。

是的。

没有，没有可比性。

而在某个点上，我们是情绪化的动物。

是的。

所以我的观点是，作为社会，我们必须达到一个点，即接受那些人类永远不会发生的可怕事故，

因为从统计上我们理解，它更安全。

总的来说。

就像飞机一样，它们比——我认为它们是最安全的机动交通工具

我们拥有的。

是的。

我的意思是，开车去机场比坐飞机更危险。

所以如果你坐飞机时感到紧张，就想想：我只需要到达

机场。

如果我到了机场，就没事了。

但飞机也集中了恐怖风险。

我认为我们真的不必担心这些系统会造成比人类更严重的事故。

因为人类会做可怕的事情。

人们经常在开车时睡着。

我就有过。

我曾经疲劳驾驶。

有点像酒驾。

这是极端的例子。

但是，这些AI系统有冗余设计。

有后备方案。

也就是说，需要很多环节出错才会导致灾难性后果，因为这些系统有大量的后备措施。

是的。

我的意思是，你的模拟非常庞大，因为用例太多了。

有没有一些东西在模拟中有效，但实际部署后却完全不行？

有。

可能对模拟有些误解。

让我从更技术的角度来解释。

首先，没有模拟能完全代表真实世界。

总有一个从模拟到现实的匹配过程，你需要真实世界的反馈来调整模拟器中的参数。

你必须这样做。

这就像一个验证流程，重复多次，直到你有信心认为模拟器能准确反映真实世界的情况。

如果你已经完成了完整的验证，认为它是准确的，但实际结果却不同，那才是更棘手的情况。

这绝对可能发生。

但实际上，验证过程是非常重要的一环。

你绝不能跳过仿真验证过程，在这个过程中你要确保我的仿真与真实之间的差距足够小，这样我才能信任这些仿真结果。

当你深入其中时，有很多有趣的事情可以做。

我举一个最近出现的有趣例子。

在这些类人机器人系统中，执行器过热是一个真实存在的问题。

显然，演示效果非常惊艳。

我能看到的最令人惊叹的演示。

我和大家一样喜欢看机器人做杂技动作。

但这些系统实际上会过热。

没错，如果你……而利用仿真的一个方法是，你可以让这些执行器的温度成为仿真中表示的参数之一。

并且，如果你在某个任务上做强化学习，那么机器人实际上可以在仿真中调整它的动作，以考虑到这样一个事实：它知道在运动过程中，这个电机实际上开始过热。

但如果你最初没有在仿真中表示这个电机的热量参数，那么你的强化学习策略可能会忽略这一点。

然后你在真实机器人上运行它，机器人就会过热并失败。

我想问题是，如何在考虑所有这些参数的同时，也理解部署环境？比如温度，一个简单的例子，对吧？

为什么当我的机器人在冷库里运行时，你让它变得更差了？所以它实际上不应该担心那个。

你知道，就像，是的，你如何设计这些仿真？

说实话，这正是仿真如此困难的原因，对吧？因为你要……

所以仿真从根本上讲是关于你试图优化一个系统的开发，对吧？

我如何能更快、更好、更便宜地构建这个系统？

我有哪些杠杆可以用来实现这个目标？

因为仿真只是一个软件程序，你可以比硬件系统更容易地改变它。

然后，关于世界模型并将其作为仿真的一部分，特别棒的一点是，现在仿真不仅可以通过添加新的数学方程来扩展。

我们现在实际上可以通过额外的真实世界数据来扩展仿真环境。

这也开启了机器人技术的一个全新领域。

存在一个临界线，越过它之后，进行真实世界测试仍然更好。

(漏译)

(漏译)

(漏译)

(漏译)

在核心差距中，你可以以极其昂贵的成本复现现实。

而且没有什么是免费的。

所以实际上，你是在寻找那条线：既能获得出色的性能，

无论是训练还是评估方面都能得到很好的反馈，但成本却比在现实世界中低得多。

在某个点上，这就不合理了。

因此，从我们从事自动驾驶的早期开始，我们的观点就是仍然要进行现实世界测试。

并不存在一个神奇的领域让你完全不用做现实测试。

也许在传统软件开发中有一个更微妙的版本：

你知道，车辆中软件的大部分测试，95% 可以像传统方式一样进行，

类似于传统 Web 开发中的 CSCD 流程，但一旦你有了——比如说，

你有一辆卡车，我们可以在一个包含所有组件的台架上进行大约 4% 的测试，

这个台架拥有卡车的电气和电子系统，但没有轮胎，也没有物理实体。

然后还有 1% 是实际车辆上的测试。

在将仿真用于智能系统时，也有类似的类比。

你在模拟器和世界模型中做了大量工作，但最终它是物理 AI。

所以你要将其部署在物理机器上，冰箱的例子就凸显出来了。

对我来说，世界模型一直是最难理解的东西。

我们有 Faye Faye Leon。

我们一直在做另一个直觉公司的小系列，

Genial Intuition 也是。

是的，我的意思是，关于 NERF 有很多报道。

是的，感觉就像我们在谈论日心说，对吧？

在世界模型中，如果你只输入视觉数据，

模型可能会学习到太阳围绕地球转。

这听起来合理，对吧？

但实际上并非如此。

我想还有哪些其他事情，比如水滑现象，我在想：世界模型能理解水滑现象吗？以及多少水会导致它发生？

对我来说，我真的不明白你们是怎么做到的。

我想实际情况是，当你同时处理日本高速公路上的汽车和亚利桑那州矿场的挖掘机时，无论你在哪里部署它们。

是的。

你在多大程度上依赖世界模型来为你生成模拟，然后尝试缩小差距，而不是将世界模型作为工具交给你的工程师来策划模拟？这样说你能理解吗？

是的，完全理解。所以我可以从纯工程层面说，如果你希望进行现实世界的部署，并且纯粹依赖世界模型的方法，你很可能在破产之前都无法得到可用的东西。

所以有一种非常务实的心态：世界模型很棒，在很多用例中非常有用。

但要真正启动、部署并让系统工作，还需要做很多其他事情。

最根本的是，世界模型是关于理解世界，同时也理解将要发生的事情。

就像因果关系，对吧？

所以如果你拿某种施工工具，它要在土地上以某种方式工作。

它要移动泥土。

世界模型需要理解这种因果关系。

比如，好吧，当我把这里的材料放到那里，现在东西在这里，而那里没有了。

就是那种因果关系。

嗯，数据显然是个大问题，水滑现象就是一个很好的例子。

因为有时候它并不那么明显，对吧？比如，下雨了，

而且这条路有适当的弧度，所以水会从路上流走，汽车开得更快。

然后你接近一条非常平坦的路，水开始在路上积水，

突然汽车开得更慢了，因为当它们开得更快时，开始失去控制。

场景中有很多非常细微的视觉线索。

所以我确实认为在世界模型的概念中，模型很有可能学会当这些视觉线索存在时应该开慢点。而这正是这类模型的魅力所在，

它们能学到这些不明显的东西。

它不需要知道水滑现象，

就知道需要开慢点。

我想……

我还想问关于部署模型的问题。

我猜你们用了很多这样的世界模型

来生成训练数据和模拟，

但将其部署到生产系统中的情况呢？

我猜设备上有GPU，但它们……

我一直在说设备上。

正确的术语是什么？

机器上。

或者嵌入式，是的。

对，对，对。

嵌入式世界是什么样的？

因为对于不熟悉那个世界的人来说，这非常陌生。

是的，是的。

实际上，我们称之为车载和离车。

即车载软件和离车软件。

离车软件的好处是，你不需要关心时间，而且可以运行非常大的模型，对吧？

所以你可以说，这个模型，我不在乎它花一秒钟还是十秒钟给我结果，因为我们有时间。

而且模型可以非常大，可以在数据中心的大型 GPU 上运行，显然还可以进行分布式计算等等。

但在车载端，你没有这些优势。

我只有这么多毫秒的时间需要从这个模型得到答案。

所以更多的精力在于，我认为更像是蒸馏。

而且真的是追求效率。

每一毫秒的分数都至关重要。

你不能让模型耗时太长，否则车辆实际上无法运行。

所以你仍然可以使用很多相同的技术。

模型本身可以看作是可以在离线运行的大型模型的衍生品。

然后你试图得到一个仍然表现良好的模型，

但它的版本足够小，可以在嵌入式系统上运行，而你需要关心延迟和功耗。

是的，我认为更广泛的观点，可能并不明显，但值得一说，

就是在物理 AI 世界中，我们目前并不受模型智能的限制。

实际上，这正是 Peter 在说的。

实际上是在硬件中部署它们，以给你带来。

是的，在硬件中给你带来。

而且存在安全关键系统的现实。

所以这些最终成为你的限制因素，而不是比如说，

基础模型公司的限制因素可能是资本或研究人员。

所以对我们这些来自那个领域的人来说，这些约束反而激发了创造力，非常有趣。

而且我想，你知道，在 2018 年的时候，没有人会为 Transformer 部署或提供硬件。

但现在它们确实如此。

演变过程是怎样的？

稍微揭开一点幕布。

是的。

首先是 Transformer。

我记得那篇论文最初发表于 2017 年。

所以没有时间了。

我想说的是，嵌入式机器学习系统通常参数少得多，计算量也少得多。

而现在它增加了一个数量级。

是的，完全正确。

不过我想说的是，在 2017 年的原始论文中，可能是在最后一段。

论文中某个地方提到，哦，顺便说一下，这可能也适用于图像和视频。

这种影响花了几年的时间才真正显现。

但现在我们看到 Transformer 无处不在。

是的，Transformer 确实如此。

而且计算能力不断提升。

但你确实面临一个基本的权衡，对吧？

那就是功耗、成本和性能。

在嵌入式封装中取得这些因素的适当组合。

并且能够在这些设备必须运行的所有条件下经受考验。

但没错，我认为它们只会越来越好。

所以我们也尝试规划我们的策略。

因为我们了解这些系统的改进速度。

是的，比如 Google 刚刚发布了 Gemma 2B 模型。

那个有效的 2B 模型。

这对你们有用吗？还是太大了？

你绝对可以在嵌入式系统上运行那个模型。

所以在这方面它是有用的。

更大的问题是，你用它来做什么？

(漏译)

一个嵌入式系统。实际上你需要对它进行相当多的定制才能让它对某些事情有用。

但没错，你绝对可以运行一个20亿参数的模型。

同样有趣的是，有多少比例是自定义的机器学习模型，

只做那一件事，而不是一个通用型LLM，后者可能

实际上对你的场景来说没那么有用。

你可以想象不同的用例，对吧？语音方面，是的。

所以对于实际的自动驾驶元素，我的意思是，那是

100%自研的。

我们做其中的每一个部分，

数据模拟，

模型，所有东西。

但当你进入

更通用的用例

比如语音或语音助手

这类东西时，

这就是这些

更通用的模型

比如GIMMA

实际上可以非常有用。

是的，而且还有

一个明显的权衡

在

多大比例必须在机器上完成

与直接回传云端之间。

是的，这完全关乎延迟。

完全关乎延迟，没错。

是的，嗯，比如，

你知道，我认为实际上

在很多场景下，

你其实不需要一个通用型LLM。

尤其是在美国，

你只需要有网络连接

就能上网。

是的，但我认为我们的大部分场景中，一切都必须相当嵌入和本地化，因为本质上是——即使在美国，也有很多——

哈希中的页面。

是的。

要有覆盖，对吧？如果你看看

旧世界

采矿领域的自主性，那是在

远在 transformers 出现之前

和神经网络

在 Lexington

领域之前，

它们实际上只是手工编码的

系统。

它们就像，这台机器要跑到

那个地方，用这个……

塔台实际上使用的是非常精确的 GPS。

是的。所以，

那很有效。而且那已经有效了 20 年。

那么为什么我们实际上需要用到 transformers 或更现代的端到端系统呢？

主要是因为只能运行一条路径并原路返回。

那提供了很多价值，但比不上当机器真正智能时所能带来的价值。

它能看到、感知、并在动态世界中行动。

我查了一下 RTK，实时动态差分，精度一到两厘米。

是的，太棒了。

而且在偏远地区没有手机信号的地方也很棒。

它如今被广泛用于传统的采矿和农业自主系统。

例如，一台联合收割机在田间行驶时精度可达一到两厘米，

它们就使用 RTK。

这很贵。

是的，它具备自主性，但它并不是我们所有人认为的，

在2026年我们会谈论的那种智能。

在你的一篇博客文章中，你提到了关于大规模Transformer的研究，这些Transformer与做现代生成式AI的类似。

主要区别是什么？

除了你完全正确，我应该操控汽车，所以你可能想移除那个。

我们内部有一个多元化的押注策略。

我们这样做是因为我们现在在多个行业、多个地区运营，每种方法实际上都有不同的风险。

所以我们不会把所有鸡蛋放在一个篮子里，采用单一方法，因为那种方法可能行不通。

这就是我们的押注之一。

它在某些场景下有一定优势。

但在实践中，这些方法的表现是，它既有某些好处，也有某些缺点。

然后研究团队会尝试针对那些实际上比其他方法更差的情况进行改进，最终为所有这些问题找到真正好的解决方案。

物理自主性是否有计划模式，即先规划步骤再执行行动的概念？

简单回答是肯定的，对吧？

就像你可以用云代码来规划一些复杂的编码任务，并得到一些几乎写好的规范一样，

这些类似的方法绝对可以应用于物理系统，因为想象一下你试图完成某个任务。

最容易想到的是RoboTaxi，但我认为在国防领域，

或者采矿领域，事情会变得更有趣，

你确实需要提前考虑很多步骤。

这不仅仅是一件事，

但要实现目标，需要100个步骤。

然后这个计划模式的概念，

非常适用。

是的，我正想说，

对我来说，驾驶感觉就像是一个很好的下一个token预测的事情，

因为你有点像在一条路上，

而且你之前做了什么并不重要。

你随时可以掉头。

是的，而采矿则不同。

就像，哦，天哪，我从这个东西里挖了一勺出来。

就像现在我们真的不能，你知道，我不能再往那边去了。

你知道，就像，是不是有很大的区别？

比如，你会怎么，我猜，你有没有对这些不同类型的东西进行分类？

所以大致有驾驶、挖掘、飞行之类的。

有趣的是，我认为世界上的一切实际上都可以归结为下一个 token 预测问题。

在任何工作流程中，任何事情几乎都可以看作是一系列步骤

或一系列轨迹，随便你怎么称呼。它实际上可以归结为

那种东西。在采矿的情况下，你可以想象拿起那个铲斗，好吧，

那就是那一组 token。现在模型理解了，好吧，

状态空间已经不同了。下一次我做 token 预测时，它会被

被那个修改。但是，这些技术的非凡之处在于

它们有多么普遍适用，对吧？我的意思是，这确实令人难以置信。

在物理方面，你们正在构建的东西还有什么被低估了？我认为，

我的意思是，我们在节目开始前讨论过。有很多人类拥有的公司

做了很棒的演示，但我买不到。所以显然这一切都可能存在。

而在你们的情况下，你们已经在真实的街道上投入生产，拥有很多客户。

人们低估了哪些事情？

就像 Waymo 七年前的演示很棒，但花了七年才真正上路。

你能分享一下技术上最后那 1% 的难点吗？

是的，当然，无论做什么，将产品投入生产都是非常具有挑战性的。

所以我会把答案分为研究方面和生产方面。

首先，在生产方面，当你真正将东西投入现实世界时，你会发现很多问题。

目前人形机器人领域的经典问题是这些系统实际上相当脆弱。

我不是在说某一家公司，而是作为一个行业，这些系统相当脆弱。

有趣的是，我前几天看到一件事，中国正在举办人形机器人马拉松。

是的，在政府中，不特指中国，任何政府都有一个概念叫奖励政策，即有不同的方式引导一个行业朝某个方向发展。

你可以监管它，可以强制执行，或者实际上可以举办这些比赛。

美国的版本是 DARPA 大挑战赛。

那很有效。

它真的奏效了。

那真的奏效了。

行业，但我认为中国实际上是在进行这场马拉松，因为他们知道人形机器人的可靠性是个问题，

那么有什么比举办一场比赛更好的解决方法呢？在这场比赛中，

人类需要跑26英里，对吧？我们到了吗？机器人能跑马拉松吗？我认为这随时可能发生。

是的，我们到了。顺便说一句，在汽车领域也有类似的情况，

比如勒芒24小时耐力赛。保时捷赢了勒芒24小时，然后真的把那些产品投入生产。

我实际上会分解一下。你谈到研究，也谈到生产。

中间其实还有一个步骤，那就是高级工程。

我认为很多行业正在进入高级工程阶段，这就像，

不是基础研究。我们并不是在提出新颖的技术。它实际上是面向生产的高级工程。

那么，哪些子组件会限制进入生产呢？一旦进入生产，你又要处理另一套问题，

比如那些已存在机器的部署和维护。所以我会说，

至少在我们领域，我们大多处于高级工程阶段，用汽车行业的术语来说。

老实说，每一步都很艰难。

嗯，这样你就值150亿美元了。

每一步都在流血。

是的。

而且我觉得这很有趣。

我的意思是，就像，我不知道。

我觉得这非常令人愉快。

是的，但同样有趣的是，我们做这个已经快10年了，

我们见识了太多。

我经历了一段糟糕的时光。

所以现在，我们可以看这个领域的任何一家公司，然后得到一个演示。

我可以列出一张清单，确切知道他们接下来会遇到的20个问题。

我还能猜出他们打算如何解决每一个问题。

我还能猜出哪些方案会真正奏效。

是的，这不是因为我们特别天才。

(漏译)

我们刚刚看到了这些东西。

是的，我们已经看够了这些东西。

我们已经受够了这些东西。

作为公司领导者，我们自己的心智模型已经尝试过很多事情。

我们在这里谈论的是成功案例。

对。

在那么多人和那么多不同的事情中，失败也不少。

所以这就像融入了你的心智模型。

是的。

但总的来说，我们对机器人技术感到兴奋。

以及巨大的机会。

巨大的机会。

现在行业中发生的事情是，这些概念并不新鲜，对吧？

新鲜的是这些东西现在真的能用了。

是的。

对。

人们早就想将神经网络用于机器人技术，

但现在我们有了数据集，

有了仿真技术，

这些东西开始真正发挥作用了。

是的，我们肯定会参与其中。

你对初创公司有什么要求吗？

或者对创办某些初创公司有什么建议？

有很多规模化机器人公司。

你觉得哪些事情？

很多应用于其他领域的直觉。

我觉得你在YCM达到了一定的，叫什么，徽章。

专家Y。

你变成了一个，或者说完全一样。