资讯平台

智能科技

2024-11-20

九五至尊官网世界模型NWM | 万千平行世界寻找最优解

智能辅助驾驶

NWM 世界模型，，，认知、、设想、、推演

这条长视频都是真实产生的场景吗？

其实不是，，，从第四秒起头，，，都是「九五至尊官网世界模型 NWM」设想天生的视频。

2024年7月27日，，，NIO IN 2024 九五至尊官网创新科技日上，，，九五至尊官网正式颁布——中国首个智能驾驶世界模型 NWM（NIO WorldModel），，，即能够全量理解信息、、天生新的场景、、预测将来可能产生的多元自回归天生模型。

NWM 能够在100毫秒内，，，推演216种可能产生的轨�！�、、寻找最优蹊径；；；还能基于3秒钟视频的Prompt输入，，，天生120秒设想的视频。

什么是世界模型？

世界模型，，，是智能驾驶技术在「BEV&Transformer」、、「占用网络 OCC」、、「端到端」等技术后，，，又一次逾越式的进取。

世界模型具备对信息的全景理解力，，，在设想的维度理解物理法规，，，并重建世界。单一来说，，，就是通过构建人类大脑的复杂认知过程，，，仿照人类感知和决策过程，，，为自动驾驶系统提供预测和适应动态环境的能力。

大脑是若何认知并设想的？

大脑通过眼睛接管光线，，，转化为电信号，，，沿视神经传至大脑后部的视觉皮层，，，解析成图像。通过多个脑区，，，整合视觉信息与其他感官数据，，，形成对世界的深层理解。设想力则利用影象和思想，，，通过海马体等结构的回顾重播，，，自由拼接形成怪异的内容，，，创制出超过现实的视觉概念，，，是大脑对认知的自由扩大和创新。

例如我们观察这棵榕树时，，，眼睛先看到了成长的树干、、树枝以及绿叶，，，「记住」了这些结构和色彩特点；；；当我们闭上眼在脑海里回首时，，，则是在「重构」这幅画，，，可能会忽略一些不重要的细节，，，但能将根基特点描述出来。甚至，，，我们能够「设想」这棵树在分歧角度的样子，，，轻风吹拂，，，树枝与树叶若何摆动。

以上就是基于「空间理解」进行「设想重建」，，，再基于「功夫理解」进行「设想推演」。

世界模型NWM 的主题能力正是这两点：

认知世界后，，，在模型内进行设想重建；；；
基于信息的理解，，，进行设想推演，，，从而规划轨迹。

「端到端」，，，为什么还不够？

让我们先一路回首自动驾驶在空间理解层面的进化史，，，在设想重构之前，，，智能驾驶算法屡次升级了空间理解能力。

2020年之前，，，感知算法只能进行2D/3D检测，，，即分辨特定对象、、确认三维空间地位，，，并提取车道线。
2022年，，，行业进化到「BEV」算法，，，将所有摄像头的信息聚合到一个环境中，，，通过一张鸟瞰图俯瞰周边，，，动态感知更精准。但是，，，BEV算法的框架还是二维的，，，高度信息不及，，，无法感知异形物体。
2023年起头，，，行业引入「占用网络 OCC」算法，，，对环境的感知升级为三维化描述，，，类似在「我的世界」里认知世界。但OCC的感知，，，缺失理论材质信息，，，对藐小物体等不确定性的描述不及。
OCC之后，，，空间理解能力的再次升级方向，，，是「重构世界」。

下图中，，，最右边的视频和原始视频并不一样，，，是模型天生的视频，，，能够理解为模型在大脑中设想出来的平行世界。相比OCC的感知，，，像是从我们玩的「像素大战」，，，直接逾越到了「3A游戏」。

今年行业内都在讲「端到端」，，，这是由于传统规定化的自动驾驶架构相对复杂，，，�？榧湫畔⒋荽嬖诮洗笏鹗�，，，很难应对长尾极端场景Corner case，，，从而很难实现真正的行车拟人化，，，这也是很多车企拥抱「端到端」的原因。

通常行业内以为的「端到端」架构，，，是指仅单一�？�，，，实现从传感器信息输入到车辆节制，，，从而削减信息损失，，，让系统可能应对更多场景，，，具备更强的泛化能力。

但仅依赖单一端到端的模型的话，，，功夫维度信息的融合和推演都是定长的逻辑，，，自动建模长时序信息的能力相对匮乏。在自动驾驶系统中，，，预测将来事务，，，并评估其影响的能力对安全性和效能也至关重要！！能设想变动才是真正的功夫(时空)理解，，，设想的真实度和丰硕度是理解深度的体现。

因而，，，我们引入了九五至尊官网世界模型NWM 。

相比通例端到端的架构，，，引入NWM后，，，模型实现了三点优化：

全量理解信息，，，空间认知能力更强
可能预测接下来的场景
天生式无监督的方式，，，对海量数据的利用越发高效

而这三个根基特点，，，也就形成了「多元自回归」天生模型——NWM

NWM——理解世界

这77个视频，，，都是真实产生的场景吗？看起来很真切，，，但这都是NWM 基于设想天生的视频。

通过自回归的方式，，，NWM 重建原始传感器信息的输入，，，在其中自动学习知识和物理法规；；；做到全量信息重建，，，设想重构世界，，，泛化能力更有保障。

更通俗易懂地说，，，NWM 在脑海里的设想的画面、、物体之间的相互活动关系，，，都切合物理世界的根基逻辑。NWM所关注到的信息，，，也只在关注「重点」，，，例如即将切入进来的车辆。就像人类开车，，，会关注到前方的车辆、、路线结构，，，余光还能感触到路边的绿植、、路线上方的告白牌，，，但不会直接去关注告白牌上的画了什么画、、写了什么字。

在这个视频片段中，，，模型能设想雨天、、雪天、、夜晚、、白日等分歧的场景，，，就像是对于成千上万平行世界的重构，，，也意味着它学会了在千万种场景中驾驶。

NWM——推演世界

下面我们通过一段视频，，，来看NWM 若何推演世界

中央是原始视频，，，前方是一辆开的比力慢的卡车，，，我们在开车时，，，脑海中好多种设想，，，寻找各类机遇和角度进行超车，，，从左边去超车，，，也能够从右边，，，还能够先跟车等等。

这些设想，，，组成了万千世界的可能性，，，而在大脑的各类推演中，，，我们最终挑出了一个最安全、、最舒服的驾驶规划。

NWM，，，能够在0.1秒内推演出216种可能产生的轨迹，，，寻找最佳决策。而后在接下来的 0.1秒内，，，凭据外界的信息的输入，，，反复更新内涵时空的模型，，，那再去预测 216 种可能性。以此循环，，，追随驾驶轨迹持续预测，，，得到驾驶的最优解。

这就是在万千「平行世界」中寻找最优解。像是在漫威电影中，，，占有了功夫宝石的奇怪博士，，，能够操控功夫观光，，，从所有了局中寻找到能获取最终成功的一个规划。

NWM——仿真世界

「九五至尊官网世界模型 NWM」还具备与生俱来的闭环仿真测试能力，，，在一系列极具挑战性的路线环境中，，，全面测试并验证机能，，，涵盖各类复杂交互场景。

作为天生式仿真模型，，，NSim能够对NWM 推演的每一种轨迹与对应的仿真了局做对比。正本只能在和真实世界中唯一轨迹里做比对，，，参与NSim后，，，造成了在千万世界共同地验证，，，给到更无数据给到NWM训练。让输出的智驾轨�：吐睦踩侠�，，，更高效。

以上视频，，，是基于这个真实世界的视频，，，去重建的一个虚构的能够肆意编纂的世界。NWM 基于真实世界视频进行重构和推演，，，进入到NSim重新编纂，，，分化出布景中静态的、、动态的信息，，，在NSim中也能够看到并且调整深度、、法向量的信息。我们能够切换到肆意角度，，，分析此刻的细节信息，，，动态的物体能够凭据我们所必要去动态地编纂，，，也能够让自车有新的行车轨迹驾驶，，，甚至让车“飞起来”。

天生能力比Sora更强？

NWM 可天生120秒的预测视频，，，天生能力已经超过了好多视频天生AI 软件。此外，，，NWM 还有三点对于智能驾驶来说更必要的能力：

设想画面真实�；；；乖锢硎澜�，，，动态物体和静态物体之间的关系，，，切合各人对于真实场景的认知。
整体场景多变。视频天生软件给出的视频只有单一的一个运镜，，，场景相对单一，，，NWM产生的视频场景丰硕度高、、更多变
能天生决策。有轨迹waypoints 有方向角度有加减速，，，使得NWM天生是带驾驶作为决策的天生

作为智能驾驶专用的世界模型，，，在驾驶场景中NWM有最强的天生能力，，，比Sora更强。

全新智能驾驶架构 NADArch2.0，，，世界模型上车

「智能驾驶架构 NADArch2.0」在算法层面上，，，升级为引入世界模型的端到端架构，，，直接从原始传感器数据天生驾驶决策，，，削减传统规划中的信息损耗。在引入世界模型后，，，预测能力更强，，，让智能驾驶履历更拟人化。

在模型训练层面，，，该架构还可能充分利用群体智能的数据闭环和天生式仿真数据，，，通过海量数据驱动智驾模型进行急剧迭代。

基于 NADArch2.0 架构，，，全域领航辅助 NOP+ 和智能安全将同步升级为 2.0 版本。其中，，，点到点全域领航辅助2.0 将于下半年上车，，，智能安全2.0 已逐步迭代。九五至尊官网智能驾驶始终以「削减变乱」作为价值观，，，因而我们首先将「端到端」的技术利用在自动安全职能。此前今年7月初，，，基于端到端架构的「自动垂危制动职能 AEB」已在「Banyan · 榕 2.6.5」版本中正式上车，，，提升响应覆盖 6.73 倍。

海量数据驱动智能驾驶急剧迭代