新浪新闻探索大会夏一平：大模型重新定义汽车汽车机器人时代到来12月20日，由中国互联网协会、微博、新浪新闻主办的“数字力量，探索无穹”2023探索大会在北京拉开帷幕。集度CEO、极越CEO夏一平分享了题为《大模型上车， 从汽车到汽车机器人》的演讲。

　　各位嘉宾中午好！我今天其实更多从应用角度，偏最后一公里，我们最后一公里有很多实践，今天在公司内部可能是To B和To C都有，确实在我们公司内部AI也是一把手工程，我们公司AI团队直接汇报给我，它不仅做整个公司全流程的AI智能化应用，还包括我们To C端更多AI。

　　我们今天讲大模型重构，大模型对于很多的工业级产品也是如何结合，并且如何重构这些工业级产品，体验上跟功能上变化。今天从这个角度给大家讲。

　　给大家介绍一下极越，极越是我们非常年轻的汽车品牌，成立于2021年3月份，百度跟吉利共同发起，可以看作是一个典型的互联网或者科技行业跟传统行业强强结合一个案例。我们是一家以科技为中心，我们希望包括大模型，包括未来AI科技让这个世界更复杂的问题变得更加简单。智能化产品能够为用户带来更好的体验，这也是我们为什么不断把AI技术、AI能力应用到车上。

　　今年推出极越01，今年可能交付，为什么把我们车定义成汽车机器人？我们想为用户提供什么样的体验，为社会创造什么样的价值？这个问题从大模型时代汽车发展的趋势展开讨论。

　　大模型其实未来10年推动整个汽车智能化发展的最大的技术变量之一，不仅在汽车的功能定义、产品用户体验方面带来很大的变革，大模型其实本质上解决了交互复杂的问题。大家应该知道我们在过去传统车里面有很多按键，包括有了触屏之后，其实很多的功能也是通过多层级的UI实现。但是在大模型时代不需要，因为中间很多交互被省了，你想要什么答案只要说一句话，通过自然语言理解就可以把这个答案告诉你。

　　一方面我们看到整个汽车行业竞争逐渐从未来竞争，逐渐会从未来三电竞争传统三电竞争，演变成AI能力竞争。大算力车规级芯片，同时也为整个大模型上车创造了非常好的基础。

　　另外一个方面，未来大模型将是汽车OS，从本质上改变人与车之间交互关系。大家可能听百度经常讲大模型会是未来的OS，所有应用基于大模型OS被重构，我们也是这样思考。现在我们车里面看到应用，基于很多大模型完全重构，体验跟现在车里面很多的其他品牌车在做同类应用时候，所用的技术包括体验完全不一样。

　　当然，这一切化学反应发生并不是突然拍脑袋想，大家如果看整个大模型时代发展到现在，为什么会出现涌现？当然本质上从底层机座考虑，无论云端服务器算力，还是车端的高算力芯片，都在这2022-2023年左右才出现了比较好的对于千亿模型支持，包括车也是一样。2023年之前，没有8295芯片之前，其实算力其实比各位在座手机算力都要低，直到8295出现，才逐渐拉平汽车智能化能力和手机智能化能力，所以才让大模型上车这件事情有了很大的基础支持。

　　大模型重新定义汽车，车将具备思考能力、策略能力，从简单交通工具变成人们AI助手、出行伙伴。类似给汽车配备一个超级大脑，这个大脑可以理解分析周围环境，还可以基于充分理解人类自然语言情况下，具备非常详细的学习能力，不断迭代和成长。

　　基于对技术发展认知，我们提出对汽车机器人产品理念，希望给用户提供像机器人一样代替人的劳动。我们人类发展，不管大模型也好，还是未来在做多模态也好，其实会发现所有的基础应用将来会为我们机器人产业，大家应该很清楚，机器人不管是交互，还是我们现在看到一些复杂指令执行，不管是大模型还是未来多模态都有非常借鉴意义，我们逐渐在应用。

　　比如人们不需要花时间学习各种按键，可以完全用语音取代交互，不需要按任何键。人们不需要再被堵车搞的精疲力尽，大家长途驾驶都很累，通过高阶服务驾驶帮助大家去开车，开车变得更轻松。当然停车时候也不会花大家的精力，停车一直很难，车完全可以帮你自动去停，甚至我们现在技术人不在车上，你下了车按一个键，车就自动停了，这个已经量产功能，不是拿来给大家做市场宣传。

　　这方面我们思考，我们定义汽车机器人，定义不是说非要给它做营销噱头，因为技术发展到现在，未来不管是任何形态机器人，都需要具备基础能力，机器人跟人交流肯定自然语言最好。

　　第二个汽车自动驾驶基于公共道路自动驾驶，但是你要知道未来机器人可能在各种场景里面都需要能够满足自己去行动，不管是两轮甚至四轮机器人都有这样需求。

　　另外一个数据很重要，需要基于场景，基于数据不断自我学习和迭代。所以我们基于这三个点思考我们车，重新做一台车，重新定义现在车的架构、技术、底层逻辑。我们思考说自然交流，让语言，让车，跟人之间交流，像人跟人一样，我们把语音模型做到本地，这样我们可以把人与车之间交互做到500-700毫秒时间间隔，等同于人跟人交流。

　　第二个移动，我们怎么让车自动驾驶。通过视觉感知、空间决策能够安全完全自动驾驶功能。

　　第三个自我成长，这个车基于周围环境，不断的在使用过程中和人的交互，基于这些数据可以自然生长。现在软件迭代跟以前不一样了，过去软件迭代说我手里一堆问题过来，我自己把问题修复之后，给大家去解决。现在很多都是基于数据做决策，数据快速迭代形成闭环，叫数据闭环功能。

　　围绕这三个思考定义我们产品，我们相信汽车机器人一定是未来汽车的主流形态，有可能是整个未来机器人大规模机器人工业化落地一个非常实践性的场景。

　　大模型上车推动汽车机器人的产品理念落地，极越01智舱、智驾都融入大模型能力，未来很多生态将通过大模型介入，大模型将成为未来基础生产中重要的OS，整个移动应用生态将会被重构。百度大模型生态全面赋能，我们在做很多实践，大家可以理解成我们是比较偏刚才讲的最后一公里第三层跟第四层，我们不仅把文心一言，我们把基于大模型重构的百度地图，基于大模型重构的小度，还有基于大模型重构的自动驾驶。大家知道现在大模型时代，整个自动驾驶算法也在不断被重构，我们不是简单做自动驾驶开发，而是我们一边开发，一边并行在做整个自动驾驶重新重构。

　　接下来我将从极越智舱智驾能力介绍大模型上车对汽车和用户体验带来的升级，很多技术和很多目前功能在我们车上已经实现。我们将极越01智舱起名为SIMO，通过语音来唤醒，可以实现语音的控全车。从车上市到现在看数据，语音操作车用户在整个每天使用行车过程中渗透率98%，每100个用户里面接近99%用户在用语音在车里面控车。平均每个用户在车内66次交互，基本上车内所有功能用语音可以全部完成操作，不需要多层语音，一个自然语言讲出去之后识别给你执行。用户不需要复杂按键，包括实现了车外语音功能，包括连续对话功能，都是为了能够让这个车跟人交互过程当中，感觉像是一个机器人。

　　作为文心一言首发上市车型，SIMO具备文心一言的全部能力，我们有律师，车主将SIMO当做车内的法律小助手，查询法律条文，也有用SIMO父母在车里面教小孩做奥数，帮助小孩检查作业都有。文心一言接入舱内，不是应用唤起方式，而是你在说的过程中，说的任何一句话完全原生跟文心一言打通，基于自然语言完全识别，转化成文字，从文字直接识别语义，完全打通。

　　SIMO语音在多模态下的识别能力。这不是一个卖家秀，我们已经是一个功能，我们现在因为在车内内置大模型语音算法，所以我们算法特别好，不管对于自然语言识别，还是对于多音区识别，包括车外语音、多方语音，不需要对方言任何适配，基本上支持中国绝大部分的方言。

　　在车外可以直接跟它对话，通过车外语音开门、开后备厢、关门，去做控制，甚至车外可以让它泊车。大家知道我们功能，站在车外跟它说把车开出来，大家知道这个体验很重要。过去你在其他领域说拿出一个APP，点一个键，在车上生文匹配，只有你的声音才能启动这个车，“HI SIMO，把车开出来”，它就把车开出来。

　　这个其实不是简单技术集成，这个里面涉及到多模态东西，比如说把车开出来这件事情，从语音的识别到结合整车视觉，再到把这个动作完成，其实我们在做很多的小的多模态尝试，这种尝试已经不是一个简单的技术堆砌，因为传统技术已经完成不了这样东西。包括大家看到多路、多指令，就是说你可以一口气给这个SIMO说20个指令，它可以并发全部执行，类似这样功能都是再把我们现在大模型能力，很多技术跟功能进行重写并且进行重新构造。

　　同时，这个视觉能力在特征应用具备决策能力的汽车，还能为人们做出更多安全的判断，比如外面下雨时候，打开一个车窗，你们会做什么样的决策？

　　很简单，大家不要以为这个很简单，这个事情很难。讲一个小故事，下雨时候试了一下，说打开车窗，车机说“现在下雨”，打开了一个小缝。员工试一下，你现在必须给我打开，结果那个车窗真的被打开了，识别你的强硬语气就真的被打开了。这些已经不是简单过去语音交互下的指令识别，完全不是，情绪、语义、多模，你的表情，这是我们现在已经在不断的在突破很多的功能已经在实践。车已经具备思考能力，而是根据周围环境做出安全判断，就像老司机一样守护你的安全出行。

　　另外极越搭载百度地图大模型车型，百度也在做大模型重构。它能干什么？让你导航更智能，同时解决了过去我们在做导航时候，需要说多重指令完成导航。比如说你未来感知不到导航，只要说“HI SIMO，我想去三元桥附近，找一个人均200元日料，大众点评是前三名，我们四个人，帮我找一个地方”。过去你知道不管是点评应用，还是找一个地方的时候，需要大量交互，点评里面搜，找地址再去导航。现在只要把这些描绘语说出来以后，直接把这个餐馆给你找出来，而且直接变成一个POI让你导航。

　　这个体验式对于交互上的优化跟提升，是极大的变革，它会让大家未来在用这个车的时候，在体验上非常大的不一样。

　　另外基于大模型重构小度，我们跟SIMO完全打通，让人、车、家从此互联，你在家里面说一声可以完成对车的控制。比如说冬天天气冷，你要出去，你跟小度说一声，小度帮我把车加热一下，小度就从家里面把这个车的温度打开。或者开车回家的时候，说小度我要回家了，帮我把空调打开，同样也可以完成。这个其实我们也是在跟小度积极配合，而且未来大家会看到我们基于小度大模型，会有很多甚至门店端也有类似应用，SIMO将成为你的AI管家，不管家里、车里都会实时响应。

　　大模型重构智驾路线，目前知道世界全球两家纯视觉技术做智驾，一个是极越，一个是特斯拉。基于我们过去百度在Apollo L4基于原子化能力和我们算法训练，极越高阶智驾获得持续不断的突破，开启城市的智驾之后，从城市的任意一点导航任意另外一个点，跨越城区高速泊车等不同的场域，全程非常的丝滑。在一镜到底的真实视频里面，搭载纯视觉感知极越01，启动城市智驾之后，跑完上海陆家嘴到外滩再到城市豪华路段，驾驶员没有接管十分轻松。目前在上海包括开启全程PPA功能，包括全国90%的高架，包括高速开启整个高阶智驾功能。明年将在中国超过200个城市开通城市PPA。

　　汽车机器人还在持续进化中，目前极越正在尝试跟百度团队做一起端到端，明年的2024年极越智驾跟语音都有全部升级到更大模型，明年年终时候将会把整车整个软件升级到2.0模型时代。

　　举个例子，我们现在舱内语音识别4个小模型，风控4个区域，没有完全摆脱传统语音识别架构，明年我们真的会做到一个大模型直接完成所有的指令，不会有小模型。另外一个完全端到端，一个语音进去指令直接出来，这是我们明年在年终时候会跟着我们第二款车量产，并且同时升级第一款车，我们让整个车可能现在大模型1.0时代进军到下一个2.0时代，这种升级让整个体验更加好。你会觉得你的车越来越懂你，越来越聪明。根据你的过去使用习惯，越来越让你觉得这个车是你的伴侣。

　　未来汽车机器人是非常重要的能力，用户可以培养它的技能，这是另一个想想空间，每个人都可以打造汽车机器人原生技能。最后我用一句温暖祝福结束今天的分享，每个人在这一生中希望遇到一个知己，懂你悲喜，知你的冷暖，倾其所有，护你周全。

　　大模型上车，汽车机器人将具备这样能力，提供具有温度的科技智能陪伴，谢谢大家！