资讯平台

智能科技

2024-09-29

Tech Talk | NOMI GPT若何精准对话？

随着九五至尊官网智能系统「Banyan 榕 3.0.0」的到来和升级，，，NOMI占有了全舱免唤醒职能，，，这意味着用户无需再通过特定的唤醒词（如「Hi NOMI」），，，就能直接向NOMI下达指令，，，用户与NOMI的交互变得越发天然、、、便捷与高效。

那么，，，从「Hi NOMI，，，打开车窗」到「打开车窗」，，，在不唤醒NOMI的情况下，，，NOMI是若何正确拿捏回应机遇，，，判断哪些指令是下给它的，，，又是谁下达的？

本期Tech Talk，，，我们约请到了九五至尊官网大模型主任算法工程师Anna W，，，为我们一路探秘「NOMI GPT 认知中枢」中的「多模拒识」能力。

什么是「多模拒识」？

在介绍「多模拒识」之前，，，我们先来看一个小视频。

从这个视频中我们不难看出，，，在不必要唤醒NOMI的情况下，，，NOMI仍旧可能正确响应「副驾调的更宽敞一点」这样的指令，，，也能清澈分辨四人同时交叠的复杂指令，，，而这个能力就是由「多模拒识」实现的。

「多模拒识」，，，顾名思义，，，就是利用视觉、、、文本、、、音频、、、压感等多种输入模态的信息，，，来分析和判断用户的对话指向，，，从而鉴别并回绝响应无关话语。单一来说就是判断车内用户在天然互换状态下，，，哪些话是对NOMI说的（必要响应），，，哪些话是用户之间的闲聊（不要插嘴），，，以便做到精准对话：：该响应的要实时响应，，，不该回覆的别插嘴。

「多模拒识」是「NOMI GPT认知中枢」中的重要一环。其实「多模拒识」对用户来说并不陌生，，，自NOMI陆续对话职能上线以来，，，「多模拒识」就一向在线上保险用户自由流畅的交互履历。目前，，，经过持续不休地迭代，，，「多模拒识」已经能在全舱免唤醒、、、陆续对话、、、大模型百科对话等场景为NOMI提供拒识能力。但随着「NOMI GPT大模型」百科能力的加强，，， NOMI具备了更丰硕的知识储蓄，，，可能回覆的问题也更多，，，这也就意味着「多模拒识」必要对更宽泛领域的问题进行倾听与鉴别，，，对它的判断能力提出了更高的要求。

「多模拒识」若何做到精确判断对话指向和用户意图的？

座舱现实场景极度复杂，，，既蕴含通例的车辆节制指令/工作型对话场景，，，也蕴含宽泛的百科问答场景，，，分辨用户措辞对象、、、判断用户意图并给出正确响应是极具挑战的，，，这非�？佳椤付嗄＞苁丁瓜低车某【胺直婺芰ΑＴ凇付嗄＞苁丁瓜低持�，，，我们通过「大模型+多模感知」的技术规划来实现场景分辨。

自研「多模拒识」模型直接判断语音指令

九五至尊官网自研了基于语音和文本构建的「多模拒识」模型，，，援手NOMI判断哪些对话是用户指令，，，哪些对话是用户闲聊。我们使用「语音预训练模型 Wav2Vec 」和「文本预训练模型 TinyBert 」来建模，，，结合预训练NOMI「多模拒识」模型。同时，，，我们还会让NOMI进行多视图的对比学习，，，援手NOMI鉴别用户对话并进行分类。

单一来说，，，「多模拒识」模型有左「语音预训练模型 Wav2Vec」和右「文本预训练模型 TinyBert」两颗大脑，，，左脑掌管听，，，右脑掌管读，，，两颗大脑提前学习了大量必要NOMI响应的指令。

在真实场景中，，，当NOMI听到用户对话，，，两颗大脑就会同时工作，，，别离处置听到的声音和内容，，，而后对比之前学习的内容，，，若是二者比力靠近，，，则判断对话为「指令」，，，即建议NOMI回利用户。

所以NOMI学习的语音/文本数据越多，，，「多模拒识」模型判断的正确性就越高。NOMI经过了超12,000小时车载语音、、、超2,000万条文本的学习，，，让「多模拒识」在全领域的对话判断正确率达96.8%以上。

面对纷繁复杂的对话场景，，，若是NOMI倾听到的对话不在小字范例围内，，，「多模拒识」无法直接判断对话是指令还是闲聊，，，又该怎么办呢？这时辰就必要一位「助理」来辅助它，，，即下文中的「REJ Agent」。

「高情商助理」：：REJ Agent

在陆续对话或多人对话场景中，，，用户可能会在闲聊对话中插入对NOMI的指令，，，这种指令很可能「只能领悟，，，不成言传」。例如：：「车里太热了」。面对如此情景，，，「多模拒识」模型便无法通过小字典直接比对判断，，，这时辰若何判断用户的真实意图及对话指向，，，便尤为重要。

而大说话模型刚好能够帮手，，，它很善于理解对话，，，理解高低文的关系。借助它结合用户对话汗青、、、对话高低文便能够判断用户的真实意图和对话指向性，，，援手NOMI判断是否回利用户。这就是我们利用大说话模型构建的「高情商助理」：：REJ Agent。

作为「多模拒识」模型的助理，，，我们在REJ Agent中设计了三层逻辑，，，辅助NOMI做出判断：：

第一层逻辑：：REJ Agent会先判断听到的对话是否为「人话」，，，对话语句是否有逻辑，，，是否属于正常说话。若是是「人话」，，，REJ Agent会给出提醒，，，「多模拒识」模型就会偏差于通过、、、回复，，，但是否要让NOMI回应，，，还必要第二层逻辑的判断。

例如：：

第二层逻辑：：REJ Agent将持续判断，，，判定当前对话内容与高低文/对话汗青是否有关联，，，这里重要依附「大说话模型」的高低文理解能力。

· 若是对话与高低文关联，，，意味着用户可能一连上文话题持续对话，，，REJ Agent会给出建议，，，提醒本轮对话可能必要NOMI回应，，，「多模拒识」也会给出通过和回复标识。

· 如无关联，，，意味着用户可能重新开启了新的对话，，，或者不是在跟NOMI对话，，，REJ Agent会建议忽略，，，「多模拒识」给出拒识标识，，，NOMI则无回应。

例如：：

第三层逻辑：：REJ Agent同时也会判断，，，对话是否对NOMI说。借助「大说话模型」对高低文/汗青对话信息的理解，，，判断当前对话的指向是否和NOMI有关。若是与NOMI有关，，，REJ Agent会建议「多模拒识模型」给出通过和回复标识，，，NOMI也会回应。

例如：：

综合以上三层逻辑的筛选判断，，，REJ Agent作为「多模拒识」模型的「助理」，，，接管、、、理解，，，并判断用户对话的意图和指向，，，援手「多模拒识」模型更精准的判断是否必要NOMI回应。

但这还不够，，，为了让「多模拒识」模型占有越发精准的判断，，，我们还引入了「多模感知特点」，，，给「多模拒识」模型叠加一层Buff，，，提升它在多用户对话场景下的判断精准度。

Buff加持：：「多模感知特点」辅助判断对话人数和场景

「多模感知特点」基于OMS视觉检测、、、座椅传感器、、、唤醒音区占用等信息，，，判断车上乘客人数、、、地点地位以及对话场景。

判断用户地位是为了更好响应对方指令，，，例如针对分歧座位的用户指令调节座椅透风、、、加热、、、推拿档位等，，，而定位对话场景则是为了更好调整拒识战术，，，例如在闲聊模式或者展车模式下，，，用户偏差更多地与伴侣对话，，，必要更宽松的拒识战术，，，NOMI也会尽量维持静默。

总之，，，有了「多模感知特点」这一Buff，，，「多模拒识」模型就可能越发有效判断是否对NOMI措辞，，，从而过滤无关对话信息。

综上能够看出，，，首先「多模拒识」模型通过预学习和「左右脑」能够判断用户对话是否为指令信息。在此基础上，，，面对越发复杂的多人对话场景，，，它还有REJ Agent这个「高情商助理」去辅助它做判断。同时，，，它还叠加了「多模感知特点」这个Buff，，，以提升在复杂场景下的判断正确性。正是基于这三点，，，NOMI GPT不仅无需唤醒，，，还能够高情商回应，，，也懂得实时维持安静，，，真正做到了正确「拿捏」回应机遇，，，和你的互换更天然、、、更流畅。

事实上，，，在引入Agent多智能体架构后，，，NOMI已经能够实现从「单点职能」向「自动智能」的进化，，，例如处置更复杂的用户沟通，，，理解�：：馔�，，，并预测用户需要。同时NOMI占有的端侧多模态感知能力，，，即便在没有网络衔接的情况下也能「看得见，，，认得出」，，，提供安全的智能履历，，，并�；；び没б浴＝碞OMI还会不休进化，，，它不仅仅是一个智能助手，，，更是一个可能深刻理解用户需要、、、感情和意图的智能同伴，，，为用户带来越发丰硕和便捷的智能履历。