智能语音语义时代，产品经理怎么让AI更聪明？（效果向）

智能语音语义风起云涌的AI时代，各行各业纷纷落地语音语义能力。其中包括
以语音为交互方式的音箱/电视/车机/ivr/智能外呼，以文字输入为 交互方式的智能客服/营销机器人等。本文主要结合自己的一些经验，谈谈“怎么把语音语义的效果做好”这件隐藏在背后且重要的事

前言：以智能音箱为样本，介绍语音语义全链路

用户通过语音唤醒词或物理按键，唤起系统，启动收音模块（全双工可跳过该模块）
ASR模块将音频转化为文本
NLU模块通过规则&模型理解用户表达的文本，通过DM模块分发，召回输出intent/slot等信息
调取对应业务服务or指令or内容资源or chat
把机器生成的NLG通过TTS技术播报出来
用户听到机器的回复或播报的内容资源
下面内容主要集中在，与效果强相关的ASR/NLU/内容资源模块

——————————————————————————————

1.ASR模块的效果评估与优化

1.1 核心指标

• 字识别错误率or字准

• 句识别错误率or句准

1.2 评估

1.2.1模型（语言/声学）评估
准备足够数量的用户真实音频（A）与音频对应的正确识别文本（B）。将A输入模型，得到线上识别文本=C。将B与C对比，通过简单的公式，计算字准/句准指标

1.2.2端到端评估
准备足够数量的用户真实音频（A）与音频对应的正确的识别文本（B）。在嘈杂/安静/不同距离的环境中，人工或人工嘴播报测试音频，被测设备收音，输出识别结果=C。将B与C对比，计算字准/句准指标。智能硬件的长链路，决定了端到端的任何一个子模块都会影响识别效果。端到端评估的内容包含了“麦克风阵列/降噪/声学模型/语言模型等”的完整链路。做终端的产品同学们，要为整体的设备识别效果负责，在做整体评估的时候不要因测试方法的局限，漏掉某个部分的效果监控

1.3 优化
识别效果是技术与模型的强导向，将测试结果，通过不同方法，反馈进模型，是优化语音识别的一个大的方向（不展开细讲）。这里产品经理关注的重心，应该是模型迭代后的测试/灰度/上线，确保识别效果为正向且无特殊badcase

——————————————————————————————

2.NLU&内容资源服务的效果评估与优化

2.1 核心指标

• 准确率
• 召回率
• F1值
• 满足度

通过上面几个指标，可以分析出识别后链路的各种问题：技能分布占比及用户需求的强烈程度；对话中控分发效果；pattern/话术/词槽丰富度；TTS反馈的准确率；个性化推荐效果；内容资源丰富度；开放域闲聊表现等

2.2 评估

2.2.1测试集选择要求
根据实验目标选取对应测试集
测试集贴近被测设备的产品形态和使用场景
线上真实用户的query文本，避免按query频次截取
对特殊日期（节假日与工作日）取平均

2.2.2测试集处理
为了评估产品的完整效果，线上拉取的测试集数量巨大，可以根据业务需求选择简单随机抽样或分层抽样，使测试集既确保结果趋近于真实值，又可实际操作。将测试集直接人工评估或用query跑对应NLU模型，获取模型输出的数据

2.2.3人工评估

按下面指标，对比线上&预期结果并打分：

NLU模块：skill召回情况/intent召回情况/slot解析/TTS文本等
内容资源模块：资源与需求的对应/内容质量是否正版/音质/用户反馈的行为/是否含广告等
满足度：用户需求是否被产品满足。链路中的NLU/内容资源都会都是影响因子

2.2.4 计算
技能召回率=某个skill的线上召回数（预期召回的case中）÷某个skill的预期召回数
技能准确率=某个skill的预期召回数（线上召回的case中）÷某个skill的线上召回数
F1（调和平均）=2×（准确率/召回率）÷（准确率+召回率）
满足度=满足为1的case数÷整体case数
满足度是端到端完整效果的评估，同搜索的那套逻辑，一个数字衡量整体产品技能效果；F1是召回率与准确率的调和表现，F1越高，中控模块的效果越好。但无法衡量slot解析的好坏

2.3 其他评估方法
兜底+chat模块在总case的占比：可以感性的在反面看出产品任务型技能的效果好坏，但不能说占比越大，效果越好。因为用户确实有chat&兜底的需求

技能留存：延用移动互联网的数据分析逻辑，技能的留存越高，黏性越强，效果越好

技能渗透率：技能被更多用户使用，证明该技能使用更加广泛，约等于移动互联网的DAU占比

技能触发频次：技能的交互次数越多，证明用户更愿意与该技能产生交互，约等于移动互联网的PV。但技能设计有简要性原则，使用这个数据时，要根据具体场景，不能盲目设为KPI

负面情绪query的占比：按照简单的逻辑，当用户破口大骂的时候，对应的session是有问题的。所以这个值也可以衡量好坏

2.4 优化
在前面的评估，要对每个badcase的问题标注并聚类，得出问题的数量占比即为对应问题的影响面。根据影响面出现次数由高到低，追踪解决问题，让效果的优化速度最高。对应的推动需要case by case，涉及到的内容很多，例如规则语义的优化/深度学习语义的优化与测试灰度/内容资源覆盖度等。这里考验的是产品经理的逻辑思维能力/推动力/沟通能力/方法论经验

——————————————————————————————

3.智能语音语义产品经理的世界观

3.1 别蒙着眼睛做事——技能效果优化的重头戏
战略：胜者先胜，然后求其战；败者先战，然后求其胜
战术：先在逻辑上推导出怎么胜利，再去落地实施，这样的产品经理更容易吸引胜利
打法：先在评估方法和优化方法上成熟。有最清晰的数据指标，最高效的解决方法，再去讲怎么优化效果。这样的产品路径才是清晰的，可被预期的

3.2 产品的上限和下限——智能语音/语义产品的成功因素
本文主要讲的是针对技能效果角度的一些方法论，但这仅仅只是产品其中的一部分。新人产品经理容易陷在其中，认为效果即一切，但商业的世界往往是多元的，产品的成败已经不仅仅局限于技能效果
产品的成败，决定于语音语义产品的上限和下限
下限：即是技能效果&基础的功能，别人有我必须要有。在商业逻辑上有明显缺陷的产品是无法存活于市场的。下限要做到及格的平均线之上。
在这之后需要聚焦资源，找准产品的护城河做上限，把它深做强。
上限：即自己的卖点与核心竞争力，为什么大家都差不多，用户要买我的产品，这很重要。例如技术的先发落地（全双工/声纹）；生态的优势（小米创维的智能家居生态/腾讯音箱的内容生态/阿里的购物生态）；渠道的优势（创维/海信/TCL的强大销售渠道）。上限可以是生态，可以是销售，因公司而异

希望上面的一些方法论和思考，能对语音/语义行业的产品经理们有所收益。如果可以迭代的地方，欢迎与我沟通

@sugus，前百度产品经理，专注于语音语义交互/智能硬件领域

未经许可，禁止转载

题图来自Unsplash，基于CC0协议