网易易盾以更创新的人机协作方式,为小米“小爱同学”问答语料提供了一站式内容安全解决方案,在过滤不良有害内容的基础上,挑选出优质科普问答,助力小爱同学用睿智征服用户。

借助于API动态赋能,小米的问答语料审核效率成功提升5倍,凭借更少的投入创造更多效益,成功节省大量人力成本,从而释放新的价值。

01 生活中的AI助理

“我在。”设备里飘出一种亲切爽朗的声音。

诞生于2017年的"小爱同学"是基于人工智能技术打造的有趣灵魂,它出现在音响、手机、电视、手表中,其形貌与动漫中科技感十足的机甲战士一模一样,红发蓝眼,随时等待主人的指令,宛如一位“真人”生活助理。

用户只要喊出“小爱同学",就能唤醒它,需要做什么事,也只管吩咐“小爱同学”。除了与主人进行实时语言对话,“小爱同学”还能控制智能家居设备,翻译多国语言,扫描识别各类信息,并拥有解答主人问题的本领。

截止2020年6月30日,搭载“小爱同学”的设备累计激活数量已经超过2.28亿台,“小爱同学”被唤醒次数已经超过617亿次,它的月活跃用户数已经超过7840万,其魅力可见一斑。

02 小爱同学的安全训练

面对用户无穷的好奇心,小爱同学持续进化,连"世界之最"、"十万个为什么"中的不少冷门知识也能不假思索地回答。在知识问答环节,小爱同学上知天文、下知地理,自然人文、物理科学。你能想到的问题,小爱同学都能接。

让“小爱同学”更好地完成问答,需要利用大量高质量的场景问答(Q&A)作为语料进行训练。工程师们为“小爱同学”网罗了来自网络的丰富问答语料文本。通过APP中的“小爱训练计划”,用户也能参与“小爱同学”的教育与培养。

梳理问答语料是“小爱同学”训练前的重中之重。在这一过程中,小米不仅要平衡量、速度与精准度,还需要应对变化带来的挑战。

首先,随着“小爱同学”快速聚集人气,摆在小米面前的是庞大的问答语料库,光是上述内容就达到千万量级,依靠传统人工审核方式来排除不良有害内容,对知识进行事实核准,不仅是因为人力成本问题,而且工作量巨大,无法快速回应“小米同学”强烈的求知欲。

一直以来,小米的自有审核团队使用内部审核后台进行审核,假设单人每日审核上千条,必须预留较长时间以消化千万量级的问答语料。由于问答语料更新速度远快于审核速度,导致了历史数据的存留。

与此同时,不良有害内容跟随时事热点发生变形。最近发生了哪些重大舆情事件?如何迎接动态的内容安全挑战?如何及时适应政府监管政策的更新?

基于这些疑问,小米深知内容安全风险无法一劳永逸地避免,只能动态管理,为用户创造一种安全、可靠的问答体验。

入选知识库的问答语料将会成为“小爱同学”的观点,且做知识科普之用,必须不偏不倚、全面客观。问答语料的审核不只局限于避免“犯错”,更在于让小爱同学身藏“智慧”,用睿智的解答留住用户。

03 人机融合开启内容审核的新纪元

成功收集问答语料之后,小米即刻行动,计划寻求一套标准化的数字内容风控机制,要求高效审核、应变即时、成本可控、排除问答语料中的色情、低俗、广告、涉政、暴恐、谩骂、灌水等不良有害内容,挑选出优质科普问答,并对通过的内容标注标识。

为了达成这一目标,网易易盾为小米提供了人机协作的一站式内容安全解决方案,人工审核团队对机审后的问答语料文本进行二次标注与质量检测在过滤不良有害内容的同时,挑选出优质科普问答,推动审核效率提升5倍,节省大量人力成本。

AI机器审核,辅助审核员工作

借助于易盾的智能机器审核系统,小米成功让机器替代一部分审核工作,自动化将问答语料文本按违规类型进行标红与分类的预处理,让不良有害内容自动现行。智能机器审核系统,基于深度学习及大规模样本训练,对文本进行语义分析,包括色情、低俗、广告、涉政、暴恐、谩骂、灌水等大类。

易盾定期对模型进行优化迭代,通过收集误漏判样本,重新训练模型。平均每个模型1到2个月更新一次。融合敏感词库、文本语义分析模型、垃圾内容特征库、舆论监控、最新监管政策跟踪、前端的排查等多个管理环节,一套机制下来,计算机既能“察言”,又能“观意”,让机器学习现有变形词案例,进而总结规律,举一反三。

专业人审团队,满足特殊审核需求

一条条问答语料文本经过机器审核后,交由人工审核团队进行二次标记,在机器无法进行决策时进行干预,并纠正决策,进一步满足小米对问答语料的定制化审核需求:

○ 特殊策略:小米提出了甄别涉政内容的正负面与法律法规合规的需求。以《广告法》合规为例,易盾助力小米遵守相关法规要求,在有关医疗、保健、养生的知识问答中,剔除带有“推荐”嫌疑的问答。

○ 所见即所得:通过“问答组合过检”机制,人工审核团队助力小米排除答非所问、缺乏依据的低质科普语料,让“小爱同学”的科普更客观真实、更 “人性化”。

○ 质检管理:为了进一步查漏补缺,小米团队在易盾自研的“审核平台”按比例设置“内容抽检”,排查人机审核后的每一条问题数据,及时纠正误判,反哺人工审核标准。

在人机协作机制大规模部署过程中,易盾持续在人员培训和技能提升项目上的投入,搭建了一支经验丰富的审核团队,紧跟舆情热点,为业务线提供更多切实可行的建议。

易盾审核平台,高度协作的审核流程

在合作中,小米通过API接入易盾“审核平台”系统,得以多线处理海量数字内容,动态开展审核数据查询、质检任务下发等操作,借力系统实时获取对审核效果的全面洞察。

相比于采用传统的审核平台,“易盾审核平台”致力于为AI和审核员分配任务,在实操中不断与客户需求进行磨合,设计了过去难以实现的审核交互操作。例如,“自动跳审”、“高量词工具”、“键盘快捷键”、“全屏审核”、“多人审核”等交互设计,助力审核员摆脱繁复的操作,成功提升人效。

04 使用效果

虽只历时数月,人机通力合作将堆积的历史数据陆续消化。在全新的人机协作方案下,问答语料过审核的平均准确率在99.8%以上,审核员单人每日的文本审核量预计超过5000条,是全量人审的5倍多。

 

关键词：