日交互量超百万 线上AI机器人全面上岗疫情“你问我答”
2020-02-25 07:39
    自新冠肺炎疫情迸发以来,智能疫情防控机器人以其快捷、高效、准确的特色敏捷成为防控一线的有利帮手。现在业界运用较多的智能疫情防控机器人主要有外呼和在线服务两类产品。外呼类产品能够完成对要点用户的电话问询,其第一批测评成果现已发布,受到了业界的广泛重视。在线服务机器人,可接受用户自动发问,为用户供给咨询、问诊、查询等服务,能够敏捷地为用户传达疫情信息。为便于相关单位依据需求挑选适宜的产品,我国人工智能工业展开联盟(以下简称“联盟”)在此前作业根底上,依托我国信息通讯研究院和人工智能要害技能和运用评测工业和信息化部要点实验室,展开了面向疫情防控在线服务机器人的评价测验,现将评价成果发布如下。

    参测状况

    本轮智能疫情防控机器人(在线类)评测共有15家企业报名参加,16款产品参加评测。联盟经过技能测验、资料检查和企业发表等方法对参评产品进行了评测。


    成果剖析与主张


    1.  根底功用丰厚多样,事务功用有待完善


    本轮评测功用部分测验了疫情防控在线服务机器人的多途径办理、富媒体音讯互动、心情安慰等六项根底功用目标,测验了疫情查询、问题咨询、自诊问诊等五项事务功用目标。下图给出了功用部分的评测成果,列出了参评产品对各项目标的支撑状况:

图1  根底功用测验成果
图1  根底功用测验成果

    整体而言,参评产品在多途径办理支撑才能和富媒体音讯互动支撑才能方面体现杰出,一切参评产品均支撑两种及其以上途径办理,最高的支撑到达六种,全面覆盖了PC端和移动端用户。参评产品在会话反常处理上体现比较挨近,大部分产品部分支撑该功用,在心情安慰功用支撑上两极化差异较显着,全面支撑和不支撑数量附近,两者算计数量占比超越多半。主要有以下三个方面的特色:

  • 多途径办理才能遍及支撑较好,保证不同途径用户拜访服务的快捷高效;

  • 交互方法多样化,超越对折参评产品支撑图画交互,信息展现更立体;

  • 会话反常处理结合心情安慰,有用提高了用户情感体会。

图2  事务功用测验成果
图2  事务功用测验成果

  针对不同疫情防控场景,测验选取了不同的测验数据,依据产品对语料的反应相关度设置了0~4分五级评分标准。经过测验成果得出,大都产品对咨询、问诊和防控事务场景支撑才能较好,高效回复率别离到达35.6%、40.9%、45.0%,有用回复率别离到达70.6%、63.4%、60.0%。但是在方针和新闻等信息类事务场景中,大都参评产品得分状况较差,不能较好的反应实时信息,这方面的才能需求继续加强。

    2. 对话质量良莠不齐,性能目标有待优化


    智能疫情防控在线服务机器人的中心技能是自然语言处理和对话体系,产品能否准确辨认对话中的要害词,并了解用户目的成为服务作用的要害,因而本次评测选取目的了解和要害词辨认作为中心性能目标。作为一款以自然语言处理为中心技能的产品,测验数据集的规划尤为重要,经过剖析用户对疫情信息重视的不同视点,本次测验数据集挑选咨询、问诊、防控和信息查询四个不同场景。测验运用的数百条语料由联盟人员经过对疫情相关信息和常识的调研,并剖析各家产品的特色后规划,涵盖了疫情相关术语以及用户比较关心的问题。下图给出了16款参评产品的性能目标测验成果(产品序号依据评测先后顺序排列)。

图3  性能目标测验与剖析成果
图3  性能目标测验与剖析成果

  整体来看,各家参评产品在要害词辨认和目的了解才能上良莠不齐,准确率最高值与最低值相差都超越了50个百分点。在要害词辨认才能上,有6款产品的准确率超越60%,根本能够辨认出“新式冠状病毒”、“N95口罩”、“发烧干咳”、“密切接触者”等疫情强相关词汇,以进行要害词匹配和扩展,保证答复的准确性和丰厚性。在目的了解才能上,有7款产品的准确率超越50%,可对用户提出的问题有针对性的进行答复、相关问题推送和心情安慰,然后供给准确、及时、有用的服务。

    经过图3中的性能目标产品散布状况可知,大都参评产品目的了解和要害词辨认准确率散布在[0.2,0.4)和[0.6,0.8),反映出参评产品在性能上的两级分解,主张相关企业及时丰厚疫情相关语料并进行产品优化,提高问题解决率。


    3. 用户需求攀升,交互量日益添加


    在本轮评测中,除上述功用和性能目标外,还计算了到2月12日各参评产品的拜访量、交互量以及用户均匀在线时长状况。详细数据如下图所示。

图4  参评产品运营状况
图4  参评产品运营状况

  由图4可知,从拜访量上看,超七成产品的总拜访量到达了百万级,其间总拜访量超越二百万和三百万的产品约占三成;从日均拜访量上看,约70%的产品日均拜访量在一万到二十万之间,仅有10%的产品突破了二十万大关;从交互量上看,约75%的产品总交互量超越了百万条,约78%的产品日均交互量超越一万条;从用户均匀在线时长上来看,超五成产品到达了2分钟以上,约37%的产品用户均匀在线时长缺乏1分钟,别的均匀在线时长超越3分钟的产品数约占36%。

  4. 主张与反应


  联盟经过剖析疫情防控机器人(在线类)的评测成果,结合终端用户的实践需求,提出以下主张:
 
  • 重视信息和答案的真实性和准确性:在疫情防控、方针宣贯、信息查询等场景下,保证数据和问题成果的真实性极为重要。例如:本次评测中发现,各款产品对“白酒能否代替酒精消毒?”的回答不尽相同,乃至得到相反的答案;

  • 保证疫情相关常识的丰厚性与时效性:如气溶胶传达、SARS-CoV-2等疫情术语的解说及核酸检测、人工肺等医疗手法的论述;

  • 适度添加富媒体音讯的交互:选用图文结合的方法,能愈加明晰简练的回复用户提出的问题。例如在“怎么正确佩带N95口罩?“问题上,以图片暗示每一步佩带操作,相对而言更为清晰和详细;

  • 恰当建议多轮对话相关上下文语义信息:在人机对话过程中以多次序问答的方式收集用户信息,协助用户清晰问题,然后动态且精准地为用户回答并引荐相关问题。

联系方式

电话:

传真:

邮箱:admin@admin.com

地址:广东省广州市番禺经济开发区58号