本輪試評估將通過技術測試、材料審查和企業披露等方式對參測產品的基礎功能、業務能力和服務性能等指標進行評測。竹間智能作為中國人工智能產業發展聯盟成員，以“竹間疫情防控情感機器人”系統參與了本次首批測評，并在各項指標上均取得了不錯成績。

　　參評企業名單：

　　

　　功能評測結果與分析

　　本輪評測系統測試了方言支持、結果報表、異常上報等7項基礎功能指標，測試了篩查、防控、回訪等5項業務功能指標。下圖給出了功能部分的評測結果，列出了參測產品對于各指標的支持情況：

圖1基礎功能測試結果

　　總體而言，參評產品在并發外呼、話術配置和結果報表等方面表現較好，主要有以下三個方面的特點：

　　系統對并發外呼的支持充分保證了呼叫效率，多數參評產品并發能力超過1000;

　　話術配置具備多樣性，使得疫情防控機器人的使用場景更為豐富;

　　結果報表支持實時統計和展示關鍵信息;

圖2 業務功能測試結果

　　針對疫情防控場景，參評產品設置了多種適配話術。在篩查、防控、回訪三個話術上，全面支持的參評產品的占比分別達到89%、67%和89%。由于宣教話術通常應用于在線客服場景，因此參評產品中約有一半暫未集成。

　　本次竹間疫情防控情感機器人能快速上線篩查、防控、回訪等多項功能并實際投入使用，得益于竹間自研的人工智能開放平臺Bot Factory™2020。竹間智能將自研的語音識別技術和NLP融合，可視化的界面和簡易操作的流程能快速構建例如人員篩查、隔離人員回訪等多輪場景對話，話術配置具備多樣性，使得疫情防控機器人的使用場景更為豐富。

　　可以自動批量撥打電話進行外呼任務，大大降低人工壓力并可快速準確收集相關信息，自動生成報表以供留檔、分析。

　　性能評測結果與分析

　　本輪評測系統測試了語音識別、語義理解、結果分析等6項服務性能指標。下圖(圖中系統與上表參評企業排序無對應關系)給出了信息采集能力、統計分析能力、語音識別能力和語義理解能力等多個重要性能指標的準確率。

圖3 服務性能測試結果

　　總體來看，參評產品在信息采集能力、語言識別能力和系統可靠性等方面較為出色，充分利用自身優勢助力疫情防控。在信息采集能力方面，參評產品的準確率都超過了83%，可有效保證相關字段信息的獲取，從而滿足政府、機構等對關鍵信息的統計和分析需求;在語音識別能力方面，考慮到電話環境噪聲嘈雜，參評產品的準確率主要分布在82%-96%之間，可以達到較好的使用效果;在語義理解能力上，各家準確率在80%上下浮動。

　　竹間智能出色的語義理解能力基于強大的NLP基礎和針對業務領域優化的Emotibot-BERT深度遷移學習模型。

　　通過結合計算語言學的詞法分析、句法分析、語義角色分析和基于大規模遷移學習的中文預訓練語言模型Emotibot-BERT，可以在無訓練數據的零啟動測試當中，已達到80%的準確率，跨領域的意圖理解中，平均準確率已達95%以上，語音識別+多輪交互在外呼的實際應用場景已達93.9%的準確率。再根據場景的數據訓練之后，準確率將繼續提升。

　　運營情況統計與分析

　　除上述功能和性能指標評測以外，在首輪疫情防控機器人評測中，還統計了截至2020年2月7日各參評產品的外呼系統的呼叫情況。下圖給出了外呼系統的總呼叫量與日均呼叫量在各數量級上的企業分布情況。

圖4 參評產品總呼叫量及日呼叫量規模情況

　　如圖4所示，約有54%的企業呼叫總數為百萬級，其余占比較多的總呼叫量分別處于十萬級以下、十萬級、五十萬級和千萬級。從日均呼叫量來看，約有85%的企業每天都有超過幾萬通外呼電話進行信息采集、防控回訪。

　　目前竹間智能的竹間外呼防疫情感機器人已經在北京、上海、深圳等多地幫助企業組織、社區居委進行防疫工作。防疫期間也將持續免費向社會各界提供竹間防疫全場景智能解決方案。

　　疫情期間免費使用

　　撥打：400-831-9111防疫期間7*24小時為您服務