熱點推薦
  • 美軍機不守信飛經小學還矢口否認 日防衛省罕見回懟︰視頻為證[詳細]
  • 川普稱正考慮對中國發起巨額罰款 中方回應[詳細]
  • 美司法部長批準以死刑起訴章瑩穎案嫌犯!家人表示欣慰[詳細]
  • "80後"女總理今年升級當媽:至今未婚 將休6周產假[詳細]
  • 中國4名女生劃艇34天橫渡大西洋 破兩世界紀錄[詳細]
  • 玄松月率領的朝鮮藝術團先遣隊取消訪韓[詳細]
  • 川普遭嫌棄︰冠名拉低酒店價格和入住率,業主爭相求除名[詳細]
  • 川普幫中俄成為世界領袖?紐約時報怕是又砸了自己的腳[詳細]
  • 川普讓墨為邊境牆付200億美元 墨外長︰做夢[詳細]
  • 預言川普能活到200歲?這位總統御醫是何方神聖[詳細]
  • 盤點川普執政首年全球“友敵圈”[詳細]
  • 北京新機場長啥樣?無人機航拍帶你領略風采[詳細]
視頻精選
圖片精選

這個權威賽事上,AI閱讀理解首超人類

美国中文网 2018年01月14日 02:47:13    

字號:

2018年伊始,人工智能的發展又迎來一個里程碑時刻。1月3日和5日,兩個研究團隊連續刷新ai閱讀理解得分記錄,並且首次超過人類水平。

squad官網排名

ai閱讀理解得分首超人類

由斯坦福大學發起的 squad(stanford question answering dataset)挑戰賽,被認為是目前全球最高水平的ai閱讀理解賽事。

squad官網顯示,阿里巴巴 idst nlp 團隊提交的 slqa +模型,1月5日在精確匹配(exact match)項目上獲得了82.440的分數,刷新了微軟亞洲研究院r-net模型剛剛于1月3日創造的紀錄。而這兩個模型的成績都超過了人類在該項目上的得分——82.304。

squad閱讀理解賽事是以超過500篇維基百科文章為基礎,包含了超過10萬個問題-答案組合,是目前世界最大的ai閱讀理解數據集。

而且跟cnn/dm,cbt等自然語言處理類數據集相比,過往的數據集往往只是“完形填空”的形式,即要求ai將一個詞語填寫到文章空白處。而squad則是真正的閱讀理解,需要ai先讀完一段文章,然後回答一個根據文章提出的問題。

squad問題示例

據微軟方面介紹,得益于squad所提供的龐大數據規模,參與該項挑戰賽的選手不斷地對成績進行刷新,squad挑戰賽也逐步成為行業內公認的機器閱讀理解標準水平測試。在今年的acl大會(自然語言處理領域最頂尖的會議之一)的投稿里,有非常多的論文就是關于這項挑戰賽的研究,其影響力可見一斑。從acl 2017論文主題的可視分析中可以看到,“reading comprehension(閱讀理解)”是今年acl錄取論文中最熱門的關鍵詞和任務,廣受自然語言處理領域研究人員的關注。

squad評分分為精確匹配(exact match)和模糊匹配(f1-score)兩種,人類在這兩項的得分分別是 82.3 和 91.2。上述兩個模型目前只是在精確匹配項目上超過人類,而在模糊匹配上仍有大約2.5分的差距。

微軟亞洲研究院機器閱讀團隊成員(從左至右︰崔磊、韋福如、周明、楊南)




阿里已將技術用于客服

據阿里巴巴官方賬號“阿里技術”介紹阿里巴巴自然語言處理首席科學家司羅表示,對于解決wiki類客觀知識問答,機器已經取得非常好的結果,我們將繼續向對通用內容的“能理解會思考”的終極目標邁進。今後,研發的重點在于把這項技術真正應用在廣大實際場景,讓機器智能普惠生活。

實事上,這項技術已經在阿里巴巴內部被廣泛使用。比如,每年雙11都會有大量的顧客對活動規則進行咨詢。阿里小蜜團隊通過使用司羅團隊的技術,讓機器直接對規則進行閱讀,為用戶提供規則解讀服務,是最自然的交互方式。

再比如,顧客還會針對單個商品詢問大量的基礎問題,而這些問題其實在商品詳情頁都是有答案的。現在通過機器閱讀理解技術,能夠讓機器對詳情頁中的商品描述文本進行更為智能地閱讀和回答,降低服務成本的同時提高購買轉化率。

由司羅領導的自然語言處理團隊支撐了阿里巴巴整個生態的技術需求。由他們研發的alinlp自然語言技術平台每日調用1200億+次,alitranx 翻譯系統提供20個語種在線服務日調用量超過7億+次。此前曾在2016年acm cikm 個性化電商搜索、2017年ijcnlp中文語法檢測cged評測、2017年年美國標準計量局tac評比英文實體分類等大賽中取得全球第一的成績。




中國多個團隊排名前列

盡管阿里和微軟是目前僅有的兩個超過人類得分的團隊,但是在自然語言處理領域,其實各方研究者的實力相當接近,競爭一直很激烈。

從squad官網發布的榜單來看,去年11月和12月,得分紀錄已經多次被刷新,其中來自中國和美國的團隊佔據了最前列的位置,包括騰訊、哈工大&科大訊飛等中國團隊都取得了不錯的成績,一些歐洲、韓國和以色列的研究者同樣榜上有名。

微軟亞洲研究院副院長、自然語言計算組負責人周明博士表示︰“祝賀中國的自然語言理解研究已經走在世界前列!整個領域的進步需要大家共同的努力和投入來推動。自然語言處理長路漫漫,讓我們共勉。”

網友評論 已有0條評論, 我也要評論
暫無評論
發表評論
用戶名: 密碼: 註冊
非會員填寫以下評論信息,再次訪問參與評論時就不需要重複輸入了! 驗證碼: 看不清? Ctrl+Enter快捷回復