熱點推薦
  • 赴民主黨參議員籌款晚會途中 希拉里在新澤西遇車禍[詳細]
  • 結婚前一天他走進領館人間蒸發 真相浮出水面令全世界恐慌[詳細]
  • 王岐山“專程”到釣魚台與他們合影[詳細]
  • 硬核!南卡74歲老兵只身抵抗住兩波警察,電影都不敢這麼演[詳細]
  • 張維為哈佛演講︰驅散中美關系上空的烏雲[詳細]
  • 王寶強原經紀人宋梯拙務侵佔案一審宣判︰獲刑6年[詳細]
  • 世界首富貝索斯想把1萬億人送上太空,他比馬斯克更厲害嗎?[詳細]
  • 謀殺四華裔未成年養子女 田納西女子自盡[詳細]
  • 廣東梅州一交警副中隊長充當非法采礦“保護傘”被拿下[詳細]
  • 克里米亞致18死暴力襲擊嫌犯︰總隨身帶刀獨行 得過獎學金[詳細]
  • 中國科學家首獲國際玻璃界“奧斯卡大獎”[詳細]
  • 土總統訪摩爾多瓦記者會打瞌睡 假裝記筆記抗睡魔[詳細]
視頻精選
圖片精選

這個權威賽事上,AI閱讀理解首超人類

美国中文网 2018年01月14日 02:47:13    

字號:

2018年伊始,人工智能的發展又迎來一個里程碑時刻。1月3日和5日,兩個研究團隊連續刷新ai閱讀理解得分記錄,並且首次超過人類水平。

squad官網排名

ai閱讀理解得分首超人類

由斯坦福大學發起的 squad(stanford question answering dataset)挑戰賽,被認為是目前全球最高水平的ai閱讀理解賽事。

squad官網顯示,阿里巴巴 idst nlp 團隊提交的 slqa +模型,1月5日在精確匹配(exact match)項目上獲得了82.440的分數,刷新了微軟亞洲研究院r-net模型剛剛于1月3日創造的紀錄。而這兩個模型的成績都超過了人類在該項目上的得分——82.304。

squad閱讀理解賽事是以超過500篇維基百科文章為基礎,包含了超過10萬個問題-答案組合,是目前世界最大的ai閱讀理解數據集。

而且跟cnn/dm,cbt等自然語言處理類數據集相比,過往的數據集往往只是“完形填空”的形式,即要求ai將一個詞語填寫到文章空白處。而squad則是真正的閱讀理解,需要ai先讀完一段文章,然後回答一個根據文章提出的問題。

squad問題示例

據微軟方面介紹,得益于squad所提供的龐大數據規模,參與該項挑戰賽的選手不斷地對成績進行刷新,squad挑戰賽也逐步成為行業內公認的機器閱讀理解標準水平測試。在今年的acl大會(自然語言處理領域最頂尖的會議之一)的投稿里,有非常多的論文就是關于這項挑戰賽的研究,其影響力可見一斑。從acl 2017論文主題的可視分析中可以看到,“reading comprehension(閱讀理解)”是今年acl錄取論文中最熱門的關鍵詞和任務,廣受自然語言處理領域研究人員的關注。

squad評分分為精確匹配(exact match)和模糊匹配(f1-score)兩種,人類在這兩項的得分分別是 82.3 和 91.2。上述兩個模型目前只是在精確匹配項目上超過人類,而在模糊匹配上仍有大約2.5分的差距。

微軟亞洲研究院機器閱讀團隊成員(從左至右︰崔磊、韋福如、周明、楊南)




阿里已將技術用于客服

據阿里巴巴官方賬號“阿里技術”介紹阿里巴巴自然語言處理首席科學家司羅表示,對于解決wiki類客觀知識問答,機器已經取得非常好的結果,我們將繼續向對通用內容的“能理解會思考”的終極目標邁進。今後,研發的重點在于把這項技術真正應用在廣大實際場景,讓機器智能普惠生活。

實事上,這項技術已經在阿里巴巴內部被廣泛使用。比如,每年雙11都會有大量的顧客對活動規則進行咨詢。阿里小蜜團隊通過使用司羅團隊的技術,讓機器直接對規則進行閱讀,為用戶提供規則解讀服務,是最自然的交互方式。

再比如,顧客還會針對單個商品詢問大量的基礎問題,而這些問題其實在商品詳情頁都是有答案的。現在通過機器閱讀理解技術,能夠讓機器對詳情頁中的商品描述文本進行更為智能地閱讀和回答,降低服務成本的同時提高購買轉化率。

由司羅領導的自然語言處理團隊支撐了阿里巴巴整個生態的技術需求。由他們研發的alinlp自然語言技術平台每日調用1200億+次,alitranx 翻譯系統提供20個語種在線服務日調用量超過7億+次。此前曾在2016年acm cikm 個性化電商搜索、2017年ijcnlp中文語法檢測cged評測、2017年年美國標準計量局tac評比英文實體分類等大賽中取得全球第一的成績。




中國多個團隊排名前列

盡管阿里和微軟是目前僅有的兩個超過人類得分的團隊,但是在自然語言處理領域,其實各方研究者的實力相當接近,競爭一直很激烈。

從squad官網發布的榜單來看,去年11月和12月,得分紀錄已經多次被刷新,其中來自中國和美國的團隊佔據了最前列的位置,包括騰訊、哈工大&科大訊飛等中國團隊都取得了不錯的成績,一些歐洲、韓國和以色列的研究者同樣榜上有名。

微軟亞洲研究院副院長、自然語言計算組負責人周明博士表示︰“祝賀中國的自然語言理解研究已經走在世界前列!整個領域的進步需要大家共同的努力和投入來推動。自然語言處理長路漫漫,讓我們共勉。”

網友評論 已有0條評論, 我也要評論
暫無評論
發表評論
用戶名: 密碼: 註冊
非會員填寫以下評論信息,再次訪問參與評論時就不需要重複輸入了! 驗證碼: 看不清? Ctrl+Enter快捷回復