7月16日消息,阿里AI在常識QA領(lǐng)域的權(quán)威數(shù)據(jù)集CommonsenseQA上刷新世界紀錄,超過微軟取得第一名,顯著提升AI的常識推理能力。
CommonsenseQA是為了研究基于常識知識的問答而提出的數(shù)據(jù)集,比此前的SWAG、SQuAD數(shù)據(jù)集難度更高。目前最流行的語言模型BERT在SWAG、SQuAD上的性能已經(jīng)接近或超過人類,但在CommonsenseQA上的準(zhǔn)確率還遠低于人類。
自然語言理解(NLP,Natural Language Processing)是人工智能皇冠上的明珠,常識推理則是難度最高的NLP任務(wù)之一。在機器翻譯、閱讀理解等NLP任務(wù)上,AI的表現(xiàn)已經(jīng)接近或超過人類水平,阿里AI就先后在國際頂級的機器翻譯賽事WMT、機器閱讀理解賽事SQuAD、文本閱讀理解挑戰(zhàn)賽MS MARCO等賽事奪冠甚至趕超人類紀錄。
相比之下,AI的常識推理能力比人類差得多。常識是指絕大部分人都了解并接受的客觀事實,比如鹽是咸的、下雨了要打傘、村莊位于陸地上而非湖泊內(nèi)等等。人在回答問題時,常會結(jié)合這些不言而喻的背景知識。但機器沒有常識,無法將“馬路上,人們撐著傘”的原始陳述與“外面正在下雨”的邏輯假設(shè)自動關(guān)聯(lián)。
深度學(xué)習(xí)領(lǐng)軍人物之一、圖靈獎獲得者Yann LeCun 曾有斷言:最聰明的AI在常識方面也不如貓。在包含1.2萬多個常識問題的CommonsenseQA數(shù)據(jù)集上,最流行的AI模型BERT的答題準(zhǔn)確率為56.7%,遠低于人類的89%。
阿里巴巴達摩院語音實驗室提出了AMS方法,顯著提升BERT模型的常識推理能力。AMS方法使用與BERT相同的模型,僅預(yù)訓(xùn)練BERT,在不提升模型計算量的情況下,將 CommonsenseQA數(shù)據(jù)集上的準(zhǔn)確率提升了5.5%,達到62.2%。
阿里的技術(shù)突破將大幅提升下一代人機交互產(chǎn)品的常識理解能力,可應(yīng)用于語音導(dǎo)航、智能電視、語音售票機等產(chǎn)品。
設(shè)想這樣的場景:你開車尋找一個地處偏僻的村莊,村子不久前已經(jīng)搬遷,但導(dǎo)航還沒更新位置信息。村子所在地塊被開挖成了人工湖,由于AI沒有常識,導(dǎo)航直接就把你往湖心方向帶。AI如果擁有常識,就不會犯這類“蠢萌”的錯誤。
版權(quán)所有 :蘇州鑫致恒智能裝備有限公司
備案號:蘇ICP備20010989號 技術(shù)支持:易動力網(wǎng)絡(luò)|網(wǎng)站地圖
蘇公網(wǎng)安備 32050502000808號
經(jīng)營代理:威綸通觸摸屏 | 富興步進電機 | 銘磊真空閥 | TPC氣動 | 減速機代理廠家
分享按鈕聯(lián)系人:張總
電 話:181-0067-5303
郵 箱:xinzhihengfa@126.com
地 址:蘇州市高新區(qū)泰山路2號博濟科技園A座512