近日,在美國休斯敦閉幕的第13屆網(wǎng)絡(luò)搜索與數(shù)據(jù)挖掘國際會議(WSDM 2020)上,華為云帶領(lǐng)的聯(lián)合團(tuán)隊摘得WSDM Cup 2020大賽“論文引用意圖識別任務(wù)”金牌。

WSDM被譽為全球信息檢索領(lǐng)域最有影響力也最權(quán)威的會議之一,會議關(guān)注社交網(wǎng)絡(luò)上的搜索與數(shù)據(jù)挖掘,尤其關(guān)注搜索與數(shù)據(jù)挖掘模型、算法設(shè)計與分析、產(chǎn)業(yè)應(yīng)用和提升準(zhǔn)確性與效果的實驗分析。今年已經(jīng)是WSDM的第十三屆會議。

本次WSDM Cup共有三個賽題任務(wù),華為云奪金賽題內(nèi)容為“論文引用意圖識別”:比賽提供一個論文庫(約含80萬篇論文),同時提供對被引用論文的引用文本描述,參賽選手需要根據(jù)論文引用描述從論文庫中匹配三篇最相關(guān)的論文。

論文是人類最前沿知識的媒介,如果可以理解論文中的數(shù)據(jù),可以極大地擴(kuò)充計算機(jī)理解知識的能力和范圍。在論文中,作者經(jīng)常會引用其他論文,并對被引論文做出對應(yīng)描述。如果通過計算機(jī)可以自動地理解、識別描述對應(yīng)的被引論文,不僅可以加深我們對科研脈絡(luò)的理解,還能在科研知識圖譜、科研自動問答系統(tǒng)和自動摘要系統(tǒng)等領(lǐng)域有所進(jìn)步。

華為云語音語義創(chuàng)新Lab帶領(lǐng)華南理工大學(xué)、華中科技大學(xué)、武漢大學(xué)、江南大學(xué)學(xué)生組成的聯(lián)合團(tuán)隊,針對該問題制定了“整體召回+重排+集成”的方案。在整體召回階段,通過輕量化的文本相似度計算方法(如BM25、TFIDF、Word2Vec等),以較少的計算代價從大規(guī)模論文庫中檢索出給定查詢的可能相關(guān)的論文集合。在重排階段,通過計算量大但更準(zhǔn)確的方法對這些候選論文中的每一篇論文計算和引用描述的相似度值并重新排序,例如采用基于深度學(xué)習(xí)的預(yù)訓(xùn)練語言模型BERT等。華為云團(tuán)隊觀察到,賽題中所給語料都是生物醫(yī)學(xué)領(lǐng)域,因此采用了基于生物醫(yī)藥和科學(xué)領(lǐng)域語料進(jìn)行預(yù)訓(xùn)練的BioBERT和SciBERT語言模型對論文進(jìn)行重排。通過對所有模型的結(jié)果進(jìn)行集成,最終得到三篇最相關(guān)的論文。

華為云在本次比賽中運用的文本匹配技術(shù),可廣泛用于搜索、對話機(jī)器人、知識圖譜構(gòu)建等領(lǐng)域。

憑借在自然語言處理領(lǐng)域的全棧技術(shù)積累,華為云連續(xù)斬獲了多個相關(guān)領(lǐng)域權(quán)威比賽冠軍。2019年10月華為云在DigSci科學(xué)數(shù)據(jù)挖掘大賽(學(xué)術(shù)論文搜索匹配大賽)上奪冠,精準(zhǔn)率超過第二名5個百分點。在2019 CCF大數(shù)據(jù)與計算智能大賽決賽中,華為云獲得金融實體級情感分析大賽冠軍,體現(xiàn)了在文本情感分析和知識圖譜領(lǐng)域的實力。

目前,華為云語音語義相關(guān)服務(wù)已經(jīng)成功應(yīng)用于政務(wù)、金融、油氣、醫(yī)療、汽車、物流、保險、電商、稅務(wù)、媒體等具有語音識別、語言理解、知識管理等需求的業(yè)務(wù)領(lǐng)域。