【新智元導(dǎo)讀】作者對(duì)知識(shí)圖譜進(jìn)行了全面的介紹，內(nèi)容包括：知識(shí)圖譜的歷史、意義、各種關(guān)鍵技術(shù)、開放數(shù)據(jù)集、情報(bào)分析應(yīng)用案例等。本文節(jié)選自《情報(bào)工程》2017 年第 1 期，知識(shí)圖譜專題稿件。

本節(jié)首先給出知識(shí)圖譜的技術(shù)地圖，然后介紹知識(shí)圖譜構(gòu)建的關(guān)鍵技術(shù)，包括關(guān)系抽取技術(shù)、知識(shí)融合技術(shù)、實(shí)體鏈接技術(shù)和知識(shí)推理技術(shù)。

1.1 知識(shí)圖譜技術(shù)地圖

構(gòu)建知識(shí)圖譜的主要目的是獲取大量的、讓計(jì)算機(jī)可讀的知識(shí)。在互聯(lián)網(wǎng)飛速發(fā)展的今天，知識(shí)大量存在于非結(jié)構(gòu)化的文本數(shù)據(jù)、大量半結(jié)構(gòu)化的表格和網(wǎng)頁(yè)以及生產(chǎn)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)中。為了闡述如何構(gòu)建知識(shí)圖譜，本文給出了構(gòu)建知識(shí)圖譜的技術(shù)地圖，該技術(shù)地圖如圖1所示。整個(gè)技術(shù)圖主要分為三個(gè)部分，第一個(gè)部分是知識(shí)獲取，主要闡述如何從非結(jié)構(gòu)化、半結(jié)構(gòu)化、以及結(jié)構(gòu)化數(shù)據(jù)中獲取知識(shí)。第二部是數(shù)據(jù)融合，主要闡述如何將不同數(shù)據(jù)源獲取的知識(shí)進(jìn)行融合構(gòu)建數(shù)據(jù)之間的關(guān)聯(lián)。第三部分是知識(shí)計(jì)算及應(yīng)用，這一部分關(guān)注的是基于知識(shí)圖譜計(jì)算功能以及基于知識(shí)圖譜的應(yīng)用。

1.1.1 知識(shí)獲取

在處理非結(jié)構(gòu)化數(shù)據(jù)方面，首先要對(duì)用戶的非結(jié)構(gòu)化數(shù)據(jù)提取正文。目前的互聯(lián)網(wǎng)數(shù)據(jù)存在著大量的廣告，正文提取技術(shù)希望有效的過(guò)濾廣告而只保留用戶關(guān)注的文本內(nèi)容。當(dāng)?shù)玫秸奈谋竞?，需要通過(guò)自然語(yǔ)言技術(shù)識(shí)別文章中的實(shí)體，實(shí)體識(shí)別通常有兩種方法，一種是用戶本身有一個(gè)知識(shí)庫(kù)則可以使用實(shí)體鏈接將文章中可能的候選實(shí)體鏈接到用戶的知識(shí)庫(kù)上。另一種是當(dāng)用戶沒有知識(shí)庫(kù)則需要使用命名實(shí)體識(shí)別技術(shù)識(shí)別文章中的實(shí)體。若文章中存在實(shí)體的別名或者簡(jiǎn)稱還需要構(gòu)建實(shí)體間的同義詞表，這樣可以使不同實(shí)體具有相同的描述。在識(shí)別實(shí)體的過(guò)程中可能會(huì)用到分詞、詞性標(biāo)注，以及深度學(xué)習(xí)模型中需要用到分布式表達(dá)如詞向量。同時(shí)為了得到不同粒度的知識(shí)還可能需要提取文中的關(guān)鍵詞，獲取文章的潛在主題等。當(dāng)用戶獲得實(shí)體后，則需要關(guān)注實(shí)體間的關(guān)系，我們稱為實(shí)體關(guān)系識(shí)別，有些實(shí)體關(guān)系識(shí)別的方法會(huì)利用句法結(jié)構(gòu)來(lái)幫助確定兩個(gè)實(shí)體間的關(guān)系，因此在有些算法中會(huì)利用依存分析或者語(yǔ)義解析。如果用戶不僅僅想獲取實(shí)體間的關(guān)系，還想獲取一個(gè)事件的詳細(xì)內(nèi)容，那么則需要確定事件的觸發(fā)詞并獲取事件相應(yīng)描述的句子，同時(shí)識(shí)別事件描述句子中實(shí)體對(duì)應(yīng)事件的角色。

在處理半結(jié)構(gòu)化數(shù)據(jù)方面，主要的工作是通過(guò)包裝器學(xué)習(xí)半結(jié)構(gòu)化數(shù)據(jù)的抽取規(guī)則。由于半結(jié)構(gòu)化數(shù)據(jù)具有大量的重復(fù)性的結(jié)構(gòu)，因此對(duì)數(shù)據(jù)進(jìn)行少量的標(biāo)注，可以讓機(jī)器學(xué)出一定的規(guī)則進(jìn)而在整個(gè)站點(diǎn)下使用規(guī)則對(duì)同類型或者符合某種關(guān)系的數(shù)據(jù)進(jìn)行抽取。最后當(dāng)用戶的數(shù)據(jù)存儲(chǔ)在生產(chǎn)系統(tǒng)的數(shù)據(jù)庫(kù)中時(shí)，需要通過(guò) ETL 工具對(duì)用戶生產(chǎn)系統(tǒng)下的數(shù)據(jù)進(jìn)行重新組織、清洗、檢測(cè)最后得到符合用戶使用目的數(shù)據(jù)。

1.1.2 知識(shí)融合

當(dāng)知識(shí)從各個(gè)數(shù)據(jù)源下獲取時(shí)需要提供統(tǒng)一的術(shù)語(yǔ)將各個(gè)數(shù)據(jù)源獲取的知識(shí)融合成一個(gè)龐大的知識(shí)庫(kù)。提供統(tǒng)一術(shù)語(yǔ)的結(jié)構(gòu)或者數(shù)據(jù)被稱為本體，本體不僅提供了統(tǒng)一的術(shù)語(yǔ)字典，還構(gòu)建了各個(gè)術(shù)語(yǔ)間的關(guān)系以及限制。本體可以讓用戶非常方便和靈活的根據(jù)自己的業(yè)務(wù)建立或者修改數(shù)據(jù)模型。通過(guò)數(shù)據(jù)映射技術(shù)建立本體中術(shù)語(yǔ)和不同數(shù)據(jù)源抽取知識(shí)中詞匯的映射關(guān)系，進(jìn)而將不同數(shù)據(jù)源的數(shù)據(jù)融合在一起。同時(shí)不同源的實(shí)體可能會(huì)指向現(xiàn)實(shí)世界的同一個(gè)客體，這時(shí)需要使用實(shí)體匹配將不同數(shù)據(jù)源相同客體的數(shù)據(jù)進(jìn)行融合。不同本體間也會(huì)存在某些術(shù)語(yǔ)描述同一類數(shù)據(jù)，那么對(duì)這些本體間則需要本體融合技術(shù)把不同的本體融合。最后融合而成的知識(shí)庫(kù)需要一個(gè)存儲(chǔ)、管理的解決方案。知識(shí)存儲(chǔ)和管理的解決方案會(huì)根據(jù)用戶查詢場(chǎng)景的不同采用不同的存儲(chǔ)架構(gòu)如 NoSQL 或者關(guān)系數(shù)據(jù)庫(kù)。同時(shí)大規(guī)模的知識(shí)庫(kù)也符合大數(shù)據(jù)的特征，因此需要傳統(tǒng)的大數(shù)據(jù)平臺(tái)如 Spark 或者 Hadoop 提供高性能計(jì)算能力，支持快速運(yùn)算。

1.1.3 知識(shí)計(jì)算及應(yīng)用

知識(shí)計(jì)算主要是根據(jù)圖譜提供的信息得到更多隱含的知識(shí)，如通過(guò)本體或者規(guī)則推理技術(shù)可以獲取數(shù)據(jù)中存在的隱含知識(shí)；而鏈接預(yù)測(cè)則可預(yù)測(cè)實(shí)體間隱含的關(guān)系；同時(shí)使用社會(huì)計(jì)算的不同算法在知識(shí)網(wǎng)絡(luò)上計(jì)算獲取知識(shí)圖譜上存在的社區(qū)，提供知識(shí)間關(guān)聯(lián)的路徑；通過(guò)不一致檢測(cè)技術(shù)發(fā)現(xiàn)數(shù)據(jù)中的噪聲和缺陷。通過(guò)知識(shí)計(jì)算知識(shí)圖譜可以產(chǎn)生大量的智能應(yīng)用如可以提供精確的用戶畫像為精準(zhǔn)營(yíng)銷系統(tǒng)提供潛在的客戶；提供領(lǐng)域知識(shí)給專家系統(tǒng)提供決策數(shù)據(jù)，給律師、醫(yī)生、公司 CEO 等提供輔助決策的意見；提供更智能的檢索方式，使用戶可以通過(guò)自然語(yǔ)言進(jìn)行搜索；當(dāng)然知識(shí)圖譜也是問答必不可少的重要組建。

圖1

從上圖可以看出，知識(shí)圖譜涉及到的技術(shù)非常多，每一項(xiàng)技術(shù)都需要專門去研究，而且已經(jīng)有很多研究成果。由于篇幅的限制，本文重點(diǎn)介紹知識(shí)圖譜構(gòu)建和知識(shí)計(jì)算的幾個(gè)核心技術(shù)。

1.2　實(shí)體關(guān)系識(shí)別技術(shù)

最初實(shí)體關(guān)系識(shí)別任務(wù)在 1998 年 MUC（Message Understanding Conference）中以 MUC-7 任務(wù)被引入，目的是通過(guò)填充關(guān)系模板槽的方式抽去文本中特定的關(guān)系。1998 后，在 ACE（Automatic Content Extraction）中被定義為關(guān)系檢測(cè)和識(shí)別的任務(wù)；2009 年 ACE 并入 TAC (Text Analysis Conference)，關(guān)系抽取被并入到 KBP（knowledgeBase Population）領(lǐng)域的槽填充任務(wù)。從關(guān)系任務(wù)定義上，分為限定領(lǐng)域（Close Domain）和開放領(lǐng)域（Open IE）；從方法上看，實(shí)體關(guān)系識(shí)別了從流水線識(shí)別方法逐漸過(guò)渡到端到端的識(shí)別方法。

基于統(tǒng)計(jì)學(xué)的方法將從文本中識(shí)別實(shí)體間關(guān)系的問題轉(zhuǎn)化為分類問題。基于統(tǒng)計(jì)學(xué)的方法在實(shí)體關(guān)系識(shí)別時(shí)需要加入實(shí)體關(guān)系上下文信息確定實(shí)體間的關(guān)系，然而基于監(jiān)督的方法依賴大量的標(biāo)注數(shù)據(jù)，因此半監(jiān)督或者無(wú)監(jiān)督的方法受到了更多關(guān)注。

（1）監(jiān)督學(xué)習(xí)：Zhou[13] 在 Kambhatla 的基礎(chǔ)上加入了基本詞組塊信息和 WordNet，使用 SVM 作為分類器，在實(shí)體關(guān)系識(shí)別的準(zhǔn)確率達(dá)到了 55.5%，實(shí)驗(yàn)表明實(shí)體類別信息的特征有助于提高關(guān)系抽取性能； Zelenko[14] 等人使用淺層句法分析樹上最小公共子樹來(lái)表達(dá)關(guān)系實(shí)例，計(jì)算兩顆子樹之間的核函數(shù)，通過(guò)訓(xùn)練例如 SVM 模型的分類器來(lái)對(duì)實(shí)例進(jìn)行分。但基于核函數(shù)的方法的問題是召回率普遍較低，這是由于相似度計(jì)算過(guò)程匹配約束比較嚴(yán)格，因此在后續(xù)研究對(duì)基于核函數(shù)改進(jìn)中，大部分是圍繞改進(jìn)召回率。但隨著時(shí)間的推移，語(yǔ)料的增多、深度學(xué)習(xí)在圖像和語(yǔ)音領(lǐng)域獲得成功，信息抽取逐漸轉(zhuǎn)向了基于神經(jīng)模型的研究，相關(guān)的語(yǔ)料被提出作為測(cè)試標(biāo)準(zhǔn)，如 SemEval-2010 task 8[15]。基于神經(jīng)網(wǎng)絡(luò)方法的研究有，Hashimoto[16] 等人利用 Word Embedding 方法從標(biāo)注語(yǔ)料中學(xué)習(xí)特定的名詞對(duì)的上下文特征，然后將該特征加入到神經(jīng)網(wǎng)絡(luò)分類器中，在 SemEval-2010 task 8 上取得了 F1 值 82.8% 的效果?；谏窠?jīng)網(wǎng)絡(luò)模型顯著的特點(diǎn)是不需要加入太多的特征，一般可用的特征有詞向量、位置等，因此有人提出利用基于聯(lián)合抽取模型，這種模型可以同時(shí)抽取實(shí)體和其之間的關(guān)系。聯(lián)合抽取模型的優(yōu)點(diǎn)是可以避免流水線模型存在的錯(cuò)誤累積[17-22]。其中比較有代表性的工作是[20]，該方法通過(guò)提出全新的全局特征作為算法的軟約束，進(jìn)而同時(shí)提高關(guān)系抽取和實(shí)體抽取的準(zhǔn)確率，該方法在 ACE 語(yǔ)料上比傳統(tǒng)的流水線方法 F1 提高了 1.5%，；另一項(xiàng)工作是 [22]，利用雙層的 LSTM-RNN 模型訓(xùn)練分類模型，第一層 LSTM 輸入的是詞向量、位置特征和詞性來(lái)識(shí)別實(shí)體的類型。訓(xùn)練得到的 LSTM 中隱藏層的分布式表達(dá)和實(shí)體的分類標(biāo)簽信息作為第二層 RNN 模型的輸入，第二層的輸入實(shí)體之間的依存路徑，第二層訓(xùn)練對(duì)關(guān)系的分類，通過(guò)神經(jīng)網(wǎng)絡(luò)同時(shí)優(yōu)化 LSTM 和 RNN 的模型參數(shù)，實(shí)驗(yàn)與另一個(gè)采用神經(jīng)網(wǎng)絡(luò)的聯(lián)合抽取模型[21]相比在關(guān)系分類上有一定的提升。但無(wú)論是流水線方法還是聯(lián)合抽取方法，都屬于有監(jiān)督學(xué)習(xí)，因此需要大量的訓(xùn)練語(yǔ)料，尤其是對(duì)基于神經(jīng)網(wǎng)絡(luò)的方法，需要大量的語(yǔ)料進(jìn)行模型訓(xùn)練，因此這些方法都不適用于構(gòu)建大規(guī)模的 Knowledge Base。

（2）半（弱）監(jiān)督學(xué)習(xí)：半監(jiān)督學(xué)習(xí)主要是利用少量的標(biāo)注信息進(jìn)行學(xué)習(xí)，這方面的工作主要是基于 Bootstrap 的方法?；?Bootstrap 的方法主要是利用少量的實(shí)例作為初始種子的集合，然后利用 pattern 學(xué)習(xí)方法進(jìn)行學(xué)習(xí)，通過(guò)不斷的迭代，從非結(jié)構(gòu)化數(shù)據(jù)中抽取實(shí)例，然后從新學(xué)到的實(shí)例中學(xué)習(xí)新的 pattern 并擴(kuò)種 pattern 集合。Brin[23]等人通過(guò)少量的實(shí)例學(xué)習(xí)種子模板，從網(wǎng)絡(luò)上大量非結(jié)構(gòu)化文本中抽取新的實(shí)例，同時(shí)學(xué)習(xí)新的抽取模板，其主要貢獻(xiàn)是構(gòu)建了 DIPRE 系統(tǒng)；Agichtein[24]在 Brin 的基礎(chǔ)上對(duì)新抽取的實(shí)例進(jìn)行可信度的評(píng)分和完善關(guān)系描述的模式，設(shè)計(jì)實(shí)現(xiàn)了 Snowball 抽取系統(tǒng)；此后的一些系統(tǒng)都沿著 Bootstrap 的方法，但會(huì)加入更合理的對(duì) pattern 描述、更加合理的限制條件和評(píng)分策略，或者基于先前系統(tǒng)抽取結(jié)果上構(gòu)建大規(guī)模 pattern；如 NELL（Never-EndingLanguage Learner）系統(tǒng)[25-26]，NELL 初始化一個(gè)本體和種子 pattern，從大規(guī)模的 Web 文本中學(xué)習(xí)，通過(guò)對(duì)學(xué)習(xí)到的內(nèi)容進(jìn)行打分來(lái)提高準(zhǔn)確率，目前已經(jīng)獲得了 280 萬(wàn)個(gè)事實(shí)。

（3）無(wú)監(jiān)督學(xué)習(xí)： Bollegala[27]從搜索引擎摘要中獲取和聚合抽取模板，將模板聚類后發(fā)現(xiàn)由實(shí)體對(duì)代表的隱含語(yǔ)義關(guān)系; Bollegala[28]使用聯(lián)合聚類(Co-clustering)算法，利用關(guān)系實(shí)例和關(guān)系模板的對(duì)偶性，提高了關(guān)系模板聚類效果，同時(shí)使用 L1 正則化 Logistics 回歸模型，在關(guān)系模板聚類結(jié)果中篩選出代表性的抽取模板，使得關(guān)系抽取在準(zhǔn)確率和召回率上都有所提高。

無(wú)監(jiān)督學(xué)習(xí)一般利用語(yǔ)料中存在的大量冗余信息做聚類，在聚類結(jié)果的基礎(chǔ)上給定關(guān)系，但由于聚類方法本身就存在難以描述關(guān)系和低頻實(shí)例召回率低的問題，因此無(wú)監(jiān)督學(xué)習(xí)一般難以得很好的抽取效果。

1.3　知識(shí)融合技術(shù)

知識(shí)融合（knowledge fusion）指的是將多個(gè)數(shù)據(jù)源抽取的知識(shí)進(jìn)行融合。與傳統(tǒng)數(shù)據(jù)融合（datafusion）[29]任務(wù)的主要不同是，知識(shí)融合可能使用多個(gè)知識(shí)抽取工具為每個(gè)數(shù)據(jù)項(xiàng)從每個(gè)數(shù)據(jù)源中抽取相應(yīng)的值，而數(shù)據(jù)融合未考慮多個(gè)抽取工具[30]。由此，知識(shí)融合除了應(yīng)對(duì)抽取出來(lái)的事實(shí)本身可能存在的噪音外，還比數(shù)據(jù)融合多引入了一個(gè)噪音，就是不同抽取工具通過(guò)實(shí)體鏈接和本體匹配可能產(chǎn)生不同的結(jié)果。另外，知識(shí)融合還需要考慮本體的融合和實(shí)例的融合。

文獻(xiàn)[30]首先從已有的數(shù)據(jù)融合方法中挑選出易于產(chǎn)生有意義概率的、便于使用基于 MapReduce 框架的、有前途的最新方法，然后對(duì)這些挑選出的方法做出以下改進(jìn)以用于知識(shí)融合：將每個(gè)抽取工具同每個(gè)信息源配對(duì)，每對(duì)作為數(shù)據(jù)融合任務(wù)中的一個(gè)數(shù)據(jù)源，這樣就變成了傳統(tǒng)的數(shù)據(jù)融合任務(wù)；改進(jìn)已有數(shù)據(jù)融合方法使其輸出概率，代替原來(lái)的真假二值；根據(jù)知識(shí)融合中的數(shù)據(jù)特征修改基于 MapReduce 的框架。文獻(xiàn)[31]提出一個(gè)將通過(guò)不同搜索引擎得到的知識(shí)卡片（即結(jié)構(gòu)化的總結(jié)）融合起來(lái)的方法。針對(duì)一個(gè)實(shí)體查詢，不同搜索引擎可能返回不同的知識(shí)卡片，即便同一個(gè)搜索引擎也可能返回多個(gè)知識(shí)卡片。將這些知識(shí)卡片融合起來(lái)時(shí)，同文獻(xiàn)[30]中提出的方法類似，將知識(shí)融合中的三維問題將為二維問題，再應(yīng)用傳統(tǒng)的數(shù)據(jù)融合技術(shù)。不過(guò)，文獻(xiàn)[31]提出了一個(gè)新的概率打分算法，用于挑選一個(gè)知識(shí)卡片最有可能指向的實(shí)體，并設(shè)計(jì)了一個(gè)基于學(xué)習(xí)的方法來(lái)做屬性匹配。

在知識(shí)融合技術(shù)中，本體匹配扮演著非常重要的角色，提供了概念或者實(shí)體之間的對(duì)應(yīng)關(guān)系。截止目前，人們已經(jīng)提出了各種各樣的本體匹配算法，一般可以分為模式匹配（schema matching）和實(shí)例匹配（instance matching），也有少量的同時(shí)考慮模式和實(shí)例的匹配[32-34]。從技術(shù)層面來(lái)講，本體匹配可分為啟發(fā)式方法、概率方法、基于圖的方法、基于學(xué)習(xí)的方法和基于推理的方法。下面圍繞模式匹配和實(shí)例匹配，具體介紹各自分類中幾個(gè)具有代表性的匹配方法。 

模式匹配主要尋找本體中屬性和概念之間的對(duì)應(yīng)關(guān)系，文獻(xiàn)[35]和[36]給出比較詳盡的綜述。文獻(xiàn)[37]提出一個(gè)自動(dòng)的語(yǔ)義匹配方法，該方法首先利用像 WordNet 之類的詞典以及本體的結(jié)構(gòu)等信息進(jìn)行模式匹配，然后將結(jié)果根據(jù)加權(quán)平均的方法整合起來(lái)，再利用一些模式（patterns）進(jìn)行一致性檢查，去除那些導(dǎo)致不一致的對(duì)應(yīng)關(guān)系。該過(guò)程可循環(huán)的，直到不再找到新的對(duì)應(yīng)關(guān)系為止。文獻(xiàn)[38]也是考慮多種匹配算法的結(jié)合，利用基于術(shù)語(yǔ)的一些相似度計(jì)算算法，例如 n-gram 和編輯距離，這里算法計(jì)算的結(jié)果根據(jù)加權(quán)求和進(jìn)行合并，還考慮了概念的層次關(guān)系和一些背景知識(shí)，最后通過(guò)用戶定義的權(quán)重進(jìn)行合并。為了應(yīng)對(duì)大規(guī)模的本體，文獻(xiàn)[39]提出一個(gè)使用錨（anchor）的系統(tǒng)，該系統(tǒng)以一對(duì)來(lái)自兩個(gè)本體的相似概念為起點(diǎn)，根據(jù)這些概念的父概念和子概念等鄰居信息逐漸地構(gòu)建小片段，從中找出匹配的概念。新找出的匹配的概念對(duì)又可作為新的錨，然后再根據(jù)鄰居信息構(gòu)建新的片段。該過(guò)程不斷地重復(fù)，直到未找到新的匹配概念對(duì)時(shí)停止。文獻(xiàn)[40]則以分而治之的思想處理大規(guī)模本體，該方法先根據(jù)本體的結(jié)構(gòu)對(duì)其進(jìn)行劃分獲得組塊，然后從不同本體獲得的組塊進(jìn)行基于錨的匹配，這里的錨是指事先匹配好的實(shí)體對(duì)，最后再?gòu)钠ヅ涞慕M塊中找出對(duì)應(yīng)的概念和屬性?，F(xiàn)有的匹配方法通常是將多個(gè)匹配算法相結(jié)合，采用加權(quán)平均或加權(quán)求和的方式進(jìn)行合并。但是，由于本體結(jié)構(gòu)的不對(duì)稱性等特征，這種固定的加權(quán)方法顯出不足。文獻(xiàn)[41]基于貝葉斯決策的風(fēng)險(xiǎn)最小化提出一個(gè)動(dòng)態(tài)的合并方法，該方法可以根據(jù)本體的特征，在計(jì)算每個(gè)實(shí)體對(duì)的相似度時(shí)動(dòng)態(tài)地選擇使用哪幾個(gè)匹配算法，如何合并這些算法，其靈活性帶來(lái)了很好的匹配結(jié)果。

實(shí)例匹配是評(píng)估異構(gòu)知識(shí)源之間實(shí)例對(duì)的相似度，用來(lái)判斷這些實(shí)例是否指向給定領(lǐng)域的相同實(shí)體。最近幾年，隨著 Web 2.0 和語(yǔ)義 Web 技術(shù)的不斷發(fā)展，越來(lái)越多的語(yǔ)義數(shù)據(jù)往往具有豐富實(shí)例和薄弱模式的特點(diǎn)，促使本體匹配的研究工作慢慢的從模式層轉(zhuǎn)移到實(shí)例層[42]。文獻(xiàn)[43]提出一個(gè)自訓(xùn)練的方法進(jìn)行實(shí)例匹配，該方法首先根據(jù) owl:sameAs、函數(shù)型屬性（functional properties）和基數(shù)（cardinalities）構(gòu)建一個(gè)核（kernel），再根據(jù)區(qū)別比較明顯的屬性值對(duì)遞歸的對(duì)該核進(jìn)行擴(kuò)展。文獻(xiàn)[44]利用現(xiàn)有的局部敏感哈希（locality-sensitivehashing）技術(shù)來(lái)大幅提高實(shí)例匹配的可擴(kuò)展性，該方法首先需要定義用于實(shí)例相似性分析的粒度，然后使用分割好的字符串技術(shù)實(shí)例相似度。文獻(xiàn)[45]首先使用向量空間模型表示實(shí)例的描述性信息，再基于規(guī)則采用倒排索引（inverted indexes）獲取最初的匹配候選，在使用用戶定義的屬性值對(duì)候選進(jìn)行過(guò)濾，最后計(jì)算出的匹配候選相似度用來(lái)作為整合的向量距離，由此抽取出匹配結(jié)果。雖然已有方法中已有不少用于處理大規(guī)模本體的實(shí)例匹配問題，但是同時(shí)保證高效和高精度仍然是個(gè)很大的挑戰(zhàn)。文獻(xiàn)[46]提出了一個(gè)迭代的框架，充分利用特征明顯的已有匹配方法來(lái)提高效率，同時(shí)基于相似度傳播的方法利用一個(gè)加權(quán)指數(shù)函數(shù)來(lái)確保實(shí)例匹配的高精度。

1.4　實(shí)體鏈接技術(shù)

歧義性和多樣性是自然語(yǔ)言的固有屬性，也是實(shí)體鏈接的根本難點(diǎn)。如何挖掘更多、更加有效的消歧證據(jù)，設(shè)計(jì)更高性能的消歧算法依然是實(shí)體鏈接系統(tǒng)的核心研究問題，值得進(jìn)一步研究。下面按照不同的實(shí)體消歧方法進(jìn)行分類。

基于概率生成模型方法：韓先培和孫樂[47]提出了一種生成概率模型，將候選實(shí)體 e 出現(xiàn)在某頁(yè)面中的概率、特定實(shí)體 e 被表示為實(shí)體指稱項(xiàng)的概率以及實(shí)體 e 出現(xiàn)在特定上下文中的概率三者相乘，得到候選實(shí)體同實(shí)體指稱項(xiàng)之間的相似度評(píng)分值。Blanco 和 Ottaviano 等人[48]提出了用于搜索查詢實(shí)體鏈接的概率模型，該方法采用了散列技術(shù)與上下文知識(shí)，有效地提高了實(shí)體鏈接的效率。

基于主題模型的方法：Zhang 等人[49]通過(guò)模型自動(dòng)對(duì)文本中的實(shí)體指稱進(jìn)行標(biāo)注，生成訓(xùn)練數(shù)據(jù)集用于訓(xùn)練 LDA 主題模型，然后計(jì)算實(shí)體指稱和候選實(shí)體的上下文語(yǔ)義相似度從而消歧得到目標(biāo)實(shí)體。王建勇等人[50]提出了對(duì)用戶的興趣主題建模的方法，首先構(gòu)建關(guān)系圖，圖中包含了不同命名實(shí)體間的相互依賴關(guān)系，然后利用局部信息對(duì)關(guān)系圖中每個(gè)命名實(shí)體賦予初始興趣值，最后利用傳播算法對(duì)不同命名實(shí)體的興趣值進(jìn)行傳播得到最終興趣值，選擇具有最高興趣值的候選實(shí)體。

基于圖的方法：Han 等人[51]構(gòu)造了一種基于圖的模型，其中圖節(jié)點(diǎn)為所有實(shí)體指稱和所有候選實(shí)體；圖的邊分為兩類，一類是實(shí)體指稱和其對(duì)應(yīng)的候選實(shí)體之間的邊，權(quán)重為實(shí)體指稱和候選實(shí)體之間的局部文本相似度，采用詞袋模型和余弦距離計(jì)算得出。另一類是候選實(shí)體之間的邊，權(quán)重為候選實(shí)體之間的語(yǔ)義相關(guān)度，采用谷歌距離計(jì)算。算法首先采集不同實(shí)體的初始置信度，然后通過(guò)圖中的邊對(duì)置信度進(jìn)行傳播和增強(qiáng)。Gentile 和 Zhang[52]等人提出了基于圖和語(yǔ)義關(guān)系的命名實(shí)體消歧方法，該方法在維基百科上建立基于圖的模型，然后在該模型上計(jì)算各個(gè)命名實(shí)體的得分從而確定了目標(biāo)實(shí)體，該方法在新聞數(shù)據(jù)上取得了較高的準(zhǔn)確率。Alhelbawy 等人[53]也采用基于圖的方法，圖中的節(jié)點(diǎn)為所有的候選實(shí)體，邊采用兩種方式構(gòu)建，一種是實(shí)體之間的維基百科鏈接，另一種是使用實(shí)體在維基百科文章中句子的共現(xiàn)。圖中的候選實(shí)體節(jié)點(diǎn)通過(guò)和實(shí)體指稱的相似度值被賦予初始值，采用 PageRank 選擇目標(biāo)實(shí)體。Hoffart 等人[54]使用實(shí)體的先驗(yàn)概率，實(shí)體指稱和候選實(shí)體的上下文相似度，以及候選實(shí)體之間的內(nèi)聚性構(gòu)成一個(gè)加權(quán)圖，從中選擇出一個(gè)候選實(shí)體的密集子圖作為最可能的目標(biāo)實(shí)體分配給實(shí)體指稱。

基于深度神經(jīng)網(wǎng)絡(luò)的方法：周明和王厚峰等人[55]提出了一種用于實(shí)體消歧的實(shí)體表示訓(xùn)練方法。該方法對(duì)文章內(nèi)容進(jìn)行自編碼，利用深度神經(jīng)網(wǎng)絡(luò)模型以有監(jiān)督的方式訓(xùn)練實(shí)體表示，依據(jù)語(yǔ)義表示相似度對(duì)候選實(shí)體進(jìn)行排序，但該方法是一種局部性方法，沒有考慮同一文本中共同出現(xiàn)的實(shí)體間相關(guān)性。黃洪釗和季姮等人[56]基于深度神經(jīng)網(wǎng)絡(luò)和語(yǔ)義知識(shí)圖譜，提出了一種基于圖的半監(jiān)督實(shí)體消歧義方法，將深度神經(jīng)網(wǎng)絡(luò)模型得到的實(shí)體間語(yǔ)義關(guān)聯(lián)度作為圖中的邊權(quán)值。從實(shí)驗(yàn)結(jié)果得出：基于語(yǔ)義知識(shí)圖譜的 NGD 和 VSM[57]方法比起 Wikipedia anchor links 無(wú)論在關(guān)聯(lián)性測(cè)試上還是在消歧性能上都具有更好的測(cè)試結(jié)果。相比 NGD 和 VSM，基于 DNN[58]的深度語(yǔ)義關(guān)聯(lián)方法在關(guān)聯(lián)性測(cè)試上還是在消歧性能上都具有更好的關(guān)聯(lián)性和更高的準(zhǔn)確性。但該方法存在兩點(diǎn)不足，一方面在構(gòu)建深度語(yǔ)義關(guān)聯(lián)模型時(shí)采用詞袋子方法，沒有考慮上下文詞之間位置關(guān)系，另外一方面在消歧的過(guò)程中，構(gòu)建的圖模型沒有充分利用已消歧實(shí)體，邊權(quán)值和頂點(diǎn)得分隨著未消歧實(shí)體增加保持不變，并沒有為后續(xù)的歧義實(shí)體增加信息量。

1.5　知識(shí)推理技術(shù)

知識(shí)庫(kù)推理可以粗略地分為基于符號(hào)的推理和基于統(tǒng)計(jì)的推理。在人工智能的研究中，基于符號(hào)的推理一般是基于經(jīng)典邏輯（一階謂詞邏輯或者命題邏輯）或者經(jīng)典邏輯的變異（比如說(shuō)缺省邏輯）?；诜?hào)的推理可以從一個(gè)已有的知識(shí)圖譜，利用規(guī)則，推理出新的實(shí)體間關(guān)系，還可以對(duì)知識(shí)圖譜進(jìn)行邏輯的沖突檢測(cè)?；诮y(tǒng)計(jì)的方法一般指關(guān)系機(jī)器學(xué)習(xí)方法，通過(guò)統(tǒng)計(jì)規(guī)律從知識(shí)圖譜中學(xué)習(xí)到新的實(shí)體間關(guān)系。

1.5.1 基于符號(hào)邏輯的推理方法

為了使得語(yǔ)義網(wǎng)絡(luò)同時(shí)具備形式化語(yǔ)義和高效推理，一些研究人員提出了易處理（tractable）概念語(yǔ)言，并且開發(fā)了一些商用化的語(yǔ)義網(wǎng)絡(luò)系統(tǒng)。這些系統(tǒng)的提出，使得針對(duì)概念描述的一系列邏輯語(yǔ)言，統(tǒng)稱描述邏輯（description logic），得到了學(xué)術(shù)界和業(yè)界廣泛關(guān)注。但是這些系統(tǒng)的推理效率難以滿足日益增長(zhǎng)的數(shù)據(jù)的需求，最終沒能得到廣泛應(yīng)用。這一困局被利物浦大學(xué)的 Ian Horrocks 教授打破，他開發(fā)的 FaCT 系統(tǒng)可以處理一個(gè)比較大的醫(yī)療術(shù)語(yǔ)本體 GALEN，而且性能比其他類似的推理機(jī)要好得多。描述邏輯最終成為了 W3C 推薦的 Web 本體語(yǔ)言 OWL 的邏輯基礎(chǔ)。

雖然描述邏輯推理機(jī)的優(yōu)化取得了很大的進(jìn)展，但是還是跟不上數(shù)據(jù)增長(zhǎng)的速度，特別是當(dāng)數(shù)據(jù)規(guī)模大到目前的基于內(nèi)存的服務(wù)器無(wú)法處理的情況下。為了應(yīng)對(duì)這一挑戰(zhàn)，最近幾年，研究人員開始考慮將描述邏輯和 RDFS 的推理并行來(lái)提升推理的效率和可擴(kuò)展性，并且取得了很多成果。并行推理工作所借助的并行技術(shù)分為以下兩類：1）單機(jī)環(huán)境下的多核、多處理器技術(shù)，比如多線程，GPU 技術(shù)等；2）多機(jī)環(huán)境下基于網(wǎng)絡(luò)通信的分布式技術(shù)，比如 MapReduce 計(jì)算框架、Peer-To-Peer 網(wǎng)絡(luò)框架等。很多工作嘗試?yán)眠@些技術(shù)實(shí)現(xiàn)高效的并行推理。

單機(jī)環(huán)境下的并行技術(shù)以共享內(nèi)存模型為特點(diǎn)，側(cè)重于提升本體推理的時(shí)間效率。對(duì)于實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景，這種方法成為首選。對(duì)于表達(dá)能力較低的語(yǔ)言，比如 RDFS、OWL EL，單機(jī)環(huán)境下的并行技術(shù)將顯著地提升本體推理效率。Goodman 等人在[59]中利用高性能計(jì)算平臺(tái) Cray XMT 實(shí)現(xiàn)了大規(guī)模的 RDFS 本體推理，利用平臺(tái)計(jì)算資源的優(yōu)勢(shì)限制所有推理任務(wù)在內(nèi)存完成。然而對(duì)于計(jì)算資源有限的平臺(tái)，內(nèi)存使用率的優(yōu)化成為了不可避免的問題。Motik 等人在[60]工作中將 RDFS，以及表達(dá)能力更高的 OWL RL 等價(jià)地轉(zhuǎn)換為 Datalog 程序，然后利用 Datalog 中的并行優(yōu)化技術(shù)來(lái)解決內(nèi)存的使用率問題。在[61]中，作者嘗試?yán)貌⑿信c串行的混合方法來(lái)提升OWL RL的推理效率。Kazakov 等人在 [62]中提出了利用多線程技術(shù)實(shí)現(xiàn) OWL EL 分類(classification)的方法，并實(shí)現(xiàn)推理機(jī) ELK。

盡管單機(jī)環(huán)境的推理技術(shù)可以滿足高推理性能的需求，但是由于計(jì)算資源有限（比如內(nèi)存，存儲(chǔ)容量），推理方法的可伸縮性（scalability）受到不同程度的限制。因此，很多工作利用分布式技術(shù)突破大規(guī)模數(shù)據(jù)的處理界限。這種方法利用多機(jī)搭建集群來(lái)實(shí)現(xiàn)本體推理。

Mavin[63]是首個(gè)嘗試?yán)?Peer-To-Peer 的分布式框架實(shí)現(xiàn) RDF 數(shù)據(jù)推理的工作。實(shí)驗(yàn)結(jié)果表明，利用分布式技術(shù)可以完成很多在單機(jī)環(huán)境下無(wú)法完成的大數(shù)據(jù)量推理任務(wù)。很多工作基于 MapReduce 的開源實(shí)現(xiàn)（如 Hadoop，Spark 等）設(shè)計(jì)提出了大規(guī)模本體的推理方法。其中較為成功的一個(gè)嘗試是 Urbani 等人在 2010 年公布的推理系統(tǒng) WebPIE [64]。實(shí)驗(yàn)結(jié)果證實(shí)其在大集群上可以完成上百億的 RDF 三元組的推理。他們又在這個(gè)基礎(chǔ)上研究提出了基于 MapReduce 的 OWL RL 查詢算法[65]。利用 MapReduce 來(lái)實(shí)現(xiàn) OWL EL 本體的推理算法在 [66]中提出，實(shí)驗(yàn)證明 MapReduce 技術(shù)同樣可以解決大規(guī)模的 OWL EL 本體推理。在[67]的工作中，進(jìn)一步擴(kuò)展 OWL EL 的推理技術(shù)，使得推理可以在多個(gè)并行計(jì)算平臺(tái)完成。

1.5.2 基于統(tǒng)計(jì)的推理方法

知識(shí)圖譜中基于統(tǒng)計(jì)的推理方法一般指關(guān)系機(jī)器學(xué)習(xí)方法。下面介紹一些典型的方法。

實(shí)體關(guān)系學(xué)習(xí)方法

實(shí)體關(guān)系學(xué)習(xí)的目的是學(xué)習(xí)知識(shí)圖譜中實(shí)例和實(shí)例之間的關(guān)系。這方面的工作非常多，也是最近幾年知識(shí)圖譜的一個(gè)比較熱的研究方向。按照文獻(xiàn)[68]的分類，可以分為潛在特征模型和圖特征模型兩種。潛在特征模型通過(guò)實(shí)例的潛在特征來(lái)解釋三元組。比如說(shuō)，莫言獲得諾貝爾文學(xué)獎(jiǎng)的一個(gè)可能解釋是他是一個(gè)有名的作家。Nickel等人在[69]中給出了一個(gè)關(guān)系潛在特征模型，稱為雙線性（bilinear）模型，該模型考慮了潛在特征的兩兩交互來(lái)學(xué)習(xí)潛在的實(shí)體關(guān)系。Drumond 等人在[70]中應(yīng)用兩兩交互的張量分解模型來(lái)學(xué)習(xí)知識(shí)圖譜中的潛在關(guān)系。

翻譯（translation）模型[71]將實(shí)體與關(guān)系統(tǒng)一映射至低維向量空間中，且認(rèn)為關(guān)系向量中承載了頭實(shí)體翻譯至尾實(shí)體的潛在特征。因此，通過(guò)發(fā)掘、對(duì)比向量空間中存在類似潛在特征的實(shí)體向量對(duì)，我們可以得到知識(shí)圖譜中潛在的三元組關(guān)系。全息嵌入（Holographic Embedding，HolE）模型[72]分別利用圓周相關(guān)計(jì)算三元組的組合表示及利用圓周卷積從組合表示中恢復(fù)出實(shí)體及關(guān)系的表示。與張量分解模型類似，HolE 可以獲得大量的實(shí)體交互來(lái)學(xué)習(xí)潛在關(guān)系，而且有效減少了訓(xùn)練參數(shù)，提高了訓(xùn)練效率。

基于圖特征模型的方法從知識(shí)圖譜中觀察到的三元組的邊的特征來(lái)預(yù)測(cè)一條可能的邊的存在。典型的方法有基于基于歸納邏輯程序（ILP）的方法[73]，基于關(guān)聯(lián)規(guī)則挖掘（ARM）的方法[74]和路徑排序（path ranking）的方法[75]?；?ILP 的方法和基于 ARM 的方法的共同之處在于通過(guò)挖掘的方法從知識(shí)圖譜中抽取一些規(guī)則，然后把這些規(guī)則應(yīng)用到知識(shí)圖譜上，推出新的關(guān)系。而路徑排序方法則是根據(jù)兩個(gè)實(shí)體間連通路徑作為特征來(lái)判斷兩個(gè)實(shí)體是否屬于某個(gè)關(guān)系。

類型推理（typeinference）方法

知識(shí)圖譜上的類型推理目的是學(xué)習(xí)知識(shí)圖譜中的實(shí)例和概念之間的屬于關(guān)系。SDType[76]利用三元組主語(yǔ)或謂語(yǔ)所連接屬性的統(tǒng)計(jì)分布以預(yù)測(cè)實(shí)例的類型。該方法可以用在任意單數(shù)據(jù)源的知識(shí)圖譜，但是無(wú)法做到跨數(shù)據(jù)集的類型推理。Tipalo[77]與LHD[78]均使用 DBpedia 中特有的 abstract 數(shù)據(jù)，利用特定模式進(jìn)行實(shí)例類型的抽取。此類方法依賴于特定結(jié)構(gòu)的文本數(shù)據(jù)，無(wú)法擴(kuò)展到其他知識(shí)庫(kù)。

模式歸納（schemainduction）方法

模式歸納方法學(xué)習(xí)概念之間的關(guān)系，主要有基于 ILP 的方法和基于 ARM 的方法。ILP 結(jié)合了機(jī)器學(xué)習(xí)和邏輯編程技術(shù)，使得人們可以從實(shí)例和背景知識(shí)中獲得邏輯結(jié)論。Lehmann 等在[79]中提出用向下精化算子學(xué)習(xí)描述邏輯的概念定義公理的方法，即從最一般的概念（即頂概念）開始，采用啟發(fā)式搜索方法使該概念不斷特殊化，最終得到概念的定義。為了處理像 DBpedia 這樣大規(guī)模的語(yǔ)義數(shù)據(jù)，該方法在[80]中得到進(jìn)一步的擴(kuò)展。這些方法都在 DL-Learner[81]中得以實(shí)現(xiàn)。V?lker 等人在[82]中介紹了從知識(shí)圖譜中生成概念關(guān)系的統(tǒng)計(jì)方法，該方法通過(guò) SPARQL 查詢來(lái)獲取信息，用以構(gòu)建事務(wù)表。然后使用 ARM 技術(shù)從事務(wù)表中挖掘出一些相關(guān)聯(lián)的概念關(guān)系。在他們的后續(xù)工作中，使用負(fù)關(guān)聯(lián)規(guī)則挖掘技術(shù)學(xué)習(xí)不交概念關(guān)系[83]，并在文獻(xiàn)[84]中給出了豐富的試驗(yàn)結(jié)果。

本節(jié)首先介紹當(dāng)前世界范圍內(nèi)知名的高質(zhì)量大規(guī)模開放知識(shí)圖譜，包括 DBpedia[85][86]、Yago[87][88]、Wikidata[89]、BabelNet[90][91]、ConceptNet[92][93]以及Microsoft Concept Graph[94][95]等。然后介紹中文開放知識(shí)圖譜平臺(tái) OpenKG。

2.1 開放知識(shí)圖譜

DBpedia 是一個(gè)大規(guī)模的多語(yǔ)言百科知識(shí)圖譜，可視為是維基百科的結(jié)構(gòu)化版本。DBpedia 使用固定的模式對(duì)維基百科中的實(shí)體信息進(jìn)行抽取，包括 abstract、infobox、category 和 page link 等信息。圖 2 示例了如何將維基百科中的實(shí)體“Busan”的 infobox 信息轉(zhuǎn)換成 RDF 三元組。DBpedia 目前擁有 127 種語(yǔ)言的超過(guò)兩千八百萬(wàn)個(gè)實(shí)體與數(shù)億個(gè) RDF 三元組，并且作為鏈接數(shù)據(jù)的核心，與許多其他數(shù)據(jù)集均存在實(shí)體映射關(guān)系。而根據(jù)抽樣評(píng)測(cè)[96]，DBpedia 中 RDF 三元組的正確率達(dá) 88%。DBpedia 支持?jǐn)?shù)據(jù)集的完全下載。

Yago 是一個(gè)整合了維基百科與 WordNet[97]的大規(guī)模本體，它首先制定一些固定的規(guī)則對(duì)維基百科中每個(gè)實(shí)體的 infobox 進(jìn)行抽取，然后利用維基百科的category進(jìn)行實(shí)體類別推斷（Type Inference）獲得了大量的實(shí)體與概念之間的 IsA 關(guān)系（如：“Elvis Presley” IsA “American Rock Singers”），最后將維基百科的 category 與 WordNet 中的 Synset（一個(gè) Synset 表示一個(gè)概念）進(jìn)行映射，從而利用了 WordNet 嚴(yán)格定義的 Taxonomy 完成大規(guī)模本體的構(gòu)建。隨著時(shí)間的推移，Yago 的開發(fā)人員為該本體中的 RDF 三元組增加了時(shí)間與空間信息，從而完成了 Yago2[98]的構(gòu)建，又利用相同的方法對(duì)不同語(yǔ)言維基百科的進(jìn)行抽取，完成了 Yago3[99]的構(gòu)建。目前，Yago 擁有 10 種語(yǔ)言約 459 萬(wàn)個(gè)實(shí)體，2400 萬(wàn)個(gè) Facts，Yago 中 Facts的正確率約為 95%。Yago 支持?jǐn)?shù)據(jù)集的完全下載。

圖2

Wikidata 是一個(gè)可以自由協(xié)作編輯的多語(yǔ)言百科知識(shí)庫(kù)，它由維基媒體基金會(huì)發(fā)起，期望將維基百科、維基文庫(kù)、維基導(dǎo)游等項(xiàng)目中結(jié)構(gòu)化知識(shí)進(jìn)行抽取、存儲(chǔ)、關(guān)聯(lián)。Wikidata 中的每個(gè)實(shí)體存在多個(gè)不同語(yǔ)言的標(biāo)簽，別名，描述，以及聲明（statement），比如 Wikidata 會(huì)給出實(shí)體“London”的中文標(biāo)簽“倫敦”，中文描述“英國(guó)首都”以及圖 3 給出了一個(gè)關(guān)于“London”的聲明的具體例子?！癓ondon”的一個(gè)聲明由一個(gè) claim 與一個(gè) reference 組成，claim 包括property:“Population”、value:“8173900”以及一些 qualifiers（備注說(shuō)明）組成，而 reference 則表示一個(gè) claim 的出處，可以為空值。目前 Wikidata 目前支持超過(guò) 350 種語(yǔ)言，擁有近 2500 萬(wàn)個(gè)實(shí)體及超過(guò) 7000 萬(wàn)的聲明[100]，并且目前 Freebase 正在往 Wikidata 上進(jìn)行遷移以進(jìn)一步支持 Google 的語(yǔ)義搜索。Wikidata 支持?jǐn)?shù)據(jù)集的完全下載。

圖3

BabelNet 是目前世界范圍內(nèi)最大的多語(yǔ)言百科同義詞典，它本身可被視為一個(gè)由概念、實(shí)體、關(guān)系構(gòu)成的語(yǔ)義網(wǎng)絡(luò)（Semantic Network）。BabelNet 目前有超過(guò) 1400 萬(wàn)個(gè)詞目，每個(gè)詞目對(duì)應(yīng)一個(gè) synset。每個(gè) synset 包含所有表達(dá)相同含義的不同語(yǔ)言的同義詞。比如：“中國(guó)”、“中華人民共和國(guó)”、“China”以及“people’srepublic of China”均存在于一個(gè) synset 中。BabelNet 由 WordNet 中的英文 synsets 與維基百科頁(yè)面進(jìn)行映射，再利用維基百科中的跨語(yǔ)言頁(yè)面鏈接以及翻譯系統(tǒng)，從而得到 BabelNet 的初始版本。目前 BabelNet 又整合了 Wikidata、GeoNames、OmegaWiki 等多種資源，共擁有 271 個(gè)語(yǔ)言版本。由于 BabelNet 中的錯(cuò)誤來(lái)源主要在于維基百科與 WordNet 之間的映射，而映射目前的正確率大約在 91%。關(guān)于數(shù)據(jù)集的使用，BabelNet 目前支持 HTTP API 調(diào)用，而數(shù)據(jù)集的完全下載需要經(jīng)過(guò)非商用的認(rèn)證后才能完成。

ConceptNet 是一個(gè)大規(guī)模的多語(yǔ)言常識(shí)知識(shí)庫(kù)，其本質(zhì)為一個(gè)以自然語(yǔ)言的方式描述人類常識(shí)的大型語(yǔ)義網(wǎng)絡(luò)。ConceptNet 起源于一個(gè)眾包項(xiàng)目 Open Mind Common Sense，自 1999 年開始通過(guò)文本抽取、眾包、融合現(xiàn)有知識(shí)庫(kù)中的常識(shí)知識(shí)以及設(shè)計(jì)一些游戲從而不斷獲取常識(shí)知識(shí)。ConceptNet 中共擁有 36 種固定的關(guān)系，如 IsA、UsedFor、CapableOf 等，圖 4 給出了一個(gè)具體的例子，從中可以更加清晰地了解 ConceptNet 的結(jié)構(gòu)。ConceptNet 目前擁有 304 個(gè)語(yǔ)言的版本，共有超過(guò) 390 萬(wàn)個(gè)概念，2800 萬(wàn)個(gè)聲明（statements，即語(yǔ)義網(wǎng)絡(luò)中邊的數(shù)量），正確率約為 81%。另外，ConceptNet 目前支持?jǐn)?shù)據(jù)集的完全下載。

圖4

Microsoft Concept Graph 是一個(gè)大規(guī)模的英文 Taxonomy，其中主要包含的是概念間以及實(shí)例（等同于上文中的實(shí)體）概念間的 IsA 關(guān)系，其中并不區(qū)分 instanceOf 與 subclassOf 關(guān)系。Microsoft Concept Graph 的前身是 Probase，它過(guò)自動(dòng)化地抽取自數(shù)十億網(wǎng)頁(yè)與搜索引擎查詢記錄，其中每一個(gè) IsA 關(guān)系均附帶一個(gè)概率值，即該知識(shí)庫(kù)中的每個(gè) IsA 關(guān)系不是絕對(duì)的，而是存在一個(gè)成立的概率值以支持各種應(yīng)用，如短文本理解、基于 taxonomy 的關(guān)鍵詞搜索和萬(wàn)維網(wǎng)表格理解等。目前，Microsoft Concept Graph 擁有約 530 萬(wàn)個(gè)概念，1250 萬(wàn)個(gè)實(shí)例以及 8500 萬(wàn)個(gè) IsA 關(guān)系（正確率約為 92.8%）。關(guān)于數(shù)據(jù)集的使用，MicrosoftConcept Graph 目前支持 HTTP API 調(diào)用，而數(shù)據(jù)集的完全下載需要經(jīng)過(guò)非商用的認(rèn)證后才能完成。

除了上述知識(shí)圖譜外，中文目前可用的大規(guī)模開放知識(shí)圖譜有 Zhishi.me[101]、Zhishi.schema[102]與XLore[103]等。Zhishi.me 是第一份構(gòu)建中文鏈接數(shù)據(jù)的工作，與 DBpedia 類似，Zhishi.me 首先指定固定的抽取規(guī)則對(duì)百度百科、互動(dòng)百科和中文維基百科中的實(shí)體信息進(jìn)行抽取，包括 abstract、infobox、category 等信息；然后對(duì)源自不同百科的實(shí)體進(jìn)行對(duì)齊，從而完成數(shù)據(jù)集的鏈接。目前 Zhishi.me 中擁有約 1000 萬(wàn)個(gè)實(shí)體與一億兩千萬(wàn)個(gè) RDF 三元組，所有數(shù)據(jù)可以通過(guò)在線 SPARQL Endpoint 查詢得到。Zhishi.schema 是一個(gè)大規(guī)模的中文模式（Schema）知識(shí)庫(kù)，其本質(zhì)是一個(gè)語(yǔ)義網(wǎng)絡(luò)，其中包含三種概念間的關(guān)系，即equal、related與subClassOf關(guān)系。Zhishi.schema抽取自社交站點(diǎn)的分類目錄(Category Taxonomy)及標(biāo)簽云（Tag Cloud），目前擁有約40萬(wàn)的中文概念與150萬(wàn)RDF三元組，正確率約為84%，并支持?jǐn)?shù)據(jù)集的完全下載。XLore 是一個(gè)大型的中英文知識(shí)圖譜，它旨在從各種不同的中英文在線百科中抽取 RDF 三元組，并建立中英文實(shí)體間的跨語(yǔ)言鏈接。目前，XLore 大約有 66 萬(wàn)個(gè)概念，5 萬(wàn)個(gè)屬性，1000 萬(wàn)的實(shí)體，所有數(shù)據(jù)可以通過(guò)在線 SPARQL Endpoint 查詢得到。

2.2 中文開放知識(shí)圖譜聯(lián)盟介紹

中文開放知識(shí)圖譜聯(lián)盟（OpenKG）旨在推動(dòng)中文知識(shí)圖譜的開放與互聯(lián)，推動(dòng)知識(shí)圖譜技術(shù)在中國(guó)的普及與應(yīng)用，為中國(guó)人工智能的發(fā)展以及創(chuàng)新創(chuàng)業(yè)做出貢獻(xiàn)。聯(lián)盟已經(jīng)搭建有 OpenKG.CN 技術(shù)平臺(tái)，如圖 5 所示，目前已有 35 家機(jī)構(gòu)入駐。吸引了國(guó)內(nèi)最著名知識(shí)圖譜資源的加入，如 Zhishi.me， CN-DBPedia, PKUBase。并已經(jīng)包含了來(lái)自于常識(shí)、醫(yī)療、金融、城市、出行等 15 個(gè)類目的開放知識(shí)圖譜。

圖5 中文開放知識(shí)圖譜聯(lián)盟

3.1 股票投研情報(bào)分析

通過(guò)知識(shí)圖譜相關(guān)技術(shù)從招股書、年報(bào)、公司公告、券商研究報(bào)告、新聞等半結(jié)構(gòu)化表格和非結(jié)構(gòu)化文本數(shù)據(jù)中批量自動(dòng)抽取公司的股東、子公司、供應(yīng)商、客戶、合作伙伴、競(jìng)爭(zhēng)對(duì)手等信息，構(gòu)建出公司的知識(shí)圖譜。在某個(gè)宏觀經(jīng)濟(jì)事件或者企業(yè)相關(guān)事件發(fā)生的時(shí)候，券商分析師、交易員、基金公司基金經(jīng)理等投資研究人員可以通過(guò)此圖譜做更深層次的分析和更好的投資決策，比如在美國(guó)限制向中興通訊出口的消息發(fā)布之后，如果我們有中興通訊的客戶供應(yīng)商、合作伙伴以及競(jìng)爭(zhēng)對(duì)手的關(guān)系圖譜，就能在中興通訊停牌的情況下快速地篩選出受影響的國(guó)際國(guó)內(nèi)上市公司從而挖掘投資機(jī)會(huì)或者進(jìn)行投資組合風(fēng)險(xiǎn)控制（圖6）。

圖6 股票投研情報(bào)分析

2.2 公安情報(bào)分析

通過(guò)融合企業(yè)和個(gè)人銀行資金交易明細(xì)、通話、出行、住宿、工商、稅務(wù)等信息構(gòu)建初步的“資金賬戶-人-公司”關(guān)聯(lián)知識(shí)圖譜。同時(shí)從案件描述、筆錄等非結(jié)構(gòu)化文本中抽取人(受害人、嫌疑人、報(bào)案人)、事、物、組織、卡號(hào)、時(shí)間、地點(diǎn)等信息，鏈接并補(bǔ)充到原有的知識(shí)圖譜中形成一個(gè)完整的證據(jù)鏈。輔助公安刑偵、經(jīng)偵、銀行進(jìn)行案件線索偵查和挖掘同伙。比如銀行和公安經(jīng)偵監(jiān)控資金賬戶，當(dāng)有一段時(shí)間內(nèi)有大量資金流動(dòng)并集中到某個(gè)賬戶的時(shí)候很可能是非法集資，系統(tǒng)觸發(fā)預(yù)警（圖7）。

圖7 公安情報(bào)分析

3.3 反欺詐情報(bào)分析

通過(guò)融合來(lái)自不同數(shù)據(jù)源的信息構(gòu)成知識(shí)圖譜，同時(shí)引入領(lǐng)域?qū)＜医I(yè)務(wù)專家規(guī)則。我們通過(guò)數(shù)據(jù)不一致性檢測(cè)，利用繪制出的知識(shí)圖譜可以識(shí)別潛在的欺詐風(fēng)險(xiǎn)。比如借款人張xx和借款人吳x填寫信息為同事，但是兩個(gè)人填寫的公司名卻不一樣, 以及同一個(gè)電話號(hào)碼屬于兩個(gè)借款人，這些不一致性很可能有欺詐行為 （圖8）。

圖8 反欺詐情報(bào)分析

知識(shí)圖譜是知識(shí)工程的一個(gè)分支，以知識(shí)工程中語(yǔ)義網(wǎng)絡(luò)作為理論基礎(chǔ)，并且結(jié)合了機(jī)器學(xué)習(xí)，自然語(yǔ)言處理和知識(shí)表示和推理的最新成果，在大數(shù)據(jù)的推動(dòng)下受到了業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。知識(shí)圖譜對(duì)于解決大數(shù)據(jù)中文本分析和圖像理解問題發(fā)揮重要作用。目前，知識(shí)圖譜研究已經(jīng)取得了很多成果，形成了一些開放的知識(shí)圖譜。但是，知識(shí)圖譜的發(fā)展還存在以下障礙。首先，雖然大數(shù)據(jù)時(shí)代已經(jīng)產(chǎn)生了海量的數(shù)據(jù)，但是數(shù)據(jù)發(fā)布缺乏規(guī)范，而且數(shù)據(jù)質(zhì)量不高，從這些數(shù)據(jù)中挖掘高質(zhì)量的知識(shí)需要處理數(shù)據(jù)噪音問題。其次，垂直領(lǐng)域的知識(shí)圖譜構(gòu)建缺乏自然語(yǔ)言處理方面的資源，特別是詞典的匱乏使得垂直領(lǐng)域知識(shí)圖譜構(gòu)建代價(jià)很大。最后，知識(shí)圖譜構(gòu)建缺乏開源的工具，目前很多研究工作都不具備實(shí)用性，而且很少有工具發(fā)布。通用的知識(shí)圖譜構(gòu)建平臺(tái)還很難實(shí)現(xiàn)。