作者 | Walid Amamou譯者 | 平川策劃 | 淩敏本文最初發布於 Towards Data Science。圖片由作者提供：Neo4j中的知識圖譜簡 介在這篇文章中 我將展示如何使…… 如何使用 Neo4J和Transformer 構建知識圖譜 - 趣味新聞網

作者 | Walid Amamou

譯者 | 平川

策劃 | 淩敏

本文最初發布於 Towards Data Science。

圖片由作者提供：Neo4j中的知識圖譜

簡 介

在這篇文章中，我將展示如何使用經過優化的、基於轉換器的命名實體識彆（NER）以及 spaCy 的關係提取模型，基於職位描述創建一個知識圖譜。這裏介紹的方法可以應用於其他任何領域，如生物醫學、金融、醫療保健等。

以下是我們要采取的步驟：

在 Google Colab 中加載優化後的轉換器 NER 和 spaCy 關係提取模型；

創建一個 Neo4j Sandbox，並添加實體和關係；

查詢圖，找齣與目標簡曆匹配度最高的職位，找齣三個最受歡迎的技能和共現率最高的技能。

要瞭解關於如何使用 UBIAI 生成訓練數據以及優化 NER 和關係提取模型的更多信息，請查看以下文章。

UBIAI：簡單易用的 NLP 應用程序文本標注

如何使用 BERT 轉換器與 spaCy3 訓練一個聯閤實體和關係提取分類器

如何使用 spaCy3 優化 BERT 轉換器

職位描述數據集可以從 Kaggle 獲取。

在本文結束的時候，我們就可以創建齣如下所示的知識圖譜。

圖片由作者提供：職位描述的知識圖譜

命名實體和關係提取

首先，我們加載 NER 和關係模型的依賴關係，以及之前優化過的 NER 模型本身，以提取技能、學曆、專業和工作年限：

加載我們想從中提取實體和關係的職位數據集：

從職位數據集中提取實體：

在將實體提供給關係提取模型之前，我們可以看下提取齣的部分實體：

我們現在準備好預測關係瞭；首先加載關係提取模型，務必將目錄改為 rel_component/scripts 以便可以訪問關係模型的所有必要腳本。

Neo4J

現在，我們可以加載職位數據集，並將數據提取到 Neo4j 數據庫中瞭。

首先，我們創建一個空的 Neo4j Sandbox，並添加連接信息，如下所示：

接下來，我們將文檔、實體和關係添加到知識圖譜中。注意，我們需要從實體 EXPERIENCE 的 name 中提取齣整數年限，並將其作為一個屬性存儲起來。

現在開始進入有趣的部分瞭。我們可以啓動知識圖譜並運行查詢瞭。讓我們運行一個查詢，找齣與目標簡曆最匹配的職位：

以錶格形式顯示的結果中的公共實體：

以可視化形式顯示的圖：

圖片由作者提供：基於最佳匹配職位

雖然這個數據集隻有 29 個職位描述，但這裏介紹的方法可以應用於有成韆上萬個職位的大規模數據集。隻需幾行代碼，我們立馬就可以提取齣與目標簡曆匹配度最高的工作。

下麵，讓我們找齣最需要的技能：

以及需要最高工作年限的技能：

Web 開發和技術支持需要的工作年限最高，然後是安全設置。

最後，讓我們查下共現率最高的技能對：

小 結

在這篇文章中，我們描述瞭如何利用基於轉換器的 NER 和 spaCy 的關係提取模型，用 Neo4j 創建知識圖譜。除瞭信息提取之外，圖的拓撲結構還可以作為其他機器學習模型的輸入。

將 NLP 與圖數據庫 Neo4j 相結閤，可以加速許多領域的信息發現，相比之下，在醫療和生物醫學領域的應用效果更為顯著。

https://medium.com/m/global-identity?