基于深度學習的中文命名實體識別研究

作者：王雪梅,陶宏才

摘要：針對經典BiLSTM-CRF命名實體識別模型訓練時間長、無法解決一詞多義及不能充分學習文本上下文語義信息的問題,提出一種基于BERT-BiGRU-Attention-CRF的中文命名實體識別模型.首先利用BERT語言模型預訓練詞向量,以彌補傳統詞向量模型無法解決一詞多義的問題;其次,利用雙向門控循環單元(BiGRU)神經網絡層對文本深層次的信息進行特征提取,計算每個標簽的預測分值,得到句子的隱藏狀態序列;然后利用注意力機制(Attention)層對詞加權表征,挖掘詞間的關聯關系,得到新預測分值,新狀態序列;最后通過條件隨機場(CRF)對新預測分值計算全局最優解,從而獲得模型對實體標簽的最終預測結果.通過在MSRA語料上的實驗,結果表明文中模型的有效性.

發文機構：西南交通大學信息科學與技術學院

關鍵詞：中文命名實體識別BERTBiGRUATTENTIONCRFChinese named entity recognitionBERTBiGRUAttentionCRF

分類號： TP391[自動化與計算機技術—計算機應用技術]