在机械制造、石油化工、航空航天等领域，以计算机辅助设计(CAD)、计算机辅助工程(CAE)和计算机辅助制造(CAM)为代表的工业软件广泛应用于产品研发的全生命周期，是支撑企业发展的核心力量之一。中国目前正处于制造业转型升级的关键时期，需要大力建设自主工业软件生态体系，为全面实现智能制造提供保障。为了丰富自主工业软件资源池，必须整合相关资源，建立自主工业软件知识库，但自主工业软件涉及的资源数量庞大且零散化程度高，亟需提出面向自主工业软件的知识提取和知识库构建方法。

知识提取利用机器学习、自然语言处理等方法从不同来源、不同结构的数据中提取特定的信息，是构建知识图谱和知识库的基础。1997年，消息理解会议(Message Understanding Conference, MUC) 提出了一套完整的基于模板填充机制的信息抽取方案，包括命名实体识别、共指消解、关系抽取、事件抽取等子任务^[1]。当前知识提取研究主要关注命名实体识别和关系抽取两个子任务。早期命名实体识别多基于词典和规则^[2]，所使用的方法能够得到理想的准确率，但是召回率较低，而且需要进行大量的人工标注。针对上述问题，研究人员考虑使用机器学习方法，利用统计分析模型对文本数据进行训练与测试^[3-4]，从而在一定程度上弥补了传统方法的不足。近年来，随着词向量分布式表达技术和深度神经网络(deep neural network, DNN)的发展，研究人员可以使用未标注的语料进行词向量训练。例如，Ning等^[5]提出了一种基于双向长短期记忆神经网络和条件随机场(bi-directional long short-term memory-conditional random field, BiLSTM-CRF) 的生物医学命名实体识别模型，在生物医学命名实体识别任务中取得了较好的效果；Gao等^[6]在BiLSTM-CRF模型的基础上使用基于转换器的双向编码表征(bidirectional encoder representation from transformers, BERT)词向量模型，实体识别效果进一步提升。在关系抽取方面，最初的关系抽取采用模式匹配方法、基于词典驱动的方法和基于本体的方法，这些方法同样面临着召回率低和人工标注量大的问题。针对上述问题，研究人员利用深度神经网络自动提取特征，实现关系抽取和远程监督^[7]。例如，Han等^[8]和Zhang等^[9]使用基于注意力机制的模型，完成了关系抽取。

知识库是存储、组织和处理知识以及提供知识服务的重要知识集合^[10]。早期研究人员使用HTML文本进行知识的存储^[11]，但是随着Web资源数量激增，HTML文本已无法满足大规模知识库的存储和知识推理。Google发布的知识图谱(knowledge graph, KG)技术^[12]为知识库的构建提供了新的技术支撑。Chen等^[13]基于知识图谱构建了调度操作知识库，以帮助调度员做出决策；Liu等^[14]利用Neo4j图数据库建立了台风知识库，为台风预防和灾后恢复提供有效帮助。

相较于其他领域的知识库，面向自主工业软件构建知识库面临以下问题和挑战：1) 自主工业软件领域的知识具有海量且分散的特点，文本信息随机分布在不同数据库中；2) 目前自主工业软件领域没有规范的知识分类标准，对该领域的知识进行细粒度划分较为困难；3) 需要利用神经网络和自然语言处理方法构建高效、准确的知识提取模型；4) 传统的关系型数据库无法满足自主工业软件知识存储需求，难以实现对知识的深度关联和精细管理。

针对上述问题和挑战，本文提出一种面向自主工业软件的知识提取和知识库构建方法。在知识提取方面，结合跳字模型(continuous skip-gram model, Skip-gram)和全局向量模型(global vectors model, GloVe)进行融合词向量文本表示，将文本数据转化为计算机可处理的向量形式；结合BiLSTM-CRF完成实体识别；基于带有自注意力机制(self-attention mechanism, Self-ATT)的BiLSTM对实体间的关系进行抽取。在知识库构建方面，利用网络本体语言(web ontology language, OWL)对提取到的字段进行本体建模，定义自主工业软件相关概念，并对这些概念进行约束；将本体数据映射为图数据，保留本体数据的语义信息，同步实现海量存储和高效查询；将图数据存入图数据库中对知识进行持久化储存。最终面向机械制造领域开展应用，对所提出的方法进行验证。

1 自主工业软件领域的实体分类

本文使用国内自主工业软件厂商提供的与制造业相关的文本数据作为原始数据集。首先对原始数据集进行数据清洗，删除无关信息和非法符号，以标点符号“。”“？”“！”“……”为标记，对清洗后的数据进行句子划分。

实体标签的标注方法采用BIOES序列标注法对语料库中的句子进行字级别的标注。其中：“B”表示句子开始词的标签，“I”表示句子中间词的标签，“O”表示不在考虑范围内的单词标签，“E”表示句子结尾词的标签，“S”表示单个实体标签。针对每种实体类别，具体标签的标注方法如表 1所示。

根据实体分类标注方法，对已划分好的句子进行字级别的实体标注，最终形成自主工业软件领域的实体语料库，为后续的知识提取奠定了数据支撑。

2 知识提取模型

基于本研究建立的语料库提出面向自主工业软件的知识提取模型，该模型包含3个部分：基于融合词向量的文本表示方法、实体识别模型和关系抽取模型。结合多级神经网络模型和自然语言处理，实现从语料库中自动提取知识。

2.1 基于融合词向量的文本表示方法

文本表示就是将计算机无法理解的字符序列转换为计算机可以处理的数字或者向量，是知识提取的基础。与自主工业软件相关的文本具有领域性强和专业词汇多的特点，结合Word2vec框架中的Skip-gram模型与GloVe模型，建立词向量融合机制，以获得低维且包含丰富语义信息与统计信息的词向量，进而得到高质量的文本表示矩阵。

Skip-gram模型由输入层、不含激活函数的隐藏层与输出层组成，其结构如图 1所示。首先设置一个上下文窗口(context window, CW)，并假设窗口内除目标单词外的其他单词相互独立，然后利用目标单词来预测窗口内的其他单词。以上下文窗口CW=2为例，中心单词的one-hot编码为w_i，其所预测单词编码集合为{w_i－2, w_i－1, w_i+1, w_i+2}。模型参数包含隐藏层矩阵H∈ R^n×d和输出层矩阵O∈ R^d×n。其中：n为词表大小，d为词向量维度。

词向量的具体训练过程为：首先输入中心单词的one-hot编码w_i，查表得到中心单词在隐藏层中对应的词向量s，然后通过输出层矩阵将其转换为d维的向量o，计算过程如式(1)和(2)所示。

$ \boldsymbol{s}=\boldsymbol{w}_{i} \cdot \boldsymbol{H}, $

(1)

$ \boldsymbol{o}=\boldsymbol{s} \cdot \boldsymbol{O} . $

(2)

进一步经过Softmax函数处理得到上下文单词的预测概率，如式(3)所示，其中o_i为第i个节点的输出值。利用交叉熵损失函数进行损失值loss的计算，如式(4)所示。

$ p_{k}=\operatorname{Softmax}\left(o_{k}\right)=\frac{\mathrm{e}^{o_{k}}}{\sum\limits_{i=1}^{n} \mathrm{e}^{o_{i}}} . $

(3)

$ \operatorname{loss}=-\sum\limits_{i=1}^{n} q_{i} \lg p_{i} . $

(4)

式中：p_i是输出概率分布的第i个元素，q_i为第i个元素对应的实际标签。待损失函数收敛后得到的隐藏层矩阵H即为所求词向量矩阵。

通过Skip-gram模型获得的词向量虽然在类比任务中有较好的表现，但是Skip-gram模型并未利用训练数据丰富的统计信息，易使高曝光词汇得到过多的权重^[15]。与Skip-gram模型相比，GloVe模型具备同时捕获全局统计信息和语义信息的优点，不仅可以加快模型的训练速度，还可以控制各词间的相对权重^[14]，其词向量训练过程为

$ G=\sum\limits_{i, j}^{n} f\left(X_{i, j}\right)\left(\boldsymbol{v}_{i}^{\mathrm{T}} \boldsymbol{v}_{j}+b_{i}+b_{j}-\ln \left(X_{i, j}\right)\right)^{2}. $

(5)

式中：G为GloVe模型的损失值；v_i和v_j为第i个和第j个单词的词向量；X为共现矩阵，其元素X_{i, j}表示单词v_i和v_j共同出现在一个窗口的次数，窗口大小为自定义参数，通常取7~10；b_i和b_j为偏置项；f(·)为权重函数，

$ f(x)=\left\{\begin{array}{cl} \left(\frac{x}{x_{\max }}\right)^{t}, & x<x_{\max } ;\\ 1, &x \geqslant x_{\max }. \end{array}\right. $

(6)

其中：x_max和t为超参数，用以调节不同词频的损失权重，本文设x_max=100，t=0.75。

对于一个单词数为s的句子，通过Skip-gram模型和GloVe模型分别得到{w_H,i}_i=1^s∈R^s×d和{w_G,i}_i=1^s∈R^s×d两个词向量矩阵后，将两者通过输入维度为2d、输出维度为2的线性层，再经Softmax函数处理后即可得到两个词向量的贡献权重α，将两个词向量做加权和即可得到最终的融合词向量{w_F,i}_i=1^s∈ R^s×d。

$ \boldsymbol{\alpha}_{i}=\operatorname{Softmax}\left(\operatorname{cat}\left(\boldsymbol{w}_{\mathrm{H}, i}, \boldsymbol{w}_{\mathrm{G}, i}\right) \cdot \boldsymbol{A}+\boldsymbol{b}\right), $

(7)

$ \boldsymbol{w}_{\mathrm{F}, i}=\alpha_{i, 1} \boldsymbol{w}_{\mathrm{H}, i}+\alpha_{i, 2} \boldsymbol{w}_{\mathrm{G}, i} . $

(8)

式中：cat(·)为行拼接操作，A∈ R^2d×2和b∈ R²为可学习参数。

通过建立词向量融合机制所得到的高质量文本表示矩阵，将进一步用于实体识别和关系抽取。

2.2 实体识别模型

与自主工业软件相关的知识文本是一系列实体的有机组合，实体类别包括软件类型、行业领域、知识类型、应用案例类型等，实体识别就是将文本中的实体识别出来并标注其具体类型。实体识别在整个知识提取模型中起着非常重要的支撑作用，是后续知识建模的基础。

本文采用BiLSTM与CRF相结合的模型进行实体识别，模型结构如图 2所示。模型的主体为BiLSTM层和CRF层。BiLSTM层能够对知识文本前后之间的依赖影响进行建模并解决梯度消失问题，加快了模型的收敛速度，可以有效解决自主工业软件知识文本中的实体远距离依赖问题。CRF层用于解决序列化标注问题，可以得出一组输入序列条件下另一组输出序列的条件概率分布，为最终产生的预测标签添加约束。例如，输入序列为一段文本，输出序列就是文本中单词的词性。

2.3 关系抽取模型

自主工业软件相关知识文本中的实体之间是有关联的，如何将实体中的关联关系提取出来是知识提取的难点。对所收集的知识文本进行句法依存关系分析^[16]，总结出自主工业软件相关知识文本中实体间的7种关系类型，如表 2所示。

进一步采用Self-ATT-BiLSTM神经网络来实现实体间关系的抽取。自注意力(Self-ATT)模型是注意力机制模型的改进，通过合并每个时间步的词向量特征，充分考虑句子之间不同词语的语义以及语法联系，这样计算得到的特征向量更能反映上下文之间的联系。Self-ATT-BiLSTM模型的结构如图 3所示，模型由5部分组成：1) 输入层：接收经过实体提取模型处理的实体单词。2) 词向量层：将每一个词映射为固定长度的词向量。3) BiLSTM层：利用BiLSTM模型对词向量进行计算，得到更高级别的词向量特征。4) Self-ATT层：计算每一个单词的权重，合并每个时间步的词向量特征，并与相对应的权重相乘，得到文本向量，该结果可以反映两个词在句子中的关系。5) 输出层：对文本向量进行计算，输出实体之间的关系向量。

BiLSTM层输出的特征矩阵E∈ R^s×2u将作为自注意力机制的输入。其中：s为输入序列长度，u为BiLSTM隐藏层大小。首先进行自注意力权重向量a∈ R^s的计算，进而得到实体关系概率分布p。

$ \boldsymbol{a}=\operatorname{Softmax}\left(\boldsymbol{v}_{\text {att }} \cdot[\tanh (\boldsymbol{E})]^{\mathrm{T}}\right), $

(9)

$ \boldsymbol{p}=\operatorname{Softmax}\left(\boldsymbol{W} \cdot[\tanh (\boldsymbol{a} \cdot \boldsymbol{E})]^{\mathrm{T}}+\boldsymbol{b}^{\mathrm{T}}\right). $

(10)

式中：v_att∈ R^2u、W∈ R^c×2u、b∈ R^c为自注意力层的可训练参数；c为需要输出的关系类型数目，对于表 2中的7种关系类型，即c=7；tanh(·)为双曲正切激活函数，

$ \tanh (x)=\frac{\mathrm{e}^{x}-\mathrm{e}^{-x}}{\mathrm{e}^{x}+\mathrm{e}^{-x}}. $

(11)

3 基于知识图谱的知识建模方法

本文使用自顶向下的知识建模方法，其框架和流程如图 4所示。以提取到的实体与关系为输入，进行本体建模，其目的是定义自主工业软件相关概念，并将这些概念映射成实体和关系，同时本体模型可以约束图数据模型的组织方式；进一步将本体模型映射为图数据，完成图数据建模，以解决传统实体关系模型和本体模型在数据检索和建模方面能力不足的问题。

3.1 本体建模

本文采用基于本体的技术，将本体用于知识的表示，使用网络本体语言OWL进行本体构建。利用类(owl: Class)定义了“应用案例”“自主工业软件”“自主软件技术知识”和“行业领域”这4类实体，以及这4类实体下的子实体。

根据属性的不同，利用owl: DatatypeProperty定义自主软件知识和应用案例实体的数据属性，利用owl: ObjectProperty定义实体的对象属性，即实体之间的关系。

3.2 图数据建模

关系型数据库和OWL文件对复杂本体的图形结构和关系类型处理能力较差，针对这一问题，采用Neo4j图数据库进行知识的图数据建模，并将自主软件知识中的实体进行入库存储。从宏观角度看，Neo4j中只有两种数据模型：1) 节点：类似于本体模型中的实体，每个实体可以有多个属性或属性值，这些属性以键值对的形式存在，同时每个节点还具有相应的标签，用来区分节点的类型。2) 关系：类似于本体模型中的对象属性(owl: ObjectProperty)，一个关系总是从起始节点指向终止节点，具有方向性。

本体语言和图数据之间的映射关系如表 3所示。进一步将所提取的知识转化成图 5所示的图数据。图 5中的圆表示图数据中的节点，节点具有节点名和属性，实线箭头表示节点间的关系，其中不同颜色的节点代表不同的实体类型。

4 实验与应用案例

面向机械设计制造领域，根据数码大方公司提供的14 159份国产自主工业软件相关文本数据构建语料库，数据涉及CAD、CAM、产品生命周期管理(product lifecycle management，PLM)等典型软件。进一步基于该语料库对本文提出的知识提取与知识库构建方法进行验证。

4.1 知识提取实验

知识提取实验的环境为：解释器Python3.7；集成开发环境Pycharm；深度学习框架Pytorch 1.7.0；CPU i9-10920X；GPU Nvidia GeForce RTX 3090；内存64 GB。知识提取实验面向的自主工业软件语料库包含了21 562个实体和4 782个实体关系，按照7∶1∶2的比例划分得到训练集、验证集和测试集。考虑实验的随机性，进行了5次训练和测试并返回5次测试结果的均值。采用准确率P、召回率R和F₁值作为评价指标。实验超参数设置如表 4所示。

在同一数据集上，比较了7种不同的实体识别模型，结果如表 5所示。

表 5的实验结果表明，本文提出的基于融合词向量的BiLSTM-CRF实体识别模型明显优于其他6种实体识别模型。相较于基于BiLSTM的实体识别模型^[17]，本文提出的模型准确率提升了7.88%，召回率提升了8.59%，F₁值提升了8.24%。同时，本文提出的融合词向量相较于Skip-gram和GloVe也有明显优势，证明融合词向量方法能获得低维且包含丰富语义信息与统计信息的词向量，反映全局信息对实体的影响。表 6所示为基于融合词向量的BiLSTM-CRF模型识别各类实体的结果。本文的实验基于软件企业提供的文本数据，由于文本中较少包含与“行业标准”相关的数据，导致该类实体的样本量不足，因此在实体识别中无法对“行业标准”进行识别，故表 6中缺少了“行业标准”。

进一步在同一数据集上，比较了4种不同的关系抽取模型，结果如表 7所示。实验结果表明，本文提出的Self-ATT-BiLSTM关系抽取模型明显优于其他3种关系抽取模型，相较于支持向量机(support vector machine, SVM)，所提出模型的准确率、召回率和F₁值分别提升了8.14%、7.92%和8.03%；相较于卷积神经网络(convolutional neural network, CNN)^[18]，所提出模型的准确率、召回率和F₁值分别提升了11.21%、10.83%和11.02%；相较于经典的BiLSTM模型，所提出模型的准确率、召回率和F₁值分别提升了5.88%、5.35%和5.56%。

4.2 知识库构建实验

在知识库构建方面，利用OWL语言对3.1节中提取到的实体和属性类别进行定义，对应自主软件知识文本中的实体及实体间的关系类型。以“北汽福田汽车：CAXA电子图版应用案例”为例，将文本数据转化为基于OWL语言的本体数据，如图 6所示。

基于3.2节的图数据建模方法，参考表 3中的映射关系，使用Neo4j-import指令将本体数据导入Neo4j图数据库中，导入顺序为：先导入节点数据，再导入关系数据。在创建节点时，使用MERGE指令避免重复录入相同的数据。最终构建自主工业软件知识图谱，如图 7所示，图中不同颜色的节点代表不同的实体类型，该知识图谱的总节点数为42个，总关系数为37个。由于图数据建模是在本体模型的基础上完成，这使得文本中的大量本体语义信息在图数据库中得以保留。

实验和应用结果显示，使用2节的知识提取模型，可以从自主工业软件文本数据中准确提取到结构化的实体和关系数据；使用3节的知识建模方法，可以将实体和关系数据持久化地保存在知识图谱中，实现高效的知识存储、查询和遍历。

5 结论

本文面向建设自主工业软件生态体系的需求，提出了基于神经网络和自然语言处理的知识提取方法，以及基于图数据库的知识库构建方法。应用结果表明，所提出的方法能对自主工业软件相关文本实现高效知识提取，并建立知识图谱。本文提出的知识提取模型优于传统的BiLSTM-CRF实体识别模型和CNN关系抽取模型；本文提出的知识建模方法能够有效地对自主工业软件领域的知识进行分类与持久化存储。本研究可为整合制造业进程中的相关知识和数据提供技术支撑，进而为国内工业自主软件的项目实训、产教融合及人才培养提供资源。