专利实体内容指专利中所应用到的实体，包括化学材料、实验器材等，例如氧化石墨烯、碳纤维、烘箱、真空泵。这些实体都对整个专利的制作流程起着重要作用，而承载着这些实体的就是操作，每篇专利里都会对各种实体进行不同的操作，以此达到不同的目的，同种材料的不同操作方式、不同操作顺序也是一篇专利的创新性和新颖性的体现。对专利的实体内容进行抽取分析，对比各个专利所使用的材料差异和操作差异，再结合对应的评价体系，最终得到专利的创新性和新颖性评价指标。

实体关系抽取是判断专利新颖性的核心环节，其任务是从大量专利文本数据中抽取出能够表达专利工艺流程的结构化动宾关系，也就是关系双元组。例如以石墨烯制备技术为例，在专利说明书中的发明内容中的工艺流程：<得到，氧化石墨烯分散液>，利用基于字级别的字符串搜索技术在专利中检索到包含此流程的原句为：“将氧化石墨烯(GO)于水中分散，得到氧化石墨烯分散液”。从这句话中得出抽取出来的“得到氧化石墨烯分散液”为此专利工艺流程的其中一步，以此种方法为例，最终可得到整个专利发明内容内的实体关系列表，整个列表又可作为专利的工艺流程序列，最终得到此专利的技术方案。

文本文档是典型的非结构化信息，不能像数据库之类的信息可以通过键值对来进行数据分析和统计，但是文档却不限制文本的结构内容，进而可以承载更多的信息。非结构化文档信息抽取技术就是通过自然语言分析技术来实现对其核心内容的信息获取，其中实体与关系抽取是目前最为成功的技术。目前传统的实体抽取和关系抽取都是采用串行的方式来进行，先完成对实体的识别与提取，然后再分析不同实体之间的关系。

实体抽取第一步是进行命名实体识别(named entity recognition, NER)，目前通用文档中识别的命名实体主要是人物(person, PER)、地点(location, LOC)、机构(organization, ORG)、时间(time, TIME)、数字(number, NUM)、描述(description, DES)和混杂(miscellaneous, MISC)。但是考虑到所需处理的任务，就需要对所识别的实体进行调整。非结构化文档的实体与关系抽取的传统流程为：首先对输入文本进行预处理，预处理主要完成分词、停用词处理和词性标注，获得比较纯粹的文本词语。然后将处理之后的文本输入命名实体识别模型中，在该模块中主要完成对命名实体的识别，一般是采用从前到后的处理过程，根据前后关系和句法分析等方式来对输入的词汇进行判断。在此过程中，词汇的前后顺序也是非常关键的信息。命名识别完成之后就实现了文本的序列标注，该结果可以输出到实体集识别内，也是下一步实体关系识别的输入。关系识别需要对输入的多实体和其顺序标注进行处理，通过学习关系模型，可以获得模型可识别的关系，比如位置关系、工作关系、隶属关系等，流程如图1所示。

针对石墨烯专利文本，本文采用图2中传统框架完成对专利文本信息的抽取识别。

图  1  传统实体关系抽取流程

图  2  基于传统算法的专利中文实体关系抽取框架图

该框架是基于最为流行的CRF算法模型为基础来进行的。这种方式提升了在预处理阶段分词的准确率，使其可以更精准地识别专利中的词汇。输入专利文档中的语句，通过切词、词性标注以及依存句法分析，由于专利分析中不需要依赖特定词语，所以在此框架中采用类似最大匹配的思想，将目前包含最长字符词的长度信息提供给统计模型。

句法分析是处理过程中重要的一环，该过程需要精准的完成句子内各词汇之间的依存关系分析，进而可以分析语句的构成和依赖关系。依赖关系分析通过分解句子各词语之间的语义关系来刻画句子语意，并且将语义层面的关系用依赖结构模式展现，其不用对词语进行抽象表达，直接利用词语所处的语义关系结构来表征词汇。句法结构的解析也就是短语结构解析，即分析句子中词汇间的相互联系、相互作用的方式。该框架首先对句子进行分词和词性标注，再进行句法结构分析，将分析结果以句法分析树的结构展示，从而进一步明确每个词汇以及短语在句子结构中承担的作用，帮助识别最有可能与关系特征词构成关系的实体对。本框架所分析句法依存关系如表1所示。

BERT是一种新型的语言模型，使用Transformer做encoder，可以用更深的层数，具有更好的并行性，它通过联合调节所有层中的双向transformer来训练预训练深度双向表示。BERT基于所有层中的左、右语境进行联合调整，来预训练深层双向表征，因此，只需要增加一个输出层，就可以对预训练的BERT表征进行微调，为更多的任务创建当前的最优模型，如本节中要解决的实体关系抽取任务。BERT模型结构如图3所示。

图  3  BERT模型结构

图中，w_i表示由每个参数x_i对应转化来的词向量，本文采用embedding的向量方式。embedding层由3种embedding求和而成；在embedding后将组合向量进行编解码运算 (Trm层)，之后将每个单词的特征向量 (T)作为结果输出。在embedding计算中，第一个单词是CLS标志，可以用于之后的分类任务，为区别两个句子，用一个特殊标志SEP隔开它们，另外针对不同的句子，把学习到的segment embeddings加到每个token的embedding上面；segment embeddings用来区别两种句子，因为预训练不只做LM (language model)还要做以两个句子为输入的分类任务，position embeddings是学习结果，其结构如图4所示。

将BERT模型应用到专利文本信息抽取上，需要采用如图5所示的模型。

图  4  BERT输入表征示意图

图  5  专利抽取BERT模型体系结构

此模型的核心步骤分为：

1)目标实体由基础的语言单元字或词组成 (图中T_k)，为了能够定位两个目标实体并将其信息转移到BERT中，在将整个问题投入BERT前，在目标实体前后添加token，即符号“$”和“#”；

2)通过BERT输出目标实体对应的输出进行定位；

3)利用BERT输出的[CLS]隐含向量和两个目标实体的隐含向量进行关系分类。

假设输入的句子为“四川的省会是成都”，将此句子输入进模型的第一层，将会在它的开头添加[CLS]符号，该句子为单句，不需要添加[SEP]，BERT模型的输出部分包括3个部分，第一部分为[CLS]标签，第二部分为第一个实体的隐含向量，第三部分为第二个实体的隐含向量。这样第一部分可以保存整个句子的语义内容，后两部分则是保存实体的信息。

再将识别到的第一个实体前后加入$ \$符号—“[CLS]$ \$四川$ \$的省会是成都”，最后将识别到的第二个实体前后添加#符号—“[CLS]$ \$四川$ \$的省会是#成都#”，两个实体前后添加特殊符号的目的是标识两个实体，让模型能够知道这两个词的特殊性，相当于变相指出两个实体的位置。此时输入的维度为[batch size n, max_length m, hidden size d]。[CLS]位置的输出可以作为句子的向量表示，记作${{{H}}_0}$，维度是$[n,d]$，经过线性变换后添加tanh激活函数得到，${{{W}}_0}$的维度是$[n,d]$，因此${{H}}'_0$的维度就是$[n,d]$。b₀是实体偏移量，由每个实体在句子中的前后位置决定。[CLS] 表征：该部分为单一向量，因此直接将其输入前馈神经网络中，可表示为：

除了利用句向量之外，模型还结合了两个实体向量。实体向量通过计算BERT输出的实体各个字向量的平均得到，假设BERT输出的实体1的开始和终止向量为${{{H}}_i}$，${{{H}}_j}$。实体2为${{{H}}_k}$，${{{H}}_m}$。其中$i$、$j$、$k$、$m$分别为第一个实体的首字符位置、第一个实体的末字符位置、第二个实体的首字符位置、第二个实体的末字符位置。那么实体1和2的向量表示为：

得到的实体向量也需要经过激活函数和线性层，${{{W}}_1}$和${{{W}}_2}$的维度都是$[d,d]$，实体信息为：

最后把${{H}}'_0,{{H}}'_1,{{H}}'_2$连接起来得到一个综合向量$[n,3d]$维，输入到线性层并做softmax分类，其中${{{W}}_3}$的维度是[关系数量L,3d]，因此${{h}}''$的维度是$[n,L]$，得到每句话的关系类别概率分布为：

使用本文改进的BERT模型对专利工艺流程进行提取，提取到的结果噪声较小，具体效果如图6所示。

图  6  专利抽取BERT模型体系结构

从图中可以看出，使用BERT进行关系抽取后，整个专利的工艺流程更加清晰合理，去掉了基于CRF和依存句法树的实体关系抽取方法中识别不到的噪声，使结果更加精简且符合逻辑，但是从上图可以看出，虽然此方法比基于CRF和句法依存树的效果更好，但噪声仍然对识别流程产生较大的影响。

双向长度记忆网络采用3层结构来实现最终的抽取功能，字符嵌入层用以完成输入的字符向网络的输入的转换，使其利于后期的识别。Bi-LSTM层利用长短记忆网络来实现文本在序列空间上的关联分析，进而发现合适有价值的命名实体。BiLSTM-CRF模型是将双向长短记忆网络和CRF模型结合起来，即在双向长短记忆网络的Hide层后再加一层CRF，模型结构如图7所示。

图  7  BERT-BiLSTM-CRF命名实体识别模型结构图

由图7可以看出，此模型是由BERT产出的特征作为输入到双向长短记忆网络中，再通过CRF进行解码。

当前关于实体关系抽取的实现一般还是基于统计学方法与模式匹配，如前面提到的，先用NLP处理工具对词语和句子进行提取分析，再使用词与词之间的联系进行句法分析，最后抽取出目标实体和关系。传统的关系抽取方法效果虽然不错，但是它不仅需要花费大量的人工成本，而且容易出现依存关系不全以及关系混乱等错误，影响后续实验结果。除此之外，使用NLP处理工具提取出来的词汇信息往往会出错，如将名词动词识别错误，这些错误特征会对实体关系抽取的结果产生不利影响。近年来，深度神经网络在自然语言处理领域已经取得了许多突破性的成果，使得越来越多的研究者开始关注将深度学习与实体关系抽取结合的应用。

本节提出了一种基于注意力机制融合句子语义的实体关系抽取方法。结合汉语语言的特性，通过句子语义特征，分析句子语义相似性，构建句子特征表示并输入到模型，如图8所示。

图  8  注意力机制融合句子语义的模型结构

由图8所示的模型结构，输入一个句子，首先将句子进行分词，再输入进BERT标注后，将训练后的分布式词向量输入到BiLSTM中获取句子语义信息，引入字级别的注意力机制来关注句子中的重要信息，通过注意力机制赋给字权重，自动获取对实体关系抽取有较大影响力的字节，最后输入权重向量通过softmax对关系进行分类处理，最终结果如图9所示。

图  9  注意力机制融合句子语义的实体关系抽取结果

针对本文提及的基于改进的BERT-BiLSTM-CRF命名实体识别和注意力与句法结合的实体关系识别所形成的整体框架，本文采用精确率(P)、召回率(R)和$F1$值来进行上述算法的抽取效果，定义为：

式中，${N_r}$表示预测正确的动宾关系的句子数目；${N_p}$表示待预测的句子数目；${N_s}$表示标准动宾结果的句子数目。

表2中汇总了本文中各模型的实验结果，从中可以看出无论从精确率、召回率和F1值来看，基于改进的BERT-BiLSTM-CRF命名实体识别和注意力与句法结合的实体关系识别算法效果都要优于CRF+依存句法和单纯的BERT算法。具体来讲，CRF+依存句法计算出的精确率、召回率和F1值分别为改进的BERT-BiLSTM-CRF算法效果的39.8%，47.2%和43.3%；BERT算法的精确率、召回率和F1值为改进的BERT-BiLSTM- CRF算法效果的73.7%。

专利内容的创新性和新颖性是研究专利在常规普适性内容和突破性研究的评价基础，构建专利知识评价网络来为评估其内容新颖性和对后期该领域的发展所形成的突破性贡献奠定基础。本文重点描述了所采用的基于专利实体和实体关系来完成对专利的内涵描述，并采用前后向网络构建的算法来计算每一个评价因子的定量分析，进而实现对专利的整体分析与评估。以目前国内石墨烯制备专利为例，应用所构建的专利创新指数进行了分析。基于专利实体和实体关系来完成对专利的内涵描述，并采用前后向网络构建和相似性分析的算法来计算每一个评价因子的定量分析。目前的研究是在当前静态数据库的基础上划分训练数据和测试数据，对于未来时间序列上的动态分析方法是技术创新管理领域的另一个重要问题。通过动态的专利分析技术，实现专利演进过程的实时分析与刻画，是接下来技术创新管理的重点发展方向。通过动态研究，能够更准确地反映技术创新的全过程。另外，本文的研究注重专利文本的挖掘使用，但是对多源大数据融合的技术路径分析尚未完成。未来，融合科技数据、商业数据、政策环境数据和企业报表数据等商业与市场数据的技术分析是一个重要研究方向。通过大数据的融合研究能够为技术创新提供更准确的分析维度。

本文工作得到重庆工商大学引进高层次人才科研启动项目(1956053)的支持，在此表示感谢。