基于深度学习的专利知识推荐服务研究

　　摘要：专利作为一种包含大多数领域中最完整的设计信息，可以为设计者解决设计问题提供有价值的指导。针对现有的专利推荐方法难以有效地推荐跨领域专利的问题，提出一种基于深度学习的跨领域专利知识推荐方法，用于创新产品的概念设计。首先对产品功能和知识需求情境进行建模，将设计问题进行标准化表达，生成设计问题空间。其次，提出一种半监督学习算法(TGTCI)将专利功能信息按照功能基自动分类和标记，利用实体识别算法(BERTBiLSTMCRF)提取专利应用场景术语、技术术语，结合国际专利分类(IPC)信息以表示专利的功能、情境、技术和领域属性，从而生成专利知识空间。通过设计问题空间到专利知识空间的功能基和知识情境映射查找所需的跨领域专利，根据技术和领域属性对它们进行聚类和评估，选出特定的专利以激发设计者的创造力。最后以一个实际案例进行分析验证，证明了基于深度学习的专利知识推荐模型的可行性及有效性。

　　关键词：产品创新;专利数据;深度学习;知识需求情境;知识资源推荐

　　随着经济全球化的发展，市场环境动态多变，企业之间的竞争日益激烈。面对激烈的市场竞争，企业创新设计能力已成为决定企业竞争是否占优的关键，企业需要不断提高自己的创新能力来提升自身的核心竞争力。产品创新设计是一个创新密集型过程，需要大量的知识和设计经验[1]。在产品创新设计过程中，知识重用和重组已被证明是创新的主要来源[2]，但如今的知识重用研究主要集中在同一应用领域设计知识的重用。然而其他应用领域的知识往往更好解决产品创新中的问题，从各种各样的领域汲取灵感进行创新设计正成为一种趋势。

　　专利申请知识： 废铁压块设备实用新型专利申请时间多长

　　因此，研究如何利用多领域知识进行产品创新具有巨大的现实意义。专利知识包含了各个应用领域最新的技术和研究成果，许多学者使用词频统计、机器学习、深度学习三种方法分析专利中的知识来辅助产品创新设计。其中基于词频统计和机器学习的研究有梁艳红等人[3]基于发明问题解决理论(TRIZ)提取专利中产品创新知识。YOON等人[4]利用线性判别式分析算法提取专利主题，并根据协同过滤算法识别潜在竞争对手，以此辅助产品设计。

　　陈忆群等人[5]利用支持向量机(SVM)算法将关键词抽取转化为分类问题提取关键词。林园园等人[6]构建功能原理结构模型，使用K均值聚类算法(Kmeans)对专利进行聚类，实现推荐相关的专利组合方案给产品设计者。Chen等人[7]提出了一种结构函数式知识抽取方法，识别包含结构和功能的潜在知识。刘龙繁等人[8]提出一种使用朴素贝叶斯算法(NaiveBayes)，以功能基为分类标准的专利分类方法，为设计者提供相关专利知识。但基于统计词频以及共现的方法只能统计专利的显性信息，对产品创新提供帮助较小，机器学习方法抽取知识较为片面且精度不高、效率较低。

　　而深度学习可以解决以上问题，可以抽取专利实现的功能效果，为产品创新设计提供类似的成功案例。例如董文斌等人[9]利用BERTBiLSTMCRF算法识别专利中的功能、原理、结构三类实体，并提取实体之间的关系，构建专利知识结构模型。Xu等人[10]预先定义实体类型和语义关系库，提出一种利用BiGRUHAN算法的专利知识提取框架。张盘龙[11]利用实体识别算法构建专利知识图谱进行专利推荐。但现有的深度学习研究大多缺乏对专利知识应用情境和专利技术原理的深入分析，因而无法有效解决跨领域推荐专利的准确性。

　　除此之外，专利数量呈指数级上涨，并非所有专利都具有同等重要的创新意义[12]，有必要为设计师评估检索到的专利。刘勤等人[13]采用熵权法对专利特征、发明人特征及权力人特征进行赋权，构建专利价值评估模型。Verhoeven[14]使用IPC分类号和引用信息来衡量技术的新颖性。李欣[15]选取专利技术、经济、法律和主体四大维度，运用机器学习方法对专利质量进行评估。但大多数研究仅用一个指标对专利进行评估，缺乏从多个角度评估专利创新价值。

　　基于以上问题，本文提出一种基于深度学习的专利知识推荐模型，从文本分类的角度提取专利的功能信息。其次，利用深度学习算法提取情境、技术属性，结合IPC分类号信息，生成专利知识空间。为满足设计者不同的知识需求，提出技术成熟性，新颖性和可扩展性三种评价指标，以向设计者推荐其他领域专利知识，激发设计者创造更多的创新设计理念。基于深度学习的专利研究进展目前，由于出色的表示学习能力，深度学习在自然语言处理领域取得了巨大的成功，许多学者致力于利用深度学习提取专利中的隐形知识，主要分为专利知识提取、专利知识推荐、专利评估及演化三个方向。

　　文献[10]、[16]利用实体识别算法提取专利中的技术术语，构建了专利知识提取框架，方便使用者更快的理解专利。文献[9]、[11]、[17]在专利知识提取框架的基础上，提取专利的功能、技术等知识构建专利知识图谱,推荐合适的专利辅助产品创新。文献[18]、[19]利用深度学习构建专利相似性网络，根据技术进行专利聚类，判断专利技术的潜在价值，准确地预测新兴技术，为未来技术发展提供方向。 从现有研究成果来看，当前的专利知识研究主要集中在当前领域知识推荐的准确性，忽略了知识的多样性，既其他领域的专利知识。而其他领域的知识往往更好的解决当前的设计问题。因此本文对专利知识情境进行深入分析，解决产品创新设计的多样性知识需求，提高专利知识推送质量、增强企业创新能力和竞争能力。

　　基于深度学习的专利知识推荐模型框架在产品设计中，设计者通过知识重用和重组来解决设计问题。专利作为包含大多数应用领域知识的重要知识资源，可以帮助设计者完成各种设计任务。其中产品是由功能和功能承载结构所组成的系统，功能分析贯穿产品设计的整个过程。

　　将设计问题抽象解释为功能需求问题可以在任何领域中使用，但通过功能检索到的专利通常大量重复或者相似，设计者仍需要花费大量时间去寻找和理解检索到的所有专利，最终找到合适的专利。不同的知识具有不同的应用情境[20]，在特定情境下其他领域知识才可以发挥效用。此外，不同的专利文本具有不同的技术成熟性和新颖性，这对不同的设计者有着不同的启发性影响。因此，本文提出一种基于深度学习的专利知识推荐模型，它可以推荐其他应用领域的专利知识，实现了跨领域的知识迁移。

　　设计问题经过问题表征被描述为功能需求，并描述当前知识需求情境，对功能进行建模并分解为三层功能结构，根据功能基和需求情境将其解释为设计问题空间。由于专利文献为半结构化数据，阅读专利全文获取知识需要花费高昂的时间成本、人力成本等。于是本文提出一种TGTCI(TwoGranularityThreeClassifierIntegration)半监督文本分类算法从文本分类的角度提取专利的功能信息，分别从字符级(BERT)和词语级(Word2vec)对专利文本进行特征向量表示，可以有效解决专利文本中一词多义、歧义等现象。

　　并集成支持向量机(SVM)、贝叶斯(NaiveBayes)、K近邻分类(KNN)三种不同基分类器的优点，提高专利功能分类的准确性。采用BERTBiLSTMCRF实体识别算法从专利说明书中自动提取专利的知识应用情境、技术术语，实现使用计算机自动提取专利知识，降低人力成本和研发时间。结合IPC分类号信息分别代表专利的功能、情境、技术、领域属性，构成专利知识空间。

　　首先根据功能基和知识情境实现设计问题空间到专利知识空间的映射，搜索相关专利。其次，检索后的专利通过技术术语将实现同一功能并技术手段相似的专利采用Kmeans算法进行聚类，形成专利技术集群，之后设计者根据设计需求选择相应的评估指标通过IPC信息对专利技术集群进行评估和排序。最后，向设计者推荐三层呈现的专利知识信息，以激发设计者的创新思维，进行新产品概念设计中的知识转移。必要的是，需要定时从专利网站中搜寻专利文本，通过上述知识抽取过程，将这些专利文本存储在本地专利数据库中，以便可以实时更新专利知识空间。

　　3基于功能基和知识情境的专利知识推荐方法

　　3.1研究思路

　　当前设计者搜寻专利由于受到自身知识经验和专利的分类体系(IPC)的约束，只能找到本专业或本领域的专利文献。从产品创新角度来说，其他领域知识往往更好激发设计者的创新思维，因为不同领域的产品设计问题，可能会采用相似的技术方案。因此，本文将功能基和知识情境引入产品设计流程中，来为设计者提供跨领域专利知识，辅助产品创新设计。

　　在引入功能基和知识情境之前，设计者由于自身知识的不足影响了功能层与原理解层的映射，从而限制了产品概念方案的生成。通过引入功能基和知识情境方便设计过程信息的表达，建立了统一的表达标准。由于功能基高度抽象，可以突破功能应用领域的限制，并根据知识应用情境的匹配程度对其他领域知识进行筛选，获得更多创新解决方案。

　　3.2基于功能需求和知识需求情境的设计问题空间

　　产品创新设计是复杂的思维活动，设计问题求解可以理解为“发掘设计问题与已有知识之间的相关性，并进行知识的迁移和组合”的过程[21]。功能是产品的核心要素，而产品创新设计的核心是知识从一种情境转换到另一种情境[21]。通过对设计问题的功能需求和知识需求情境的问题表征，将设计问题进行标准化表达，可以得到产品的功能结构模型和知识情境模型，同时形成设计问题空间。设计者利用功能基和知识情境检索专利知识库中已有的解决方案和知识，并将其与当前的设计问题进行类比，以生成新的设计方案。

　　3.2.1功能建模

　　产品设计的本质是设计具有特定功能、满足特定设计要求的产品。产品建模是产品设计的基础，功能建模是产品设计的首要任务。为了对功能进行统一的表达，Stone等[22]提出了功能基(Functionalbase)的概念，采用“元功能+流”的表示形式。Hirtz[23]整合并统一了元功能和流的分类，建立了功能基的标准词典。但该词典创建距今已经十多年时间，不能很好的适用于当前的设计活动。

　　为此，本文根据TRIZ功能分析理论，提出一种采用“动作+对象”描述功能，“动作”描述了功能的作用方式，“对象”描述工作的对象。其中动作包括导向、聚集、转换、连接、感知、调节、分离、供应、支持九个一级功能类别，结合Hirtz对流的分析进一步细化为39个二级功能类别与234个三级功能类别。显示了一个功能基的实例，设计者可以选择合适的功能基来定义任何产品的功能。由于功能基高度抽象，使用功能基表示设计问题的功能需求可以在任何领域中使用。

　　3.2.2知识情境建模

　　基于功能基向设计者推荐其他领域专利知识时，大量跨领域专利满足当前功能需求，检索结果冗余度高，无法满足知识推荐的准确性。然而知识的产生和应用都具有特定的背景和环境[20]，知识情境可以视为知识应用的限定条件，是知识共享和知识重用的重要基础，能够有效解决基于功能基检索后的专利知识过载问题[24]。通过对设计问题和知识主体之间的情境匹配度计算将极大的提高设计者知识检索的效率，进而缩短产品创新设计的开发周期，提高创新质量。

　　为此，本文建立一个可扩展的知识情境模型，用以判断其他领域知识解决当前设计问题的可行性。在产品设计过程中，根据5W1H分析法可得知识情境就是描述当前的设计者的5W1H信息(Who、What、Where、When、Why、How)，即设计者在某一时间某一地点用某种方法从事当前的设计活动。但仅这六个维度可能造成设计需求识别不完整，降低工作效率。

　　因此，本文以设计过程为线索，结合5W1H分析法将知识情境维度进行提炼，构建知识情境模型，形式化表达为：知识情境={问题、任务、设计过程、设计执行者、设计活动、设计对象、知识资源、地点、时间}，其中设计执行的时间和地理位置和在设计活动中没有实际意义，本文将产品的业务周期作为时间维度，产品工作时的应用地点作为地点维度。知识情境各维度之间存在着紧密的联系，知识情境交互关系模型。

　　问题维度、任务维度、知识执行者维度以及设计活动维度之间存在相互传递转换关系：设计问题分解成多个任务目标;任务目标由设计活动实现;设计活动由相关部门和组织组成的设计执行者全权负责;并且在设计活动维度中，时间和地点两个维度是设计活动执行的条件限制，设计活动使用相应的知识资源驱动设计过程的执行。在知识执行者维度中，知识员工存在于各个业务执行组织，在特定的设计活动中具备一定的求解技能、求解经验以及对应的执行职位。需要说明的一点是，本文列出了知识情境的主要维度，企业在实际应用时需根据自身的业务特点和业务数据进行维度的扩展和细化。

　　3.3专利知识空间的知识表示

　　专利知识是创新的重要资源，有效地整合产品创新所需的专利知识资源方便企业创新人员对相关专利知识的检索和利用[25]。密阮建驰等人[26]提出知识应与情境相结合，以方便设计者更全面的理解知识，促进知识之间的共享和重用。为此，本文将情境化设计引入FBS模型，构建功能描述层、技术描述层、详细描述层三层知识表示结构，形成专利知识空间。

　　功能描述层体现了专利发明人的主观意愿，是产品的最终目的。技术描述层包括情境属性、技术属性、领域属性，分别由专利应用情境、技术术词、IPC分类号信息组成，方便设计者更快速理解专利的应用场景和所使用的技术。详细描述层包含专利中的具体实施方式和专利显性信息。该专利知识空间模型从左到右的知识抽象程度逐渐减少，较高抽象的知识更容易进行知识转移，利于设计者从多个角度理解专利知识。

　　4实例验证

　　为了验证本文提出的专利知识推荐模型的可行性，以桥梁冰雪清除装置设计进行实例验证。通过将传统的基于关键词检索和本文提出的方法进行对比，并根据专利技术集群生成四种清除积雪的设计方案，验证本文提出的专利知识推荐模型在跨应用领域推荐专利知识方面的有效性和可行性。

　　4.1专利数据获取及处理本文在专利商业网站(incopat)中下载50000条发明专利数据。本文使用的专利数据包括标题、摘要、说明书和权力要求等，我们采用jieba分词对专利数据进行分词，去除停用词，以便进行更深入的信息分析。

　　4.2设计问题空间的构建在寒冷地区，大雪和低气温的情况比较普遍。积雪在道路桥梁上会造成堆积和结冰影响行车安全的问题。目前除冰方式主要是人工洒融雪剂或借助机械设备完成。但由于人工清理有被车撞到的危险，且融雪剂会污染环境、清雪车的清雪结构简单清雪不彻底，对于冰面和已经压实的雪清理效果不好。因此，有必要设计一种有效、安全的除冰设备。

　　5结束语

　　为了更好的满足设计者知识多样性的需求，本文提出了一种基于深度学习的专利知识推荐模型框架。主要贡献总结为三点：

　　(1)基于功能基和知识情境的设计问题表征。本文对产品功能和知识情境分别建模，在产品设计流程中引入功能基和知识情境对设计问题进行标准化表达，对比实验证明本文方法可以在更大范围找到更多的解决方案。(2)自动提取专利知识并构建表示模型。本文提出TGTCI算法根据功能基从本文分类角度提取专利功能信息，利用实体识别方法提取专利情境、技术术词构建专利知识空间，便于设计者快速理解当前专利。(3)多指标专利评估方法。本文利用Kmeans算法对相似专利进行聚类，并提出成熟性、新颖性、扩展性三种指标对专利聚类进行评价，方便设计者选择合适的评价指标满足自己的设计需求，提高设计知识重用率。 但仍存在一些问题需要解决。

　　首先本文的领域属性是根据专利的IPC分类来定义，具有局限性。其次，本文仅对专利一级功能进行分类提取，之后需要根据二级类别、三级类别进行进一步分类。最后专利知识表示需要行更深入的分析，专业技术术语和知识情境专业性较强，需要更高的知识背景。今后我们将进一步深入研究领域之间的知识转移，完善功能词典，改善专利功能分类的准确性，并且进一步完善专利内容研究，需要更深入地开发专利知识，更全面地发现潜在的领域知识，进而更智能化的实现设计者的知识需求。

　　参考文献：

　　[1]王克勤,毋凤君.面向产品设计改进的在线评论挖掘[J].计算机工程与应用,2019,55(19):235245+252.WANGKQ,WUFJ.Onlinecommentminingforproductdesignimprovement[J].ComputerEngineeringandApplications,2019,55(19):235245+252.

　　[2]JianChengGuan,YanYan.Technologicalproximityandrecombinativeinnovationinthealternativeenergyfield[J].ResearchPolicy,2016,45(7).

　　[3]梁艳红,檀润华,马建红.面向产品创新设计的专利文本分类研究[J].计算机集成制造系统,2013,19(02):382390.LIANGYH,TANRH,MAJH.ResearchonPatentTextClassificationforProductInnovationDesign[J].ComputerIntegratedManufacturingSystem,2013,19(02):382390.

　　[4]JanghyeokYoon,WonchulSeo,ByoungYoulCoh,InseokSong,JaeMinLee.Identifyingproductopportunitiesusingcollaborativefilteringbasedpatentanalysis[J].Computers&IndustrialEngineering,2016:

　　[5]陈忆群,周如旗,朱蔚恒,李梦婷,印鉴.挖掘专利知识实现关键词自动抽取[J].计算机研究与发展,2016,53(08):17401752.CHENYQ,ZHOURQ,ZHUWH,LIMT,YINJ.Miningpatentknowledgetorealizeautomatickeywordextraction[J].ComputerResearchandDevelopment,2016,53(08):17401752.

　　作者：李振宇1，战洪飞1，余军合1，王瑞1，邓慧君2

转载请注明来自发表学术论文网：http://www.fbxslw.com/nylw/28904.html