基于大数据挖掘的行业知识服务研究

　　摘要：[目的/意义]近年来大数据技术和产业快速发展，将技术与行业内容知识相结合对行业服务创新具有重大意义。[方法/过程]在调研学术研究与实践进展基础上，构建了基于大数据挖掘的行业知识服务层次模型，并立足行业知识服务现状对基于大数据挖掘的行业知识服务发展策略进行探讨。[结果/结论]基于大数据挖掘可以从专家发现、创新支持、市场信息和行业管理支持方面深化行业知识服务，其实现模型可以分为基础设施层、数据资源层、数据治理层、数据挖掘层、服务功能层五个层次。为发展基于大数据挖掘的行业知识服务，需要重点推进行业大数据建设的跨组织协同机制构建、跨语言行业大数据资源建设与挖掘以及开放化的行业知识服务平台构建。

　　关键词：行业大数据;大数据挖掘;行业知识服务;发展机制

　　互联网+环境下大数据技术和产业的发展，其在知识服务领域的应用也受到了普遍关注，推动着知识服务领域的深刻变革。基于大数据的服务创新主要从两个方面开展，一是基于用户大数据提升服务的个性化、精准化水平，从用户与资源匹配角度优化用户体验;二是通过大数据挖掘分析，获得更多新的知识，从资源供给角度优化用户体验。

　　以图情机构为主体的知识服务中，这两个方面的研究与实践探索都在积极开展，并取得一定成效[1-5];但在行业知识服务领域，尽管也有一些机构开展了实践探索和理论研究，但总体来说仍然不够充分、系统，未能结合行业资源特点和用户需求进行服务功能的全面创新。基于此，本文拟围绕基于大数据挖掘的行业知识服务实现模型和发展策略进行探讨，从而为基于行业大数据的服务创新研究与实践提供参考。

　　大数据论文范例：大数据视角下移动互联网的汽车营销策略分析

　　1相关研究与实践

　　大数据环境的形成为知识服务创新提供了新的契机，立足大数据环境的行业知识服务理论创新与实践探索也受到了学界和业界的广泛关注，并取得了初步研究与实践成果。

　　1.1理论研究

　　理论研究方面，大数据环境下的行业知识服务创新主要围绕关键技术研究、服务平台构建、服务模式创新等主题进行。关键技术研究中，唐明伟、苏新宁等根据大数据计算的特点以及相应的方法，从总体架构、功能及实现方法等方面构建了基于大数据的情报分析框架，探讨了不同行业应用该框架的一些细则问题[6];高伟等以数据源构建、数据采集、数据集成、数据分析和数据服务为主线构建了情报分析方法和技术体系[7];化柏林针对科技信息大数据，构建了以多源异构融合技术、用户画像与需求探测技术、属性计算与情景计算技术、知识抽取与本体构建技术等为主体关键技术体系[8]。

　　除了技术框架体系外，还有一些研究针对具体的技术问题提出了解决方案，包括大数据环境下的专利分析技术[9-10]、基于新闻大数据的行业热点监测技术[11]、面向用户评论大数据的情感计算技术[12-13]等。行业服务平台构建方面，胡昌平和张晶从分析产业链中的跨行业知识需求入手，构建了面向我国工业体系中各主要行业的集成服务平台整体框架[14];李嘉璐在分析大数据环境下行业高校图书馆为母体行业企业提供大数据相关情报服务可行性的基础上，构建了基于大数据的行业情报服务平台模型[15]。行业知识服务模式研究方面，李丽梅和吴新年提出基于大数据的产业竞争情报服务模式需要能够精准捕获并满足个性化定制需求、重视多源动态情报、强化实时高效互通机制、依托新型技术创新供给方式、全社会广泛参与[16]。

　　王学东等提出了平台自助式信息服务模式和企业联盟知识推荐服务模式两种面向战略性新兴产业提供个性化服务模式，并认为其有助于满足产业发展过程中不同的知识需求[17];熊回香等认为大数据环境下战略性新兴产业服务平台需融合公共信息平台、信息交易平台和信息论坛三大部分，并进而提出战略性新兴产业知识服务可以按照共性化、个性化和特色化三种模式开展[18]。

　　孙立和焦微玲通过分析工业大数据驱动下知识发现与知识服务面临的挑战与企业具体需求，构建市场供需对接切入模型[19];陈锐等分析了大数据对生物医学知识服务流程中数据来源、数据采集、存储、组织、分析及可视化呈现等各环节的影响，并从观念、内容、技术、人才、制度和合作模式6方面对生物医学知识服务如何适应大数据的时代发展要求提出建议[20]。1.2实践探索基于大数据的行业服务实践探索方面，国内部分行业服务平台立足各自的产业特点和积累的大数据资源进行了初步探索，较具有代表性的包括以下几个平台。

　　①制造强国公共信息服务平台(http://www.iipsp.cn/)。其在采集物联网、云计算、人工智能等行业大数据的基础上，面向用户提供基于大数据挖掘的行业知名品牌关注度、喜好度、价值认可度、负面敏感度监测，行业热点话题监测，基于专利的技术预警服务。②交通行业知识服务系统(https://transport.ckcest.cn/main)。其在全面采集科技项目、科技文献、工程建设信息、统计数据、仪器设备、科研平台等交通行业大数据基础上，向用户提供领域专家、团队发现、技术演化分析服务。③中国水泥网(http://www.ccement.com/)。其在全面采集水泥行业大数据基础上，面向行业用户提供水泥市场信心指数、价格、库容、运转率、产销、产能、成本等水泥信息的监测与走势预测，水泥地图可视化展示服务。

　　总体来说，围绕基于大数据的行业知识服务理论研究具有现实性，所取得的理论成果对行业实践开展具有参考意义;同时，已有少量行业信息服务机构开始了基于大数据挖掘的行业服务创新探索，一定程度上改善了行业用户的服务使用体验。然而，行业实践应用仍处于初期，大数据的价值发挥仍不够充分;相关理论研究多是将大数据作为背景要素进行平台架构、服务模式探讨，专门基于大数据挖掘的行业知识服务研究仍不够系统、深入。基于此，本文拟从大数据挖掘的行业知识服务模型出发，探索基于大数据挖掘的行业知识服务创新的系统思路，进而提出后续发展策略。

　　2基于大数据挖掘的行业知识服务分层结构

　　基于大数据挖掘的行业知识服务创新的实质在于，全面采集行业政策、市场、技术、产品、企业、客户等相关的大数据资源，进行挖掘分析，发现大数据背后的规律性知识和隐藏知识，并以多种模式向用户提供服务，满足其无法通过既有行业信息资源得到满足的需求。

　　为达成这一目标，从实施角度出发，除了具备行业大数据资源和大数据挖掘工具、算法外，还需要找到合适的应用场景和需求痛点，开展服务模式创新。同时，行业大数据资源的采集、存储、加工、挖掘等都离不开软硬件基础设施的支撑。根据这一认识，基于大数据挖掘的行业知识服务模型可以分为5个层次：基础设施层、数据资源层、数据治理层、数据挖掘层、服务功能层。

　　其中，基础设施层负责提供基于大数据挖掘的行业知识服务系统运行所需的软硬件设施，数据资源层是行业大数据建设的信息源，数据治理层负责行业大数据的采集、预处理、组织与存储，数据挖掘层则立足需求进行行业大数据挖掘分析，生成服务所需的知识信息，服务功能层负责对接用户，并提供多样化的行业知识服务。

　　2.1基础设施层

　　行业大数据的采集、存储、组织、管理、挖掘分析需要软硬件基础设施提供稳固支撑。高性能、高带宽、高可靠、大缓存的硬件基础设施是行业大数据资源建设与挖掘分析的物质前提，主要包括存储设备、计算设备、网络设备。软件基础设施主要包括云计算基础平台、大数据基础平台和机器学习基础平台，其中云计算基础平台主要用于满足行业大数据大数据采集、组织与挖掘分析中的存储、计算资源配置、管理需求;大数据基础平台则主要用于搭建支撑行业大数据采集、分布式存储、分布式计算及高性能服务的基础支撑平台，保障数据安全及数据处理与服务的效率、安全性。

　　机器学习基础平台则用于为大数据挖掘分析提供支撑，提升大数据挖掘算法研发、运行的效率，确保数据挖掘分析的效果。软件基础设施建设，需要选用工业级验证的、开放成熟的基础技术工具，如Hadoop，MapReduce，Spark等大数据基础平台，AmazonMachineLearning(AML)，AzureMLStudio，TensorFlow，PyTorch，百度飞桨，modelarts等机器学习基础平台，并需要注重不同类型工具间的协调性。

　　2.2资源采集层

　　为全面获取行业相关的大数据资源，需要建立覆盖全面、系统可靠的大数据信息源体系，包括文献数据库、电商网站、网络社区、社交网络、新闻网站、政府网站、企业官网、大数据提供商等。其中，文献数据库可以提供学术论文、专利、标准、科技成果、报告等文献信息，是技术信息获取的重要渠道。

　　电商网站可以提供产品信息、销售渠道信息、销售状况信息、客户评论信息等产品、市场相关信息;网络社区、社交网络、新闻网站可以提供行业从业人员和客户、社会公众对行业的讨论和新闻报道信息，对了解行业热点、舆情、口碑非常重要;政府既掌握了大量的政策信息，也是行业、企业信息的重要拥有者，合理利用政府渠道可以采集到很多行业重要信息，如宏观环境信息、行业统计信息、价格信息、行政许可信息、企业信用信息等;企业官网上则常常汇聚了与企业相关的产品、技术、市场等重要信息。

　　随着大数据的价值得到越来越多的认可，市场上也涌现了一批以大数据采集、建设为主要业务的机构，如上海合合信息科技发展有限公司收录了2.3亿工商主体的大数据信息，此类机构常常能够采集到更为全面、系统的行业大数据信息，成为其他渠道的重要补充。

　　大数据资源采集中，需要结合数据源特点选用合适的采集方式，如网络抓取、购买、交换共享、印本加工等，从而初步形成包括文献大数据、电商大数据、社交大数据、媒体大数据、政策大数据、企业大数据在内的行业大数据体系。值得指出的是，随着产业竞争的全球化，为适应国际国内双循环的新环境，需要关注跨语言资源的采集问题;同时，行业大数据资源建设是个复杂的系统工程，为降低实施难度，行业信息服务机构需要解决与外部相关机构的协同问题。

　　2.3数据治理层

　　鉴于行业大数据的来源非常广泛，数据异构、质量参差不齐的问题较为严重，因此需要综合采取多种手段进行治理，实现行业大数据的质量提升和增值。该层次的核心功能包括：①数据标准管理，即结合行业数据特点和应用需求，建立系统、完善的行业大数据标准体系，包括元数据标准、数据模型标准、主数据和参考数据标准、数据质量标准等，为数据组织与规范化提供支持;②大数据质量控制与提升，即对通过各种途径获取的行业大数据进行预处理，剔除错误数据、作弊数据、异常数据、重复数据，有效处理存在缺失值的数据、格式不规范的数据，进行多来源数据的集成、融合，保证行业大数据的完整性、可信性、规范性。

　　③大数据组织，即按照元数据著录要求进行大数据内容特征和外部特征的提取、揭示，挖掘、识别数据间的关联关系;④大数据存储与索引，即采用分布式处理技术进行行业大数据的存储与索引，为后续的高效加工处理奠定基础;⑤大数据安全管理，即综合采用数据脱敏、数据加密、访问控制等安全技术手段，确保数据在存储与流动过程中的安全。

　　3基于大数据挖掘的行业知识服务发展策略

　　为推进基于大数据挖掘的行业知识服务健康发展，行业信息服务机构需要加强跨组织协调工作，以实现行业大数据的全面、系统采集，并保障大数据质量;突破跨语言行业大数据处理技术，适应全球化环境下行业大数据多语种分布的基本现实;构建开放化的行业知识服务平台，实现基于大数据挖掘的服务应用供给侧改革，全面满足行业用户的知识需求。

　　4结束语

　　当前，利用大数据深化行业知识服务已经成为行业信息服务机构关注的焦点问题。用好大数据，将能够形成行业信息服务新的增长点，巩固和提升行业信息服务机构在产业创新、发展中的重要地位。围绕这一问题，本文探讨了基于大数据挖掘实现行业知识服务创新的理论模型，构建了基于大数据挖掘的行业知识服务功能体系，并提出了深入推进基于大数据挖掘的行业知识服务创新发展策略。未来行业信息服务机构应更加注重基于大数据的行业知识服务实践探索，建立健全行业大数据建设机制，突破行业大数据挖掘分析关键技术，开展资源驱动的知识服务模式创新，将行业知识服务推向新的发展阶段，更好地支撑行业知识创新、市场运营、行业管理。

　　参考文献：

　　[1]罗圣梅敖小爽江铁成面向大数据环境的高校图书馆学科化服务研究[J].大学图书馆学报,2020,38(5):128.

　　[2]蒲科大数据驱动下图书馆服务模式的创新路径与价值增值研究[J].国家图书馆学刊,2020,29(4):6574.

　　[3]雷洁赵瑞雪李思经鲜国建寇远涛知识图谱驱动的科研档案大数据管理系统构建研究[J].数字图书馆论坛,2020(2):1927.

　　[4]曹树金刘慧云王连喜大数据驱动的图书馆精准服务研究[J].大学图书馆学报,2019,37(4):5460.

　　[5]庞娜钱力段美珍大数据环境下科技信息精准搜索服务探析[J].情报科学,2020,38(7):6976.

　　[6]唐明伟苏新宁肖连杰面向大数据的情报分析框架[J].情报学报,2018,37(5):467476.

　　[7]高伟薛梦瑶于成成面向大数据的情报分析方法和技术体系研究[J].情报理论与实践,2019,42(12):4348，35.

　　作者：胡潜，李梦婷,黄家娥

转载请注明来自发表学术论文网：http://www.fbxslw.com/jjlw/26449.html