基于自组织增量图卷积神经网络的金相图半监督学习

　　摘 要：采用深度学习对钢铁材料显微组织图像分类，需要大量带标注信息的训练集。针对训练集人工标注效率低下问题，该文提出一种新的融合自组织增量神经网络和图卷积神经网络的半监督学习方法。首先，采用迁移学习获取图像数据样本的特征向量集合;其次，通过引入连接权重策略的自组织增量神经网络(WSOINN)对特征数据进行学习，获得其拓扑图结构，并引入胜利次数进行少量人工节点标注;然后，搭建图卷积网络(GCN)挖掘图中节点的潜在联系，利用Dropout手段提高网络的泛化能力，对剩余节点进行自动标注进而获得所有金相图的分类结果。针对从某国家重点实验室收集到的金相图数据，比较了在不同人工标注比例下的自动分类精度，结果表明：在图片标注量仅为传统模型12%时，新模型的分类准确度可达到91%。

　　关键词：自组织增量神经网络;图卷积神经网络;自动标注;钢材显微组织

　　1引言

　　钢的微观组织决定其使用性能，对微观组织的定性和定量研究一直都是钢铁材料领域的重要工作[1–3]。将采用适当方法(如抛光、腐蚀)处理后的实验钢试样置于光学显微镜(Optical Microscope,OM)或电子显微镜(Electron Microscope, EM)下，可观察到钢的显微组织形貌图像，即金相图[4,5]。

　　传统上，金相图的辨识由人工完成，对人的专业经验依赖性较大，即使是经验丰富的专家也会因为肉眼看不到的图像细节而分析失误。而现代钢材种类越来越多，其内部显微组织越来越复杂，人工辨识面临巨大挑战[6,7]。随着计算机视觉的深入发展，国内外研究者已开始将深度学习用于金相图的自动辨识问题。Pauly等人[8]使用数据挖掘方法对金相图分类，但由于不同类别间提取到的特征差异性不够，在测试集上仅获得48%的精度。

　　Chowdhury等人[9]组合不同的特征提取和特征选择方法作用于金相图，并选择不同分类器，比较了不同组合间模型性能的差异。Azimi等人[10]采用全卷积神经网络对金相图进行分类，在所收集的数据集上能够获取90%以上的精度。文献[11]融合多种图像增强方法，并改进AlexNet, VGGNet, ResNet, GoogleNet适用于金相图，在所收集的数据集上能够获取95%以上的精度。上述研究所使用的一般均是小规模数据集，且由于人工标注困难、效率低问题，用于模型训练的已标记图像数量较少，模型泛化能力弱、实际应用困难。图G=(V,E)[12–14]能表达非欧空间复杂数据关系[15]，图卷积(Graph Convolutional Network,GCN)可用于超维关联数据的挖掘和分析[16–18]。

　　基于已有拓扑学习模型[19]，本文提出一种基于自组织增量-图卷积神经网络的半监督学习方法。在原自组织增量神经网络(Self-Organizing Incremental Neural Network, SOINN)中引入连接权重概念来表示两节点相似性，得到引入连接权重策略的自组织增量神经网络(Weighted SOINN, WSOINN)，并引入节点胜利次数以挑选少量节点进行人工标注;进而，搭建GCN学习拓扑图中高阶特征来预测节点的类别信息，达到用较少的图像标注量获取较高模型分类准确率的目的。本文用WSOINN获取拓扑图结构描述图像数据的空间分布，用GCN将WSOINN拓展至半监督学习，实现钢铁材料金相图的自动分类。针对收集到的贝氏体、低碳板条马氏体、高碳片状马氏体、铁素体、下贝氏体、珠光体6种类型的金相图进行实验，结果表明，本方法具有较高的准确性和适应性。

　　2自组织增量-图卷积神经网络(WSOINNGCN)

　　本节首先给出WSOINN-GCN的整体框架;然后，分小节介绍各个模块：2.1节介绍图像数据特征提取;2.2节给出WSOINN算法步骤;2.3节结合金相图特征设计GCN;2.4节给出WSOINN-GCN的算法步骤。它由3部分组成：第1部分基于迁移学习获得图像数据的特征向量集合;第2部分采用引入连接权重策略的自组织增量神经网络(WSOINN)提取特征数据的拓扑图结构，并按照节点胜利次数选择少量节点进行人工标注;第3部分搭建图卷积网络(GCN)，采用交叉熵损失函数、Adam算法优化网络参数，自动标注剩余节点，最后基于欧式距离来分类所有图像数据。

　　2.1迁移学习获取特征向量集合

　　收集自某国家重点实验室场发射扫描电子显微镜所拍摄的不同钢铁材料的微观组织图片，依次为铁素体、珠光体、贝氏体、下贝氏体、板条马氏体、片状马氏体，共2342张，图片像素大小均为221×221。本文采用在ImageNet数据集上已训练好的VGG16卷积模块提取每张金相图的特征，并对从每张金相图获得的512张特征图作全局均值池化，每张图输出一个512维的特征向量，从而得到所有金相图特征提取后的数据特征集合。

　　3实验结果及分析

　　本节先给出WSOINN-GCN模型参数的优选方法，再比较在不同节点标注率下模型的节点标注精度及金相图分类精度，最后给出其他常见方法的对比实验结果。

　　3.1实验环境及模型指标

　　本实验硬件支持有CPU为i5-7500，4核4线程，主频3.41 GHz，内存12 GB, GPU为NVIDIAGeFore GTX 1060，显存6 GB，操作系统为win10，编程环境为spyder,Python3.7，框架平台为tensorflow。对于图卷积网络结构，采用Adam算法优化参数，初始学习率为0.01, dropout神经元失活的概率为0.5, Glorot_normal初始化参数，采用Early Stopping提前终止。统计精确率与召回率2个指标。

　　3.2WSOINN-GCN模型参数分析

　　ppWmaxpWmaxWSOINN在每输入样本的百分比例后，会删除孤立节点，会影响最终节点输出数量。节点数过多可能含有噪声节点，节点数过少不能全面反映所有样本分布，从而间接影响自动标注精度。图5表示为列举了不同,值下，WSOINN获取拓扑图节点的数量情况，颜色越深代表产生的节点数越少，节点数最大值为865，最小值256。

　　随着,增大，节点数随之增大，连接矩阵越稠密。实验收集到的金相图总样本数有2432张，用n、a别代表WSOINN输出图的节点数和连接矩阵中非0元素个数，为保证精度同时加快运算，选择节点数为原数据量的1/10～1/6的W-SOINN进一步分析。表1列举了节点标注率为0.3、不同p,Wmax值时模型对剩余节点的自动标注精度，其中Acc_w是按照胜利次数选择标注的结果，Acc_r是随机选择节点标注的结果。

　　深度学习论文范例：基于深度学习算法的学术查询意图分类器构建

　　4结论

　　(1)针对深度学习中图像数据标注困难的问题，融合拓扑学习与图卷积理论，本文提出一种新的基于自组织增量-图卷积神经网络(WSOINNGCN)的半监督学习方法。通过引入连接权重来改进自组织增量神经网络(WSOINN)，从而提取数据图结构，并按照节点重要性指标节点胜利次数选择部分节点进行标注，进而搭建图卷积网络(GCN)挖掘图中节点的潜在联系，融合Dropout正则化手段与Adam算法对GCN进行网络参数寻优，自动标注剩余节点信息，并基于欧氏距离来自动分类金相图，结果表明该模型具有可行性。

　　(2)针对从某国家重点实验室扫描电子显微镜拍摄到的钢铁材料微观组织图片样本，比较了不同节点标注率、有无Dropout 对模型的影响，结果表明：随着节点标注率增加，WSOINN-GCN与WSOINN-MLP模型的精度都会增加，且前者性能要优于后者，当节点标注率为0.3时，前者精度可达93%，而后者仅为86%;对于WSOINN-GCN而言，当节点标注率较低时(≤0.4)，含有Dropout比未含有Dropout有更好性能表现;对于WSOINNMLP而言，无论节点标注率多少，使用Dropout策略能一直提高其精度。

　　(3)与现有的人工标注或其他监督学习算法相比，本文所提出的WSOINN-GCN模型有效解决了实际应用时金相图片训练集数据人工标注困难的问题，为金相图片数据标注、分类等提供了新的解决思路。在金相图片标注量仅为VGG等传统深度学习网络的12%时，新模型比传统模型精度高，分类准确度高达91%;在达到相同的分类精度90%时，人工标注量仅为传统模型的5.6%，同时保证了效率优势。WSOINN-GCN具有自动提取数据图结构、实施半监督学习、动态调整网络结构等特性，在图片数据标注、分类等领域有理论研究价值和广阔的应用前景。

　　参考文献

　　ZHAO H, WYNNE B P, and PALMIERE E J. A phasequantification method based on EBSD data for acontinuously cooled microalloyed steel[J]. MaterialsCharacterization, 2017, 123: 339–348. doi: 10.1016/j.matchar.2016.11.024.

　　[1]YANG Youwen, HE Chongxian, E Dianyu, etal. Mg boneimplant: Features, developments and perspectives[J].Materials&Design, 2020, 185: 108259. doi: 10.1016/j.matdes.2019.108259.

　　作者：李维刚* 谌竟成 谢 璐 赵云涛

转载请注明来自发表学术论文网：http://www.fbxslw.com/jjlw/26450.html