基于深度学习的荧光显微成像技术及应用

　　摘要近年来，荧光显微镜技术由于其良好特异性、高对比度、高信噪比等性能优势，被广泛应用于生物物理学，神经科学，细胞学，与分子生物学等生命科学研究的各个领域。然而，传统的荧光显微镜仍然存在分辨率、成像速度、成像视场、光毒性和光漂白等方面的相互限制，使其在亚细胞结构观测、活体生物超精密成像和分子结构研究领域的应用受到了极大阻碍。由于传统荧光显微镜所具有的光学系统的局限性，研究人员将目光投向了由数据驱动的深度学习方法。基于深度学习显微镜的出现，丰富了现有的光学显微成像技术，大数据量的训练突破了传统光学显微镜所能够达到的功能和性能的疆界。本文聚焦深度学习的荧光显微成像技术，首先对深度学习的基本原理以及发展过程进行了简要概述，随后针对深度学习在荧光显微成像领域近年来国内外的最新成果进行了总结，通过与传统显微成像系统的对比，阐述了深度学习在解决荧光显微成像问题上的优越性，最后对深度学习在显微成像技术上的应用前景进行了展望。

　　关键词深度学习;荧光显微镜;超分辨;光学成像

　　1引言

　　2014年诺贝尔化学奖授予了超分辨荧光显微技术，标志着光学显微镜的分辨率由亚微米级进入纳米级。荧光显微镜是生命科学中研究细胞、组织和生物体时空动力学行为不可或缺的工具。现有的荧光显微镜[1-8]将成像分辨率从几百纳米提高至几纳米，实现了生物精细结构与精细动态过程的高分辨体成像[9-19]。然而，记录生物过程的质量不仅取决于光学设备的空间分辨率[20]，还取决于时间分辨率、实验总持续时间、成像深度、可达到的荧光团密度、光漂白性和光毒性等[20-29]。

　　而受样本健康和最大光子预算限制，上述因素存在相互制约关系，不可能同时优化。例如，通过减少曝光时间提高成像速度的同时牺牲信噪比。因此，荧光显微镜在亚细胞结构观测、活体生物超精密成像和分子结构研究领域的应用上仍存在一定缺陷。

　　目前，针对上述缺陷主要有两类解决方法。第一类方法是优化显微镜硬件[30-36]。第二类方法是使用提高获取显微图像质量的算法与光路配合，优化提取信息的效率[37-42]。由于物理条件的限制，光路硬件优化很难突破。因此计算算法已日益成为成像过程的重要组成部分。图像重建算法的突破不仅能提高图像质量，还将为开发新的成像模式提供思路[43]。常见图像重建算法包括基于荧光分子物理特性的统计超分辨算法[44-49]、基于相应成像模型的反卷积算法[50-54]、基于形态学模型的表面投影算法[55,56]和基于数据驱动的深度学习算法[57,58]等。

　　上述算法均可以巧妙地绕过物理限制，在一定程度上克服荧光显微镜的缺陷，更好地恢复生物信息。相比于其他算法，深度学习能够更充分利用现有数据的先验知识，针对于特定任务的信息恢复能力更强[43];深度学习利用神经网络进行数据驱动的统计推断，不需要对成像过程进行数值建模或估计点扩散函数;深度学习可以实现端到端的图像转换，不需要显式的分析建模;深度学习预训练好的深层网络无需任何迭代或参数搜索即可快速实现高性能显微功能及其大众化。基于上述优势，深度学习已成为弥补荧光显微镜缺点的一种有效方法。

　　本文聚焦于深度学习荧光显微成像技术，旨在帮助研究者们了解深度学习荧光显微成像技术的基本知识、应用和发展趋势，为该领域科学研究提供参考。首先简介了深度学习基本原理;其次分析了几种典型的荧光显微镜的主要缺陷，并通过举例方式阐述深度学习在解决荧光显微成像问题上的优越性;最后总结了深度学习仍存在的问题并对深度学习显微成像领域未来发展趋势进行了展望。

　　2深度学习原理

　　2.1深度学习基本概念及其发展历程

　　深度学习是隶属于机器学习算法的一项新兴技术，其发展是由用于人脑分析学习的神经网络的建立和仿真所推动的。传统的学习算法大多属于简单学习，只具有浅层结构，一般仅包含一两层非线性特征变换层，很难解决一些复杂的自然信号处理问题[59-63]。深度学习通过学习深度非线性网络结构来表征输入数据，能够实现对复杂函数的逼近，具有直接从样本集学习整体数据集本质特征的强大能力，更加适用于计算机视觉领域，能够用于解决荧光显微成像领域一系列传统荧光显微镜无法克服的问题。深度学习的发展迄今为止经过了三次浪潮，跌宕起伏，总的来说可以分为：1943-1969年为起源阶段，在此期间各种人工智能的概念被相继提出[64-68]。1974-2006年为发展阶段，具有代表性的技术，如反向传播算法、循环神经网络、卷积神经网络等深度生成架构逐步成型[69-79]。

　　2006年-至今为爆发阶段，深度学习在科学与技术的各个领域开始广泛应用[80-86]。起源阶段：1943年随着McCulloch&Pitts神经元模型的提出[64]，人工神经网络的研究由此开始。随后，“感知器”的提出[66]引起了第一次神经网络的浪潮。然而，1969年美国数学家M.Minsky提出了单层感知器无法解决线性不可分问题[68]，使人工神经网络的发展陷入了停滞。发展阶段：1986年G.E.Hinton教授提出的适用于多层感知器的反向传播算法(BP算法)[76]，有效解决了非线性分类和学习的问题，人工神经网络进入发展阶段，多种模型被陆续提出。

　　然而，1991年BP算法被指出存在梯度消失问题，阻碍了其有效地学习数据分布，人工神经网络的发展陷入了二次停滞。爆发阶段：2006年G.E.Hinton教授针对深层网络训练中梯度消失问题提出了解决方案，并正式提出“深度学习”的概念[80]。随后，2012年提出的AlexNet模型以及2015年提出的ResNet模型[83]由于在ImageNet竞赛中的优异表现，得到了人们的广泛关注，深度学习进入爆发阶段。随着深度学习的不断发展，深度学习开始在各个领域被广泛应用，深度学习显微成像技术应运而生。

　　2.2深度学习方法

　　2.2.1监督学习监督学习是目前最常见的机器学习类型[87]，输入是有人工标注的样本，通过调整分类器的参数，实现输入数据到已知目标输出的映射。监督学习主要包括分类和回归。在分类问题中，深度学习网络预测离散值并将输入变量与离散类别关联。在回归问题中，深度学习网络使用连续函数将输入与输出关联。

　　2.2.2无监督学习无监督学习是指在没有人工标注(标签)的情况下，通过计算机学习去自动寻找输入数据间的关系[88]。目前无监督学习主要用于数据可视化、数据压缩以及数据去噪。其中，降维和聚类是目前最流行的两种无监督学习方法。

　　2.2.3强化学习

　　强化学习[89]使用奖惩系统预测学习模型的下一步，用于解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习的常见模型是标准的马尔可夫决策过程，主要用于解决游戏和机器人中常见的决策问题。强化学习可分为基于模式的强化学习和无模式强化学习，以及主动强化学习和被动强化学习。求解强化学习问题所使用的算法可分为策略搜索算法和值函数算法两类。

　　2.3深度学习架构

　　随着近年来深度学习的发展，人工神经网络的发展也获得了重大进展，产生了丰富的深度学习架构。在众多深度学习框架中，深度学习荧光显微成像领域沿用了许多计算机视觉领域表现出色的网络架构并对其进行优化与创新。

　　2.3.1卷积神经网络

　　深度卷积神经网络(ConvolutionalNeuralNetworks，CNN)是计算机视觉领域最广泛应用的网络[70]，具有权重共享、局部区域感知以及空间或时间上池化降采样三大特点，因此网络模型在结构上更加简单，大大减少了网络中的权值数量。上述特点也使得CNN网络在面对数据量庞大的图像识别问题时可以通过降维方法解决问题，在视觉识别任务中表现出色，被广泛应用到显微成像领域[90-96]。

　　3深度学习在荧光显微成像中的应用

　　光学显微成像技术本身具有高分辨率、高通量(高速)、非侵入、低毒性等特点，与荧光蛋白以及荧光染料等标记物在细胞中的定位与表达技术相结合，使得科学家可以特异性的分辨生物体乃至细胞内部不同结构与成分，并且能够在生命体和细胞仍具有活性的状态下对其功能进行动态观察。

　　典型的荧光显微系统主要有基于扫描照明的光片荧光显微成像，共聚焦荧光显微成像，基于宽场照明(非扫描)的宽场荧光显微成像和光场荧光显微成像，采用了超分辨技术的结构光照明荧光显微成像、受激发射损耗显微成像、单分子定位荧光显微成像。2017年美国加州大学洛杉矶分校A.Ozcan课题组在《Optica》上发表文章[115]，第一次将深度学习技术应用于宽场显微图像转换中，并用卷积神经网络训练数据集，显著改善了宽场显微镜的性能，提高了在大视场和景深范围内的空间分辨率，开启了将深度学习与显微成像相结合的新时代。

　　3.1共聚焦荧光显微成像

　　共聚焦荧光显微镜[116]用高度聚焦的激光束对样品逐点扫描成像，荧光信号经过探测针孔滤波后被光电倍增管收集。由于针孔结构，只有激光焦点处激发的荧光可以通过探测针孔，有效的滤除了离焦信号，而且通过逐层扫描样品，可实现三维成像。与普通宽场或点扫描荧光显微镜相比，共聚焦显微镜具有更高的信噪比和分辨率。然而，共聚焦荧光显微镜采用点扫描方式成像，需要逐像素扫描，原理上速度慢。并且共聚焦荧光显微镜采用大功率激发光聚焦照明，获得高信噪比图像的同时相比于传统显微镜光漂白性和光毒性更加严重。

　　与传统点扫描共聚焦荧光显微镜相比，转盘共聚焦荧光显微镜采用多点并行扫描方式，速度快，但信噪比较低，分辨率不如点扫描共聚焦且仍存在光漂白性和光毒性严重的问题。M.Weigert等人在2018年提出了基于深度学习的内容感知图像恢复网络(Content-awareImageRestoration，CARE)，更好地解决了转盘共聚焦荧光显微镜光漂白性和光毒性严重的问题。CARE使用U-Net类3D网络，在采集过程中光子数量减少60倍的情况下将低信噪比转盘共聚焦荧光显微图像恢复为高分辨显微图像，实现了更适合生物样本活体状态下的成像[98]。

　　4深度学习显微成像的发展趋势

　　深度学习显微镜的出现丰富了现有的光学显微成像技术，解决了很多传统光学在物理限制下无法轻易甚至不能解决的问题，然而这仅仅是实现革命性成像技术大工程中的一小步。现今深度学习显微镜仍然存在一些问题：(i)训练数据的获取与标注成本高;(ii)电子硬件芯片资源昂贵且落地灵活性差;(iii)纯依靠数据导致特定网络训练后缺乏泛化能力;(iv)学习器的拓扑结构设计与学习的内在过程的可解释性不足。上述因素均限制了深度学习显微镜的进一步发展[129-131]。

　　光学论文范例： 影响X荧光光谱仪测量准确度的几个因素分析

　　5结束语

　　本文介绍了深度学习荧光显微成像技术的基本概念，列举了共聚焦显微镜、光片显微镜、光场显微镜、结构光显微镜、受激发射损耗显微镜以及单分子定位显微镜与深度学习结合的一系列应用实例，最后对于深度学习显微成像的发展趋势进行了展望。深度学习的发展虽有过曲折，但是深度学习的出现不可否认的为许多领域带来了众多令人瞩目的开创性研究成果。我们有理由相信人工智能未来的发展将会迎来更好时代，现在正处于深度学习的第三次发展浪潮，应努力致力于深度学习技术和显微成像技术的结合应用。另一方面，深度学习也还有很长的路要走，当下深度学习技术在光学显微成像领域所面临的挑战也是正要面对和解决的问题，同时也应当注重光学原理以及硬件的创新和提升，未来显微镜的发展必将依靠新型光学系统与高效深度学习算法的融合，我们期待出现更多革命性的显微成像技术。

　　参考文献

　　[1]LichtmanJW,ConchelloJA.Fluorescencemicroscopy[J].NatureMethods,2005,2(12):910-919.

　　[2]HuiskenJ,SwogerJ,DelBeneF,etal.Opticalsectioningdeepinsideliveembryosbyselectiveplaneilluminationmicroscopy[J].Science,2004,305(5686):1007-1009.

　　[3]ChenBC,LegantWR,WangK,etal.Latticelight-sheetmicroscopy:imagingmoleculestoembryosathighspatiotemporalresolution[J].Science,2014,346(6208):439-453.

　　[4]PrevedelR,YoonYG,HoffmannM,etal.Simultaneouswhole-animal3Dimagingofneuronalactivityusinglight-fieldmicroscopy[J].NatureMethods,2014,11(7):727-730.

　　[5]GustafssonMGL.Surpassingthelateralresolutionlimitbyafactoroftwousingstructuredilluminationmicroscopy[J].JournalofMicroscopy,2000,198(2):82-87.

　　[6]BetzigE,PattersonGH,SougratR,etal.Imagingintracellularfluorescentproteinsatnanometerresolution[J].Science,2006,313(5793):1642-1645.

　　作者：李浩宇，曲丽颖，华子杰，王新伟，赵唯淞，刘俭

转载请注明来自发表学术论文网：http://www.fbxslw.com/jjlw/27815.html