• ꁸ 回到顶部
  • ꂅ 13396096638
  • ꁗ QQ客服
  • ꀥ 微信二维码

双光子成像视场扩展研究：深度学习技术的应用

 

 

双光子成像技术已被广泛应用于活体肿瘤成像、神经功能成像以及大脑疾病研究等领域，但双光子成像视场较小，限制了其进一步应用。

 

虽然通过特殊的光学设计或者自适应光学技术能够有效增大视场，但复杂的光路设计、高昂的器件成本以及繁琐的操作过程限制了这些技术的推广。

 

李迟件、姚靖团队提出了一种利用深度学习技术替代自适应光学技术扩展双光子成像视场的新思路，在低成本、易操作的前提下实现了大视场双光子成像，并设计了一种适用于光学显微系统中扩展双光子成像视场的nBRAnet网络框架。

 

方法与原理

 

拓展成像视场的原理

商用物镜有一个厂商标定的成像视场，在标定成像视场范围内，物镜的像差可以忽略，成像质量较好；超过标定视场后，物镜的像差会急剧增大，双光子成像质量会严重劣化，所以通常所说的物镜成像视场即为标定视场。

 

图1 光学系统及成像原理。（a）深度学习扩展双光子显微镜可用视场的原理图；（b）大视场双光子显微镜系统示意图（HWP：半波片；PBS：偏振分光棱镜；PMT：光电倍增管；RM：反射镜；BE：扩束器；SLM：空间光调制器；OAPM：离轴抛物面反射镜；SM：扫描振镜；SL：扫描透镜；TL：管透镜；DM：二向色镜；OL：物镜；CL：收集透镜）；（c）测量得到的3×3个子区域的波前面

 

基于自适应光学扩展物镜可用视场的方法通过自适应光学器件来测量扩展视场区域的大离轴像差并对其进行补偿，该方法均需要通过自适应光学器件来实现。

 

研究团队通过采集扩展视场自适应光学校正前后的数据并使用所提改进网络框架进行训练，无须使用自适应光学相位补偿装置进行像差校正便可得到近似无像差的图像，在工作中，自适应光学器件仅用来测量扩展视场区域物镜引起的大离轴像差以及采集训练数据，网络训练结束后，系统便不再需要使用自适应光学器件。

 

光学系统介绍与像差获取

  • 光学系统：使用的大视场双光子显微系统，钛蓝宝石激光器出射的激光通过双胶合透镜扩束，然后由三组中继镜实现光学共轭，激光依次通过检流计、X扫描振镜、Y扫描振镜和物镜，最终在样品面聚焦激发荧光，在样品面激发的荧光由同一个物镜收集，然后通过二向分光镜反射至收集透镜并由光电倍增管收集，使用数据采集卡进行系统的控制与同步。

  • 像差获取：采用间接波前检测中的模式法实现像差测量和校正，模式法的原理是将波前畸变表示为一系列正交多项式之和，对每种模式像差进行单独校正，该方法常用Zernike多项式来表示基本像差模式，考虑到整个大视场中像差分布不均匀，因此将整个视场区域分为3×3个子区域，进行分区校正。

 

对于每一个子区域，测量前已调整物镜的校正环，以最小化系统引入的球差，第1个Zernike模式（Piston）表示穿过光瞳的波前的平均值，对光斑没有影响；第2个和第3个Zernike模式（Tip和Til）引起了二维焦平面上的空间运动，但不影响分辨率或信号强度，所以研究团队使用Zernike多项式的第5-15项进行像差计算。

 

每个分区的各项最优系数的测量方法一致：从第5项开始依次测量每一项的最优系数，测量过程中将前一项的最优系数作为下一项系数测量的基准，考虑到扩展视场有较大的离轴像差，因此先单独确定每块区域中的像散对应的Zernike系数，即将系数从-20改变为20，间隔为0.5，使用SLM连续加载对应的波前，并对激发荧光均匀片产生的双光子图像进行采集，对每幅图的平均光强进行拟合和搜索，得到最大值对应的系数值即为所求的像散系数，对于该区域其他被应用的Zernike多项式，将系数从-3改变为3，间隔为0.5，同样通过采集双光子图像得到最佳系数，最终所有阶数的Zernike像差模式的线性叠加即为相应分区的整体像差。

 

以上步骤重复测量三次后取平均，以保证测量准确度。

 

数据准备

  • 提高信噪比：由于单次测量信噪比不足，所以对每组校正前后的图像各采集3张，并通过平均图像的灰度值来提高图像的信噪比。

  • 匹配图像的三维位置：原始图像在自适应光学校正前后会有轻微的像素不匹配，因此，研究团队将自适应光学技术校正前的图像作为参照，通过配准算法对自适应光学校正后的图像进行X和Y方向的配准，将配准后的有效数据尺寸裁剪为1000pixel×1000pixel。

  • 数据集制备：研究过程中的训练数据集均由图1（b）所示系统采集，包括荧光小球和离体生物样品在自适应光学校正前后的成像结果，荧光小球凝胶样品是通过将1μL荧光小球（F8852，Thermo Fisher）与1mL体积分数为1%的琼脂糖水溶液混合制得的，单个小球的直径为 1μm，离体生物样品分别为1mm厚的Thy1-GFP小鼠脑切片和CX3CR1-GFP小鼠脑切片。

 

数据集的制备过程主要包括两部分：一是图像采集，通过手动调整水平位移台获取多组自适应光学校正前的显微图像，再通过自适应光学补偿得到对应的自适应光学校正后的图像；二是通过裁剪、平移等方法扩充数据集。

 

实际采集荧光小球样品图像50张，图像尺寸为1000pixel×1000pixel，扩充后用于训练的数据集为25600张图像（每张训练图像的尺寸为32pixel×32pixel）；Thy1-GFP样品与CX3CR1-GFP样品图像均采集30张，图像尺寸为1000pixel×1000pixel，扩充后用于训练的数据集均为16000张尺寸为32pixel×32pixel的图像，在本光学系统中，1pixel=0.2981μm。

 

nBRAnet网络结构

基于U-Net改进的nBRAnet网络采用U型对称结构，保留了U-Net模型的多个跳跃连接结构，同时，利用Attention Gate通过跳跃连接传播特征，目的是改善梯度消失的问题，并重复利用编码过程中提取的特征。

 

编码器模块共有3层，每个编码层都是残差结构，包括2个卷积运算和2个ReLu层，在下采样过程中采用最大池化方法取2×2区域的最大值，以降低特征参数尺度（特征大小减半）；在解码器模块中，通过3个上采样块逐步将特征映射恢复到与输入图像相同大小。

 

图2 研究团队提出的nBRAnet网络结构。（a）改进的3层网络结构；（b）残差结构示意图；（c）上采样结构块；（d）改进的卷积块；（e）改进的Attention Gate结构

 

每个上采样块包括一个上采样层、一个卷积运算和一个ReLu层，所有卷积层和反卷积层的卷积核大小均为3×3，输出结果的最后一层是1×1卷积层，上采样和下采样的滑动步长均为2，除最后一层外，其余每层均使用ReLu激活函数，以防止过拟合。

 

考虑到网络深度会导致训练困难的问题，研究团队在U-Net网络框架的基础上引入残差结构，以缓解反向传播造成的梯度爆炸和梯度消失，提高网络的精准度和精度，同时，为了进一步增强网络性能，引入了轻量级的空间注意力机制，在生成特征图时引用底层特征和高层特征，使网络能选择性地强化有用的特征信息，同时抑制无用的特征信息。

 

CNN网络的输入和输出有着十分相似的空间分布，而网络结构中的批归一化（BN）结构白化中间特征的方式，完全破坏了原始空间的表征，即破坏了图像原本的对比度信息，鉴于此，通过荧光小球和生物样品的消融实验来验证BN结构对研究工作的影响，实验结果表明，与保留BN结构相比，在同等条件下，移除BN结构后扩展视场输出图像的峰值信噪比（PSNR）更高，因此，实验中移除了所有卷积块中的BN层，以增强网络输出的图像质量，所构建的nBRAnet体系结构如图2所示，相关代码已开源。

 

网络训练设置

神经网络的训练在Windows环境下进行，采用PyTorch（Python3.7）编写代码，使用MATLAB代码处理图片，实验在桌面工作站（Intel Xeon E5-2620 v4 CPU，NVIDIA TITAN Xp）上进行。

 

数据集由荧光小球和离体生物样品经自适应光学校正前后的显微图像构成，网络模型输入图像和输出图像的尺寸均为1000pixel×1000pixel，分别取数据集的95%和5%用作训练集和测试集。

 

利用网络输出与标签之间的均方误差（MSE）作为损失函数来训练模型，同时利用反向传播算法Adam来优化网络，初始学习速率为1×10-4，网络模型的参数总量为3.558×107。

 

实验结果

 

荧光小球实验结果

实验设置：使用荧光小球仿体样品验证深度学习方法可用于扩展双光子成像视场，图3（a）为大视场双光子系统采集的视场为2.45mm×2.45mm的全视场荧光小球图像，图3（a）中的Ⅰ和Ⅱ区域分别为物镜的标定视场与扩展视场的子区域，从中分别选取部分小球进行具体分析。

 

实验结果：图3（b）-（d）分别为标定视场中子区域的自适应光学校正前后的结果以及网络输出结果，恢复后的图像的峰值信噪比由原来的38.71dB提升到40.45dB，图3（h）为Ⅰ区域的强度对比，通过网络学习，标定视场区域的分辨率可恢复到校正后的水平。图3（e）-（g）分别为扩展视场中子区域的自适应光学校正前后的结果以及网络输出结果，恢复后的图像的峰值信噪比由原来的33.26dB提升到40.39dB，图3（i）为Ⅱ区域的强度对比，由于扩展视场部分有较大的离轴像差，自适应光学校正前后的小球形状、荧光强度均具有较大差异，经研究团队所提网络学习、输出后，无论是分辨率还是荧光强度，都能恢复到几乎无像差时的水平，即接近硬件自适应光学校正之后的水平。

 

图3 直径为1μm的荧光小球的大视场成像结果。（a）全视场荧光小球图像，视场尺寸为2.45mm×2.45mm；（b）~（d）标定区域经自适应光学校正前后的图像以及网络模型学习得到的图像；（e）~（g）扩展区域经自适应光学校正前后的图像以及网络模型学习得到的图像；（h）Ⅰ区域的强度曲线；（i）Ⅱ区域的强度曲线

 

结论：荧光小球的实验结果表明，无论是在像差较小的标定视场区域，还是在具有较大离轴像差的扩展视场区域，研究团队所提网络均能较好地校正畸变的图像，由此证明了深度学习技术可以替代硬件自适应光学像差校正技术扩展成像视场并实现畸变图像的校正。

 

生物样品实验结果

Thy1-GFP小鼠脑片实验：图4（a）是使用双光子显微镜采集的视场尺寸为2.45mm×2.45mm的Thy1-GFP小鼠的大脑图像，随机选取扩展视场的感兴趣区域（ROI区域，尺寸为1000pixel×1000pixel）放入模型中进行学习验证，图4（b）-（d）分别为Thy1-GFP小鼠大脑图像扩展视场中的虚线框区域在自适应光学校正前后的图像以及网络输出图像，经算法恢复后的图像的峰值信噪比由原来的23.76dB提升到 27.79dB，图4（e）为放大区域1中划线位置的强度对比，图4（f）为放大区域2中划线位置的强度对比，结果表明，研究团队改进的网络框架可将Thy1-GFP样品扩展视场区域的分辨率和信噪比恢复至接近硬件自适应光学校正之后的结果。

 

图4 Thy1-GFP小鼠大脑切片的大视场成像结果。（a）全视场图像，视场尺寸为2.45mm×2.45mm；（b）虚线框区域扩展视场在自适应光学校正前的图像；（c）虚线框区域扩展视场在自适应光学校正后的图像；（d）深度学习模型的图像增强结果；（e）（f）划线区域的强度对比

 

CX3CR1-GFP小鼠脑片实验：图5（a）是视场尺寸为2.45mm×2.45mm的CX3CR1-GFP小鼠大脑小胶质细胞图像，随机选取扩展视场内的某一区域，如图5（a）中虚线框区域所示，对比自适应光学校正前后图像以及网络输出图像的灰度值分布，图5（b）、（c）为自适应光学校正前后的对比图，图5（d）为网络输出结果，恢复后的图像的信噪比由原来的 26.72dB提升到31.37dB，图5（e）-（g）分别为图5（b）-（d）的灰度值直方图，CX3CR1-GFP实验结果表明，研究团队改进的网络框架可有效扩展物镜的可用视场，经过网络学习、输出后，无论是分辨率还是荧光强度都能近似地恢复到硬件自适应光学校正后无像差时的水平。

 

图5 CX3CR1-GFP小鼠大脑切片中小胶质细胞的大视场成像。（a）全视场图像，视场尺寸为2.45mm×2.45mm；（b）虚线框区域扩展视场在自适应光学校正前的图像；（c）虚线框区域扩展视场在自适应光学校正后的图像；（d）所提深度学习模型的图像增强结果；（e）~（g）灰度值直方图，分别对应（b）~（d）

 

结论：不同的生物样品实验结果表明，深度学习技术不仅可以有效地替代硬件自适应光学技术，增强双光子显微镜扩展视场中生物结构的特征，还可以大幅降低图像中的噪声，恢复成像分辨率。

 

网络评估

实验设置：将nBRAnet与超深超分辨率模型（VDSR）、传统的U-Net模型进行比较，nBRAnet、VDSR和U-Net分别采用相同的数据集进行训练。

 

实验结果：VDSR的实验结果中含有大量噪声，U-Net的实验结果中丢失了一些细节信息。

 

图6 不同网络模型的输出结果。（a）荧光小球样品扩展视场的ROI区域；（b）Thy1-GFP样品扩展视场的ROI区域；（c）CX3CR1-GFP样品扩展视场的ROI区域

 

结论：较高的PSNR值验证了nBRAnet网络框架的优势，但改进后的模型在U-Net框架的基础上添加了残差结构和空间注意力结构，使得网络框架更加复杂，而且该模型去除了BN结构，减缓了网络的收敛速度，导致改进后的模型参数总量增加，在提升精度的同时牺牲了一定的时间，另外，训练数据集分别为自适应光学校正前后的二维图像，但在实际采样过程中，由于校正前的点扩散函数沿z轴方向的长度更长（相比于校正后），自适应光学校正前的图像叠加了其他z轴位置的信息，使得校正前后的图像不完全匹配，为解决这一问题，后续拟考虑使用三维数据代替二维数据，此外，深度学习的泛化能力还有待于进一步加强，在实验过程中，研究团队曾尝试将小球的训练模型应用在其他生物样品上，但网络输出的效果并不理想，这也是深度学习依赖数据驱动的局限性，这就要求采集的数据集除了清晰、特征明显外，还需要包含更多类型的样品图像，使其种类和特征能够覆盖将来潜在的测试样品，以此提高网络模型的性能和泛化能力。

 

总结与讨论

 

研究团队提供了一种有效扩展双光子显微镜成像视场的新思路、新途径，即利用深度学习来扩展商业物镜的可用视场。

 

通过分析荧光小球实验、Thy1-GFP小鼠脑内神经细胞实验和CX3CR1-GFP小鼠脑内小胶质细胞实验可知，经网络恢复后的扩展区域图像，无论是分辨率还是荧光强度，均能恢复到接近硬件自适应光学校正后无像差时的水平。

 

换言之，研究团队所提方法利用训练好的模型可以直接输出校正像差后的样品扩展视场的ROI区域图像，无须用硬件自适应元件进行像差校正，简化了操作，降低了系统的复杂度和成本，提高了成像分辨率及其拓展的通用性，具有较高的实用价值。

 

未来，我们期待这一技术能在生物医学研究中发挥更大的作用，为跨区域脑成像或全脑成像提供更经济实用的方案。

 

声明：本文仅用作学术目的。文章来源于:李迟件,姚靖,高玉峰,赖溥祥,何悦之,齐苏敏,郑炜.利用深度学习扩展双光子成像视场[J].中国激光,2023,50(9): 0907107.Chijian Li,Jing Yao,Yufeng Gao,Puxiang Lai,Yuezhi He,Sumin Qi,Wei Zheng.Extending Field‑of‑View of Two‑Photon Microscopy Using Deep Learning[J].Chinese Journal of Lasers, 2023,50(9):0907107.如涉及版权问题，可联系工作人员删除处理。