研究进展：生成对抗网络的光学层析成像方法

近年来，光学层析成像（OT）技术利用测量场外围的激光器与感光器，从多个角度对测量场内部物质分布进行检测，获取投影数据信息，再通过图像重建方法处理投影数据，重建测量场内部吸收系数图像分布。且激光光源具有高相干性、高方向性等优点，使得光学层析成像具有检测便捷、安全性高、成像分辨率较高等特性，在遥感、工业检测、生物医学等领域有较好的应用前景。

目前，图像重建算法通过多个角度的光学投影信息和灵敏度矩阵来重建二维吸收系数的分布图像，但由于光束数量小于未知像素数量，直接求解逆问题难度大，且解对测量误差和噪声敏感。

杭州电子科技大学自动化学院徐依婷团队提出一种基于LBP算法和Pix2Pix模型的光学层析成像图像重建方法，该方法通过LBP初步重建物体截面吸收系数分布，将初步重建图像与真实分布作为Pix2Pix模型的训练样本，通过生成器与判别器的对抗训练，获得最优重建模型。最后利用模型对LBP重建图像进行处理，得到边缘清晰、伪影较少的重建图像。

光学层析成像基于光的吸收衰减，从多角度的投影数据中重建出截面吸收系数分布。根据朗伯-比尔定律的离散形式，通过测量多条方向的投影信息（正问题方程，为投影列向量，为灵敏场矩阵，为待测图像吸光系数分布列向量，为测量噪声），在灵敏场矩阵与投影数据矩阵已知时，求解待测分布矩阵（投影逆问题）。

但一般情况下，光学层析成像技术得到的投影数量往往少于待求像素数量，导致灵敏场矩阵A并不可逆，矩阵方程欠定，不能直接通过对灵敏度矩阵A求逆得出。

二、LBP-Pix2Pix方法流程

利用LBP算法进行初步重建（），得到初步重建图像，其为真实分布图像的近似图像。然后将与两两配对作为Pix2Pix模型的训练样本，生成器输入，通过最小化像素重建误差和对抗网络损失函数，输出逼近真实分布图像的；判别器以为条件区分和，两个神经网络通过相互博弈学习优化，达到纳什均衡后获得最优重建模型。

最终将测试样本输入最优生成器得到边缘清晰、伪影较少的最终重建图像。

LBP-Pix2Pix图像重建方法基本流程

三、生成器结构

使用的生成器是一个基于残差网络（ResNets）的编码-解码器架构，为了解决深层网络中的退化问题，向生成器中引入残差块以弱化每层之间的联系，在训练更深网络的同时，能保证良好的性能，提高图像到图像转换的效率。

生成器模型结构

四、判别器结构

判别器的任务是对生成器生成图像与真实图像的真假进行判断，以为条件，分别输出生成图像与真实图像的真假概率值。所使用的判别器是基于模型有效接受域的PatchGAN，该网络有以下优点：无需计算整张图像真假的概率值，只需对图像的每个大小为70×70的patch进行真假判别，将输出域中二维特征图的所有值取平均值作为判别的结果，从而减少参数数量，加快训练速度。

判别器模型结构

五、训练样本

为了提高模型的泛化能力，通过MATLAB随机生成真实截面吸收系数的5种典型分布图像，分别为矩形分布、单圆分布、双圆分布、三圆分布，以及交叉分布。其中，圆分布用于模拟气液二相流中的气泡，矩形分布用于模拟边缘尖锐的物体，交叉分布用于模拟交叉并有重叠的物体。

在光学层析成像中，激光器和感光器的排列位置决定了系统的灵敏度矩阵，对图像重建性能有重要影响，因此在前期的工作中，基于遗传方法对激光器和感光器的传感器结构进行优化，在实验中均采用优化后的结构，训练图像均使用Python成像库进行随机裁切，防止模型陷入过拟合。

5种具体分布

一、模型性能评估

训练过程中，生成器等效交叉熵损失初期下降，后期因输入输出图像共享轮廓信息逐渐上升；判别器等效交叉熵损失曲线逐渐下降，GAN模型通常不收敛，当生成图像与真实图像基本一致时停止训练，约10万次迭代生成器生成图像达到最佳效果，之前如1万次迭代时图像噪声严重，轮廓随训练逐渐清晰。

迭代次数不同的生成器重建图像

二、图像质量评估

采用相对图像误差、图像相关系数、均方根误差、峰值信噪比、结构相似度评估重建结果，对比LBP、Landweber、U-Net和LBP-Pix2Pix四种方法。

LBP算法误差范围为34.18%~47.59%，相关系数范围为49.34%~62.48%，成像质量稳定，成像时间较快，对于500张测试图像平均每张重建时间为0.0799s，但其缺点十分明显：成像质量较差，与真实图像的相关度低，所有分布均有明显的伪影和图像噪声，难以辨认几何结构与边缘信息，只能反映物体分布的大致情况。

Landweber算法误差范围为15.40%~30.87%，相关系数范围为81.81%~96.02%，成像质量较为不稳定，重建误差依赖于分布图像的种类，当分布图像的几何尺寸较大、形状较为复杂时，如分布Ⅴ中的交叉分布，图像伪影严重，有明显的噪点，且成像时间非常漫长，平均重建时间为67.363s，但其优点在于重建误差较小、相关系数高、成像质量较好，几何结构与边缘信息较为清晰。

U-Net算法误差范围为12.26%~31.96%，相关系数范围为64.62%~90.70%，相较LBP算法，成像质量较为不稳定，重建误差依赖于分布图像的种类，对边缘信息的重建效果较差，但其优点在于成像时间很短暂，平均重建时间为0.1226s，噪声与伪影较少、图像质量较好。

LBP-Pix2Pix方法重建误差仅在5.20%~13.15%间波动，相关系数范围为88.34%~99.08%，误差和波动范围均处于较小值，图像准确度高，成像质量稳定，明显削弱了LBP图像的伪影和噪声，几何结构与边缘信息非常清晰，大大提高了成像质量。LBP-Pix2Pix方法在单一物体分布下重建效果最佳，因为在此类分布下，LBP算法重建图像轮廓信息完整，物体分布形状对图像噪声不敏感，作为生成器的输入图像，为输出图像提供了更详细的轮廓信息。同时，Pix2Pix模型处理时间非常快，在GPU条件下，0.0309s即可将1张LBP图像转变为质量较好的重建图像，相较于Landweber算法时间大大缩短，LBP-Pix2Pix方法平均重建时间仅为0.1108s。

4种方法的重建图像

LBP-Pix2Pix方法在LBP算法重建图像基础上，利用Pix2Pix模型优越的细节生成能力，输出图像接近真实截面吸收系数分布图像。相较于LBP算法，能反映图像重建非线性本质，排除灵敏场干扰，降低重建误差，但需大量数据集训练；相较于Landweber算法，在复杂分布中重建效果好，无迭代，重建时间短，且重建图像噪声小、细节丰富。

该方法重建误差低、伪影与噪声少、与真实分布相关性高、成像时间短，具有实用价值和可行性，可用于高精度动态测量场合，未来可应用于多相流等快速动态过程或在线图像重建，实现高帧率图像重建。

声明：本文仅用作学术目的。文章来源于：徐依婷, 李华军, 朱映旷, 陈连杰, 章有虎. 基于生成对抗网络的光学层析成像方法[J]. 激光与光电子学进展, 2024, 61(12): 1211001.