研究进展：深度学习的单像素成像

单像素成像突破传统成像依赖阵列探测器的模式，仅依靠单个像素探测器实现物体场景的高质量成像，在众多领域展现出独特优势。其起源于量子成像，自1995年Pittman等利用纠缠双光子实现量子成像后，研究不断演进。它能够将二维或三维物体场景经调制光场编码为一维探测信号，再凭借特定算法还原高维信息，这种特殊机制为高光谱成像中获取丰富光谱数据、遥感领域远距离探测、三维成像构建立体模型、高速成像捕捉快速动态场景以及显微成像洞察微观世界提供了有效途径，解决传统技术难题。

从发展脉络看，早期量子纠缠主导量子成像，随后赝热光实现经典光源鬼成像，推动对其物理本质探索。2008年，Shapiro实现计算鬼成像，揭示光场强度二阶关联特性关键作用，单像素成像同期提出，二者成像机理相通。此后，差分鬼成像、归一化鬼成像、对应鬼成像及压缩感知算法应用，提升成像质量与效率。如压缩感知算法利用信号稀疏性，在采样点不足时重建图像，为单像素成像发展注入活力。近年，深度学习崛起，其强大学习与建模能力为单像素成像带来革新机遇，开启新突破征程。

东北大学信息科学与工程学院王琦团队发表文章，探讨深度学习在单像素成像中的应用，介绍单像素成像的理论，其中包括三种经典成像理论与深度学习成像理论与根据驱动方式的不同将深度学习单像素成像分为数据驱动式、物理驱动式及混合驱动式，又在每个驱动模式下根据神经网络所扮演的不同角色，将其划分出“图像到图像”和“测量值到图像”两种成像方法，介绍深度学习神经网络技术是如何应用到单像素成像中的；然后给出了不同成像方法的具体原理和典型研究进展，并对它们进行讨论对比。

成像原理基于激光照射旋转毛玻璃形成调制光场，经分束器分别作用于待测物体与CCD相机，单像素探测器收集物体透射或反射总光强，结合调制光场空间信息成像。通过公式计算单像素光强值，经多次测量依公式恢复场景信息。但实际恢复含像素场景图像时，测量次数致调制矩阵不可逆，形成不适定问题，压缩感知成为解决关键，其依据信号稀疏性，在稀疏基下表示图像信号，经欠采样与凸优化求解稀疏信号进而恢复图像。

单像素成像原理

二、压缩感知成像算法

核心在于信号稀疏性可降低采样要求，以稀疏变换（傅里叶、小波、离散余弦变换等）为基础，将图像信号于稀疏基表示。欠采样过程后，因从低维信号恢复高维稀疏信号为不适定问题，借助凸优化求解，最终代入恢复图像，大幅提升单像素成像重建质量

三、傅里叶成像算法

核心在于信号稀疏性可降低采样要求，以稀疏变换（傅里叶、小波、离散余弦变换等）为基础，将图像信号于稀疏基表示。欠采样过程后，因从低维信号恢复高维稀疏信号为不适定问题，借助凸优化求解，最终代入恢复图像，大幅提升单像素成像重建质量。

四、深度学习成像算法

核心是神经网络拟合单像素系统输入输出映射关系。通过获取反映真实分布训练数据、搭建适配网络模型及利用优化器训练权重最小化代价函数，构建映射函数。完成后，输入桶信号或传统算法恢复的噪声图像，即可输出高质量图像，为单像素成像智能化发展开辟道路。

一、驱动方式

● 数据驱动式：

聚焦从数据挖掘先验知识求图像最优解。通过神经网络拟合输入输出数据对构建映射关系，重建图像时输入近似图像或单像素探测信号，无需迭代运算，快速获最佳结果，体现高效数据处理优势。

将单像素成像物理过程融入未训练网络，借物理模型约束优化权重生成图像。在泛化性上，对不同场景适应性强；可解释性层面，依托物理模型清晰呈现成像逻辑，弥补数据驱动式局限。

深度学习单像素成像中的驱动方式。（a）数据驱动式；（b）物理驱动式

二、神经网络角色

● “图像到图像”：

数据驱动式凭借大量数据集预训练网络学习映射关系，如常见全连接层或卷积神经网络架构应用；物理驱动式先以传统算法获物体粗略近似，搭建含物理约束未训练网络，经迭代缩小模拟与真实探测值损失，优化权重逼近真实图像。

● “测量值到图像”：

数据驱动式端到端网络直接从测量值重建图像，如2019年开创性工作及后续拓展，还广泛用于 “无图像” 目标识别，依场景定标签类型，突破传统成像信息局限；物理驱动式网络依物理模型将一维探测信号映射为二维目标图像，迭代优化成像质量。

深度学习单像素成像中的神经网络作用。（a）“图像到图像”方法；（b）“测量值到图像”方法

一、驱动方式与输入

混合驱动融合数据与物理驱动优势，采样策略优化意义深远。传统收集单像素成像数据需长时间多模式调制光场采样，负担沉重。自编码器优化策略将采样策略融入网络，仅需真实图像训练，免除复杂数据制作，提升数据利用效率，优化成像流程。

二、网络结构

网络结构抉择影响深远，卷积网络局部感知与参数共享特性优于全连接网络，深层网络抽象表达能力强于浅层网络，跳跃连接促进信息跨层流动优于直接连接。但神经网络学习存在不可解释性，选择结构应权衡性能与信号特征保留，确保成像质量与特征完整性。

三、损失函数

损失函数是网络性能关键调节杠杆，适当引入物理先验与全变分正则化意义重大。物理先验依据成像物理原理约束网络学习方向，全变分正则化抑制图像噪声与细节丢失，协同提升图像质量、增强网络泛化能力、缓解过拟合现象，保障成像效果稳定性与可靠性。

硬件维度，二维阵列探测器缺失或昂贵场景下单像素成像成本效益显著，且能捕获传统技术遗漏的光场偏振、相位等多维信息，在高速成像与瞬态观测场景，其高带宽、高分辨率特性无可替代。软件视角，成像效率受采样与重构效率制约，依赖适配重构算法还原场景信息，不同应用需求催生算法优化核心课题，深度学习算法虽有进展，但网络自适应调整能力仍是发展关键。

从目前来看，深度学习单像素成像方法一直紧随机器学习神经网络的发展，从全连接网络到复杂结构网络、从浅层网络到深度神经网络、从人工神经元到大模型、从数据驱动到物理微调，都表现出了巨大优势。具体表现为更高质量的重构、更高速实时的成像效率和散射介质、空间遥感和显微观测等更多复杂场景的适用性。但在目前众多深度学习单像素成像系统中，当采样次数、调制光场和成像大小等改变时，网络结构需要重新调整与训练。因此一个灵活的自适应的深度学习单像素成像方法尤为重要。

随着深度学习技术的不断改进，可以预期深度学习单像素成像将与更多的计算机最新领域模型相结合，持续挖掘深度学习潜力，拓宽广度增大神经网络形成大模型，实现规模量变到性能质变，完成深度学习单像素成像算法的突破，为应对不断复杂化的图像场景和更多干扰因素提供更有力的解决方案，使小视场生物医学成像、大视野空间遥感和高速自动驾驶目标检测等领域走向实际应用，开启一系列潜在的机遇和挑战。

声明：本文仅用作学术目的。文章来源于：王琦, 米佳帅. 基于深度学习的单像素成像研究进展[J]. 激光与光电子学进展, 2024, 61(10): 1000005.