透视眼 成真 华科学子研发透视相机 车行弯道也可看到障碍物

墙也能变为“镜子”？拐角处的物体也能成像？

毕业于美国西北大学的李冯强博士，在几天前与合作者在 Nature Communications 发表的论文中[1]，详细介绍了所涉及的主要技术——合成波长全息术。

图 | 李冯强（来源：李冯强）

借助该技术可对拐角处成像，当驾车穿过山口或蜿蜒曲折道路时，可通过显示附近看不见的其他车辆或动物，来防止交通事故的发生。

（来源：Nature Communications）

这就好比汽车行走在弯道时，在墙上安装了一面虚拟镜子，哪怕你的视线被挡住，依然能看到其他地方来的车辆。

另外由于是主动成像，该技术可在夜晚甚至有雾情况下工作。其次，也可用做工业检测，在无需拆卸的情况下，即可对设备内部进行高精度成像和检修。

另一个应用是医学成像领域，由于该技术可对透过散射介质成像，因此可以对皮肤下组织比如毛细血管进行非侵入式高精度成像，甚至可以对胸腔中跳动的心脏成像。

图 | 相关论文（来源：Nature Communications）

来自于湖北荆门的李冯强博士，本科毕业于华中科技大学光电信息工程专业，硕士就读于美国里海大学电子工程专业，2020 年在美国西北大学取得计算机科学的博士学位，期间主要从事计算成像方面的工作。在攻读博士期间，李博士和莱斯大学、威斯康辛麦迪逊大学、南卫理公会大学、阿贡国家实验室，以及大连海事大学的赵明博士有广泛的合作。

李博士目前就职于苹果公司，从事三维计算机视觉方面的算法研发工作。来到苹果之前，他曾在谷歌 X 实验室和 Facebook Reality Labs 分别实习过，期间进行机器视觉和 AR/VR 的研究工作。本次发表的论文，是他读博期间的代表作。

他表示，该研究是对位于遮挡或者散射介质后的物体进行成像，也可称为非视线成像。与之前的非视线成像技术相比，该方法能以亚毫米的精度，快速捕获大面积的全场图像。

（来源：Nature Communications）

之前大部分非视线成像技术是基于飞行时间传感技术 （time-of-flight），这类非视线成像需要通过振镜扫描来捕获全场图像，这种基于机械扫描的方式不仅耗时，而且也限制了图像的分辨率。

另外一些基于记忆效应 (memory effect) 的非视线成像技术，虽然拥有较小的探测区域、以及出色的空间分辨率，但是这些技术的扫描视角极小一般在 2 度以下，故此这类技术在应用上会受到限制。

而该研究提出的非视线成像技术是基于合成波长全息术 (synthetic wavelength holography)。由于光波的波长较短大约有几百个纳米，当光波照射到粗糙的墙面的时候，会发生散射效应，从而导致光波平面被破坏，也就无法得到光波所携带的物体结构的信息，因为这些信息很难被解码。

如果波长变长的话，波平面就会不容易被破坏，甚至可以穿透墙体成像比如声波。从物理课中我们知道，当两个频率相近但不同的声波发生干涉时，会得到一个频率是原先两个声波频率之差的声波，这个频率之差的绝对值被称为差频 (beat frequency)。

而合成波长全息术正是基于这一想法，通过两束频率相近的激光光束，来得到一个频率低和波长较长的（cm）的光波，这样即可实现把墙面变“镜面”，从而对拐角处的物体成像，以及穿透散射介质后的对物体进行成像。

在非视线成像中，基于合成波长全息术可使用更小的探测区域、更大的角度视场、以及更高的空间分辨率。同时在成像系统中，使用焦平面阵列相机还可避免之前研究中的机械扫描，从而获得更高的时间分辨率，这样就能具备对移动目标的成像能力。

（来源：Nature Communications）

尽管这项工作目前还处于研究阶段，但其具有很多潜在的应用。我们知道在平常拍照时，相机只能记录暴露在相机视场的物体信息而无法记录被物体遮挡的信息。而非视线成像正是打破这一限制。

举例来说，通过门缝可以看到房间里的信息，这是因为光线存在弯折。如果用传统相机拍照的话，则无法通过门缝看到房里面的信息，这时就可借助该技术通过门缝也能看到房间内所有物体的信息。

另外以汽车预警导航为例，汽车驾驶在弯道时通常会放置一个曲面镜。这样就可看到对面方向来的车，从而避免交通事故。非视线成像的实现起到类似的作用，假设车辆行走在道路蜿蜒时看不到前方的车，借助拐角成像，就可在拐角处看到平常用相机拍不到的信息，进而看到弯道后面的车辆信息，最终实现避免交通事故的发生。

再比如说，通过一面墙看到墙拐角的物体地方，我们可以把墙面理解成一个散射介质，这时使用传统相机无法透过墙面这一散射介质看到拐角信息。但是，因为该研究带来的合成波长足够长，墙面带来散射影响并不是很大，所以墙面就能变成一个反射镜。

对于透射介质来说，比如通过皮肤看皮下组织信息时，我们可以把皮肤看作是一个遮挡物，它会阻碍相机对皮下组织的成像，但是该研究提出的合成波由于波长足够长，使其可穿过遮挡物对皮下组织进行成像。

（来源：Nature Communications）

据介绍，这项研究由李博士的同事弗洛里安·威洛米策（Florian Willomitzer）博士领导，李博士作为共同作者参与了整个项目的研发，包括项目论证以及理论分析，实验平台搭建以及实验，实验结果分析和讨论，重建算法开发等，其博士导师西北大学计算机科学副教授奥利弗·科萨特（Oliver Cossairt）则负责指导该研究。

图 | 西北大学的研究者（来源：李冯强）

这项研究的灵感，来自该团队在飞行时间三维成像技术的工作。之前，该团队通过使用合成光波实现了对大尺度的物体高精度的三维扫描，相关论文发表在 IEEE International Conference on Computational Photography （ICCP）2018和 IEEE Transactions on Pattern Analysis and Machine Intelligence 2021。李博士作为第一作者和通讯作者领导了这两项工作。

（来源：Nature Communications）

与此同时由于是计算成像，该研究涉及到各种交叉学科，包含物理建模，光学设计，电子器件的耦合控制，数据的采集及处理，以及图形处理和重建及优化算法开发。

在本次研究中，该团队先是跟南卫理公会大学几位合作者进行了理论分析，接着进行仿真模拟实验，模拟在不同的粗糙墙面单波长和合成波长的反射以及散射效应，并且开发了二维和三维重建算法。

通过模拟实验，该团队更深一步地理解了在整个成像过程中的物理效应和原理。最后，李博士等人进行实际实验论证、搭建实验平台、开发实验采集、数据处理以及重建算法，并在不同的非视线成像情况 包括拐角处以及散射介质后，对物体进行成像。

（来源：Nature Communications）

相比于之前的研究，该团队提出了一种全新的非视线成像的解决方案，审稿人也给出了积极评价，对于研究结果也很兴奋。

（来源：Nature Communications）

据李博士介绍，他们在研究中也遇到了一些困难。他表示在实验验证时碰到和解决各种工程问题，很多问题在模拟仿真中并未被注意到。

比如，实验平台搭好以后发现得到的合成波长全息图非常的弱，排查了所有硬件和处理算法后，发现是参考光和物光的强度不匹配，通过调整参考光的强度，他们最终顺利得到了预想中的合成波长全息图。

对于该研究的后续工作，据李博士介绍，该团队计划在图像采集速度，成像质量，图像处理上进一步提高。同时在系统集成上，该团队也希望使整体系统更加小型和轻便化。

-End-

参考：

1.Willomitzer, F., Rangarajan, P.V., Li, F. et al. Fast non-line-of-sight imaging with high-resolution and wide field of view using synthetic wavelength holography. Nat Commun 12, 6647 (2021). https://doi.org/10.1038/s41467-021-26776-w