科学家提出新型光纤成像系统，实现彩色图像的高质量传输-天天快看点

“在科研之中，使用该技术有望发展出小型化的成像系统，以便安装在活体动物上，进而有望对模型哺乳动物器官进行实时成像；在临床应用中，该技术有望发展成更安全的内窥镜系统，以用于临床诊断或辅助手术操作。”MIT 博士后赵建表示。

(相关资料图)

来到 MIT 之前，他在美国中佛罗里达大学光学与激光教育研究中心（CREOL，Center for Research and Education in Optics and Lasers）获得博士学位。其表示：“美国只有三个大学可以授予光学与光子学博士学位，CREOL 便是其中之一。CREOL 的光学项目在全美排名第九名，在这里可以学习到丰富的光学课程以及受到完备和扎实的学术训练。”

图 | 赵建（来源：赵建）

正是在 CREOL 读博期间，他和当时所在的团队研发出基于非监督学习的新型光纤成像系统方案——Restore-CycleGAN-GALOF，也就是本文开头提到的新技术。

这项新技术的研究背景在于，考虑到光纤成像系统（Fiber-Optic Imaging System, FOIS）的重要价值、以及此前的技术瓶颈，赵建等人研发了 Restore-CycleGAN-GALOF 的方案。

（来源：Light: Science & Applications）

无论是在硬件设计上，还是在深度学习算法上，该方案均具有一定创新之处。

在硬件设计上，课题组采用安德森局域光纤（GALOF）作为核心光纤器件。GALOF 具有随机的微结构、以及极高的鲁棒性，在光学图像信息传输过程中，可以非常稳定地承受较强的光纤机械弯折和光纤温度变化。

同时，GALOF 也能兼容宽光谱的光源，而且拥有很高的信息传输密度。在 GALOF 的基础之上，该团队进一步开发了透射式和反射式两种成像系统。

在深度学习算法上，通过采用非监督学习的循环生成对抗网络（CycleGAN），课题组开发了适合 GALOF 系统的 Restore-CycleGAN 深度学习模型，并将其用于图像的重建。

这种基于非监督学习的新模型，突破了基于监督学习的光纤成像系统的技术瓶颈。通过将 Restore-CycleGAN 与 GALOF 成像系统进行有机结合，当采用此次新方案进行模型训练时，无需依赖严格标记的训练图像，并能极大减小所需要的图像数量。

详细来说，Restore-CycleGAN-GALOF 方案使用 1000 组无标记的训练图像，只需单次训练即可针对不同实验条件下的生物样本，进行高质量的彩色图像传输。

相比基于监督学习的方案，Restore-CycleGAN-GALOF 方案在大大减少重复训练次数的同时，还能将训练图像的数量至少压缩十倍。

这种基于单次、无标记、小数据集的模型训练方法，可以显著提高成像速度，简化实验系统和实验步骤，能够更好地满足实际需要。

基于非监督学习模型 Restore-CycleGAN，研究人员在大角度光纤机械弯折、以及样品距离变化的情况之下，实现了彩色图像的高质量传输。

这种高鲁棒性的特点，非常适合用于复杂活体器官腔体之内的成像。

（来源：Light: Science & Applications）

进一步地，课题组还通过实验证明在不显著增加训练图像数量的情况下，他们的非监督学习方案也可以提高光纤图像重建的普适性。而这种普适性使得这种新方法可以有效应对训练图像数据中未曾出现过的样本，也可以提高数据采集的速度，以及简化实验装置和步骤。

日前，相关论文以《基于无序光纤的无监督全彩细胞图像重建》（Unsupervised full-color cellular image reconstruction through disordered optical fiber）为题发在 Light: Science & Applications上[1]，胡潇文是第一作者，赵建担任通讯作者。

图 | 相关论文（来源：Light: Science & Applications）

光纤成像系统的重要性

尽管本次新方案使用了深度学习技术，但其本质还是一款光纤成像系统。那么，该类系统到底有着怎样的重要性？

由于生物成像的对象和环境存在多样性的特点，人们曾研发出多种生物成像光学仪器，比如荧光显微镜、相干拉曼显微镜、相位显微镜等。

在各种不同类型的成像系统中，光纤成像系统在某些特殊的生物成像环境中，扮演着不可替代的重要作用。

具体来讲，在临床应用和科研之中，人们经常需要深入活体动物的器官腔体内部或侵入动物的大脑皮层深处，去采集细胞和组织的图像。

这些特殊的成像环境和成像对象，要求光学成像系统必须具备以下特点：图像采集部分体积小、对生物体的损伤小。同时，还要求所采集的图像数据，能够沿着变化的路径，长距离地传输到生物体外。

因此，很多常见的成像系统例如光学显微镜，受限于体积或图像传输方式，很难满足以上要求。

与其他方案相比，光纤成像系统可以有效应对上述苛刻的生物成像环境。

光纤直径一般在一百微米到几百微米之间，与其配套的光学元器件尺寸，也大多在几百微米到几毫米之间，这可以最大限度地减小对于生物体的损伤，因此特别适合对器官腔体内部或实验动物的大脑皮层进行成像。

更重要的是，光纤本身具有极高的柔韧性和超长的光学信号传输距离，因此可以满足特殊成像环境之下绝大部分的光学图像数据传输。由此可见在临床医学和生物科研中，光纤成像系统有着巨大的潜在价值。

（来源：Light: Science & Applications）

光纤成像系统面临的挑战

此前，光纤成像系统面临的挑战主要来自光纤器件和图像重建算法。在现有解决方案之中，两种最常见的方案是多模光纤（Multimode Optical Fiber, MMF）和相干光纤束（Coherent Fiber Bundle, CFB）。

这两种光纤都是成熟的商业化产品，成本也较低。而且，基于多模光纤和相干光纤束的解决方案，已经在成像方面取得较大进展。尤其是多模光纤的直径多数在 200 微米左右，因此可以最大限度地降低侵入损伤。

但是，二者又面临着光纤器件本身带来的局限性。多模光纤所面临的最大挑战在于，它对外界的微小扰动呈现出高度敏感性，任何微小的光纤曲度变化或环境温度变化，都会显著地改变光学图像数据的传输过程，因此基于多模光纤打造的成像系统，存在鲁棒性不佳的缺点。

在实际的生物成像中，基于多模光纤的方案一般把光纤长度局限在几厘米左右，只有这样才能提高鲁棒性。

对于相干光纤束来说，其传输图像的方式是把光纤束中每一个单独的纤芯作为一个像素来传递信息。尽管这种方式更加简单，但是单位面积内的信息传输密度相对较低。

并且，相邻的纤芯之间存在倏逝波耦合的问题，为了减小倏逝波耦合，针对相干光纤束的设计必须满足以下两个条件：其一要保持每根纤芯之间的间距，这就导致光纤直径比较大，大多在几百微米到几毫米之间；其二，在这种方案中只能对某一个波段优化，因此很难适应于宽光谱的光源。

而在图像算法上，传统的基于物理模型的方法，存在图像重建质量不高的问题，所以难以高质量地处理复杂的生物图像。

近年来，基于深度学习的算法，人们在光纤成像系统的图像重建上取得了不少成果。采用深度学习算法的好处在于，既能处理光纤系统所对应的复杂物理过程，又能得到高质量的生物图像。

尽管已经取得了长足的进步，但是现有的深度学习方案大多基于监督学习，因此需要大量严格标记的图像数据，以便进行深度学习模型的训练。

这给实验系统的设计、校准和数据采集，带来了极大的负担。既增加了系统结构和系统校准的复杂度，又延长了数据的采集时间，严重阻碍着基于深度学习的光纤成像系统的推广。

（来源：Light: Science & Applications）

一个 YouTube 视频带来的灵感

正是基于这样的背景，赵建开展了本次研究。

2016 年夏，赵建加入美国中佛罗里达大学阿克塞尔·舒尔茨根（Axel Schülzgen）教授课题组，后者让赵建研究基于玻璃和空气结构的安德森局域光纤及其潜在应用。

更早之前，Axel 的合作者新墨西哥大学的阿瑞仕·马斐（ Arash Mafi）教授，研发了基于高分子聚合物材料的安德森局域光纤。

那时，Arash 团队初步证实了安德森局域光纤的图像传输能力，并证明光纤内的模式是以单模为主，因此具有较高的鲁棒性。

但是，由高分子聚合物材料构成的光纤，在可见光波段的功率损耗极大，传播距离也比较短，所能传输和展示的图像也仅仅局限于简单的黑白双色数字图像。

因此，要想研究安德森局域光纤的相关物理问题，并推动它在实际光纤成像中的应用，就必须发展基于玻璃材料的安德森局域光纤。

尽管 Arash 团队曾研究过玻璃的安德森局域光纤，但是受限于制作工艺，只有在光纤横截面的某些局部区域，他们的玻璃光纤器件才能观察到安德森局域现象，而这远远无法用于图像传输。

在赵建接手这个项目之后，他调研了一些相关文献，并和中佛罗里达大学的罗德里戈·阿梅兹夸·科雷亚（Rodrigo Amezcua Correa ）教授团队开展合作。

经过多次尝试之后，赵建等人终于找到正确的方法，来制作具有图像传输功能的高质量 GALOF 光纤。期间，他们造出了第一种能用于实际光纤成像的 GALOF。

在 GALOF 的帮助之下，他们初步搭建了透射式的图像传输系统。而在光学图像传输过程之中，光纤的机械弯折和温度变化也具有不错的稳定性，并且图像传输的质量超过了传统光纤。

赵建的合作者也证明：GALOF 内部是以单模为主，其局域模式即便在很宽的光谱范围内，也不会发生较大变化，这意味着 GALOF 具备高质量传输图像的巨大潜力。

大约六年之前，在图像的处理上，深度卷积神经网络已经大放异彩。但是，当时在光学上的应用仍是方兴未艾。

与此同时，该团队也意识到采用传统的图像处理方法，很难得到理想的光纤图像重建结果。

为此，他们开发了基于监督学习的 U-Net 模型架构，进一步地研发了 GALOF 透射式成像系统，可以高质量地传输复杂的生物图像。

在光纤大角度机械弯折、光纤温度变化、以及样品距离变化的情况下，课题组进一步证明基于监督学习的 GALOF 成像系统，在图像传输中具有优越的鲁棒性。

（来源：Light: Science & Applications）

之后，赵建意识到监督学习模型在光纤成像中的局限性。2019 年，他开始关注生成对抗网络（Generative adversarial network，GAN）技术、以及各种衍生技术的发展。

作为生成对抗网络的衍生技术，CyleGAN 技术可以助推非监督学习光纤成像系统的研发。如前所述，基于监督学习模型的方案存在种种弊端。而采用 CyleGAN 技术研发的方案，可以克服上述不足。

而决定采用 CyleGAN 技术，也来源于赵建的一次视频学习经历。他说：“有一天，我在看一个关于 CycleGAN 的视频，忽然意识到这或许可以用来生成非监督学习的 GALOF 光纤成像解决方案。当时，我已经完成了反射式的系统并且拥有一些实验数据。于是，我试着写了代码并用一些黑白双色数字图像的实验数据进行测试，而这也是此次工作的最初起源。”

于是，在研发 GALOF 成像系统的基础之上，他们进一步开发了 Restore-CycleGAN-GALOF 方案，该方案基于非监督学习 Restore-CycleGAN 的架构。

此外，赵建等人还研发出透射式和反射式两种系统，在单次、小样本、无标记的模型训练基础之上，实现了高质量、高鲁棒性、高普适性的彩色生物图像传输。

2019 年秋天，赵建的师弟胡潇文开始接棒，后者推进并完成了基于 CyleGAN 架构的非监督学习 GALOF 成像工作。

赵建表示：“潇文最重要的贡献在于开发了 Restore-CycleGAN 模型以及数据预处理的方法，借此彻底实现了彩色的高质量光纤生物成像。”

此外，胡潇文还发展了新的反射式实验装置，该装置的意义在于它比透射式的装置更加符合生物学成像的实际需求。此前胡潇文已经获得博士学位，目前就职于位于美国加州的荷兰光刻机公司 ASML。

接下来，赵建及其所在团队将进一步优化 GALOF 的制造工艺，通过改善器件性能，来发展更紧凑的小型化器件，并将发展对应的新型非监督学习算法，以便提高系统对于实际生物成像的适应性，同时提高对应的成像表现。此外，课题组未来还将展开动物成像的研究，从固定的细胞和组织样品迈向活体模型动物。

参考资料：

1.Hu, X., Zhao, J., Antonio-Lopez, J.E. et al. Unsupervised full-color cellular image reconstruction through disordered optical fiber.Light Sci Appl 12, 125 (2023). https://doi.org/10.1038/s41377-023-01183-6

关键词：