人工智能使用深度学习将2D图像转换为3D [视频]

代表Deep-Z的例证，一种基于人工智能的框架，可以在数字重新聚焦2D荧光显微镜图像（底部）以产生3D切片（左侧）。

洛杉矶研究团队加州大学设计了一种延长荧光显微镜的能力的技术，这使科学家可以精确标记在特殊照明下发光的染料的活细胞和组织。研究人员使用人工智能将二维图像转换成堆叠的虚拟三维切片，显示在生物体内的活动。

在一项研究中发表于2019年11月4日的全新方法，科学家们还报告说，他们的框架称为“深Z”，能够在图像中修复错误或像差，例如当样本倾斜或弯曲时。此外，它们证明该系统可以从一种类型的显微镜中采用2D图像，并且实际上创建样品的3D图像，就像通过另一个更先进的显微镜一样获得。

“这是一种非常强大的新方法，通过深入学习能够执行现场标本的3D成像，最少的暴露于光线，这可能对样品有毒，”UCLA Chancellor的电气电脑教授大型州大肠杆菌纳米系统研究所的工程与副主任。

除了从潜在的损伤剂量的光线施用标本外，该系统还可以提供生物学家和生命科学研究员，研究人员是3D成像的新工具，比当前方法更简单，更快，更便宜。纠正像差的机会可能允许科学家研究生物体，从图像中收集数据的数据，否则将无法使用。调查人员还可以获得对昂贵和复杂的设备的虚拟访问。

该研究在较早的技术ozcan和他的同事中建立了允许它们以超级分辨率渲染2D荧光显微镜图像。这两种技术通过依靠深度学习来推进显微镜 - 使用数据来“训练”神经网络，这是一种由人类大脑启发的计算机系统。

使用来自扫描荧光显微镜的实验图像教导深Z，这拍摄于多个深度的照片，以实现样品的3D成像。在数千次训练中，神经网络学会了如何在样本内的不同深度下拍摄2D图像和推断精确的3D切片。然后，盲目地测试了框架 - 用非训练的图像喂食，虚拟图像与从扫描显微镜获得的实际3D片相比，提供了优异的匹配。

Ozcan和他的同事们将深Z应用于C. Elegans的图像，这是一种蛔虫，这是神经科学的常见模型，因为其简单且良好的神经系统。将蠕虫的2D电影转换为3D，框架框架，研究人员能够跟踪蠕虫体内的近神经元的活性。从不同深度拍摄的C.杆杆线虫的一个或两个2D图像开始，Deep-Z产生虚拟3D图像，使团队能够识别蠕虫内的敏感神经元，匹配扫描显微镜的3D输出，除了较少的光线暴露之外生物体。

研究人员还发现，Deep-Z可以产生来自2D表面的3D图像，其中样品倾斜或弯曲 - 即使仅具有与样品表面完全平行的3D切片训练。

“这个功能实际上是非常令人惊讶的，”伊希武师是公布的联合第一个作者的UCLA研究生。“用它，你可以通过对图像充满挑战的曲率或其他复杂拓扑来看看。”

在其他实验中，深Z用来自两种类型的荧光显微镜的图像培训：宽场，其将整个样品暴露于光源;和共聚焦，它使用激光通过部分扫描样品部分。Ozcan及其团队表明，他们的框架可以使用样品的2D宽野显微镜图像来产生与用共聚焦显微镜拍摄的三维图像。

与广域相比，这种转换是有价值的，因为共聚焦显微镜创建具有更加敏锐的图像，与宽领域相比。另一方面，宽野显微镜以较少的费用且具有较少的技术要求捕获图像。

“这是一款通常适用于各种显微镜的平台，而不仅仅是广泛的共聚焦转换，”UCLA助理辅助教授电气电脑工程教授亚金士·亚金里··伊尔·里富森表示。“每次显微镜都有自己的优缺点。通过此框架，您可以使用AI以数字方式连接不同类型的显微镜来获得两全其美。“

###

参考：“使用深度学习的荧光显微镜图像三维虚拟重焦”由伊希吴，亚金兰王，李w·罗，蚊帐，赖恩······罗拉，基督教普拉利拉，艾迪戈·奥兹卡纳，2019年11月4日，自然方法。 DOI：
10.1038 / S41592-019-0622-5

其他作者是研究生洪达王和伊林罗，博士后同胞Eyal Ben-David和Laurent Bentolila，California纳米系统研究所的先进光学显微镜和光谱实验室，所有UCLA;和以色列耶路撒冷大学希伯来大学的基督徒Pritz。

该研究得到了科学集团，国家科学基金会和霍华德休斯医学院的支持。成像在CNSI的先进光学显微镜和光谱实验室和Leica Microsystems卓越中心进行。