研究人员根据眼睛反射重建3D环境

马里兰大学的研究人员已将眼睛反射转化为(有些可辨别的)3D 场景。这项工作建立在神经辐射场 (NeRF) 的基础上，这是一种可以从 2D 照片重建环境的人工智能技术。尽管眼部反射方法在产生任何实际应用之前还有很长的路要走，但这项研究(由Tech Xplore最先报道 )为人们提供了一个令人着迷的一瞥，该技术最终可以从一系列简单的肖像照片中揭示环境。

该团队利用人眼捕捉到的光的微妙反射(使用单个传感器拍摄的连续图像)来尝试辨别人的直接环境。他们首先从固定相机位置拍摄几张高分辨率图像，捕捉到一个移动的人朝相机看去。然后他们放大反射，将它们隔离并计算眼睛在照片中注视的位置。

结果(这里是整个动画集)显示了在受控环境中人眼可清晰辨别的环境重建。使用合成眼捕获的场景(下图)产生了更令人印象深刻的梦幻场景。然而，尝试对 Miley Cyrus 和 Lady Gaga 音乐视频中的眼睛反射进行建模时，只产生了一些模糊的斑点，研究人员只能猜测这些斑点是 LED 网格和三脚架上的相机，这说明该技术距离现实世界的使用还有多远。

该团队克服了重大障碍，甚至重建了粗糙和模糊的场景。例如，角膜引入了“固有噪声”，使得很难将反射光与人类复杂的虹膜纹理分开。为了解决这个问题，他们在训练过程中引入了角膜姿势优化(估计角膜的位置和方向)和虹膜纹理分解(提取个体虹膜独有的特征)。最后，径向纹理正则化损失(一种机器学习技术，模拟比源材料更平滑的纹理)有助于进一步隔离和增强反射的风景。

尽管取得了进展和巧妙的解决方法，但仍然存在重大障碍。作者写道：“我们目前的现实世界结果来自‘实验室设置’，例如放大捕捉人脸、照亮场景的区域灯以及有意的人的动作。” “我们认为，由于传感器分辨率、动态范围和运动模糊较低，更多不受约束的设置(例如，具有自然头部运动的视频会议)仍然具有挑战性。” 此外，该团队指出，其关于虹膜纹理的普遍假设可能过于简单，无法广泛应用，特别是当眼睛通常比这种受控环境中转动更广泛时。

尽管如此，该团队仍将他们的进展视为一个里程碑，可以刺激未来的突破。“通过这项工作，我们希望激发未来的探索，利用意想不到的、偶然的视觉信号来揭示我们周围世界的信息，拓宽 3D 场景重建的视野。” 尽管这项工作的更成熟版本可能会产生一些令人毛骨悚然和不必要的隐私侵犯，但至少您可以放心，因为今天的版本即使在最理想的条件下也只能模糊地辨认出卡比娃娃。

查看所有评论