使用反射从新的角度看世界

当汽车沿着狭窄的城市街道行驶时，光亮的油漆或停放车辆的后视镜的反射可以帮助驾驶员瞥见原本看不见的东西，例如在停放的汽车后面的人行道上玩耍的孩子。

借鉴这个想法，麻省理工学院和莱斯大学的研究人员创造了一种计算机视觉技术，利用反射来成像世界。他们的方法使用反射将有光泽的物体变成“相机”，使用户能够像通过陶瓷咖啡杯或金属纸镇等日常物品的“镜头”看世界一样。

该技术使用从不同角度拍摄的物体图像，将该物体的表面转换为捕捉反射的虚拟传感器。AI 系统以一种方式映射这些反射，使其能够估计场景的深度并捕获只能从对象的角度可见的新视图。人们可以使用这种技术来观察拐角处或挡住观察者视线的物体以外的地方。

这种方法在自动驾驶汽车中特别有用。例如，它可以让自动驾驶汽车利用它经过的物体(如灯柱或建筑物)的反射来观察停放的卡车周围。

“我们已经证明，任何表面都可以通过这种将物体转化为虚拟像素和虚拟传感器的公式转化为传感器。这可以应用于许多不同的领域。

莱斯大学的研究生、共同主要作者 Akshat Dave 与Tiwary 一起撰写了这篇 论文;Nikhil Behari，麻省理工学院研究支持助理;麻省理工学院研究生 Tzofi Klinghoffer;Ashok Veeraraghavan，莱斯大学电气与计算机工程教授;资深作者 Ramesh Raskar，麻省理工学院媒体艺术与科学副教授兼相机文化小组组长。该研究将在计算机视觉和模式识别会议上发表。

反思反思

犯罪电视节目中的英雄们经常“放大和增强”监控录像以捕捉反射——也许是那些被嫌疑人太阳镜捕捉到的反射——这有助于他们破案。

“在现实生活中，利用这些反射并不像按下增强按钮那么容易。从这些反射中获取有用的信息非常困难，因为反射给了我们一个扭曲的世界观，”戴夫说。

这种扭曲取决于物体的形状和物体所反映的世界，研究人员对这两者的了解可能都不完整。此外，有光泽的物体可能有自己的颜色和与反射混合的纹理。另外，反射是三维世界的二维投影，这使得在反射场景中判断深度变得困难。

研究人员找到了克服这些挑战的方法。他们的技术被称为 ORCa(代表对象作为辐射场相机)，分三个步骤进行。首先，他们从多个有利位置拍摄物体照片，捕捉光滑物体上的多次反射。

然后，对于来自真实相机的每张图像，ORCa 使用机器学习将物体表面转换为虚拟传感器，该传感器捕捉照射到物体表面每个虚拟像素的光线和反射。最后，系统使用物体表面的虚拟像素从物体的角度对 3D 环境进行建模。

捕捉光线

从多个角度对物体进行成像使 ORCa 能够捕获多视图反射，除了估计有光泽物体的形状外，系统还使用它来估计有光泽物体和场景中其他物体之间的深度。ORCa 将场景建模为 5D 辐射场，它捕获有关从场景中的每个点发出并照射到每个点的光线的强度和方向的附加信息。

这个 5D 辐射场中包含的附加信息也有助于 ORCa 准确估计深度。由于场景以 5D 辐射场而非 2D 图像表示，因此用户可以看到隐藏的特征，否则这些特征会被角落或障碍物遮挡。

事实上，一旦 ORCa 捕捉到这个 5D 辐射场，用户就可以在场景中的任何地方放置一个虚拟相机并合成该相机将看到的内容，Dave 解释道。用户还可以将虚拟对象插入到环境中或更改对象的外观，例如从陶瓷变为金属。

“从 2D 图像到 5D 环境尤其具有挑战性。您必须确保映射有效并且物理上准确，因此它基于光在空间中的传播方式以及光与环境的相互作用。我们花了很多时间思考如何为表面建模，”Tiwary 说。

准确估算

研究人员通过将其与模拟反射的其他方法进行比较来评估他们的技术，这与 ORCa 执行的任务略有不同。他们的方法在从反射中分离出物体的真实颜色方面表现出色，并且通过提取更准确的物体几何形状和纹理优于基线。

他们将系统的深度估计与场景中物体之间实际距离的模拟地面真实数据进行了比较，发现 ORCa 的预测是可靠的。

“与 ORCa 一致，它不仅将环境准确地估计为 5D 图像，而且为了实现这一点，在中间步骤中，它还可以很好地估计物体的形状并将反射与物体纹理分离，”戴夫说。

基于这一概念验证，研究人员希望将这项技术应用于无人机成像。ORCa 可以利用无人机飞过的物体的微弱反射来重建地面场景。他们还希望增强 ORCa，以便它可以利用其他线索(例如阴影)来重建隐藏的信息，或者结合两个物体的反射来对场景的新部分进行成像。

Raskar 说：“估计镜面反射对于观察拐角处非常重要，这是使用场景中的微弱反射观察拐角处的下一个自然步骤。”

该研究部分得到了情报高级研究项目活动和国家科学基金会的支持。