谷歌研究分享：从RGB图像准确估计透明对象的三维姿态

解决所述问题的一个方法是，使用一个深度神经网络来修复透明对象的损坏深度图。例如，给定透明对象的单个RGB-D图像，ClearGrap可以使用深卷积网络来推断表面法线、透明表面的掩膜，以及遮挡边界，并用来优化场景中所有透明表面的初始深度估计（上图最右侧）。这种方法非常具有前景，它允许通过基于深度的姿态估计方法来处理具有透明对象的场景。但涉及修复可能相当棘手，尤其是在完全使用合成图像进行训练时，而且依然可能导致深度错误。

具有3D关键点标签的真实世界透明对象数据集

为了加速收集大量真实世界图像，谷歌建立了一个机器人数据采集系统。在这个系统中，一个机器人手臂通过轨迹移动，并同时使用两个设备（一个立体摄像头和一个KinectAzure深度摄影头）拍摄视频。

位于目标的AprilTags可以精确追踪摄像头的姿态。通过在每个视频中用2D关键点手工标记少数图像，团队可以使用多视图几何体为视频的所有帧提取3D关键点，从而将标记效率提高100倍。

团队拍摄了15种不同透明对象的图像，并使用了10种不同的背景纹理，其中每个对象4种不同的姿态，而这总共产生了600个视频序列，包括48K立体图像和深度图像。研究人员同时对不透明对象拍摄了相同的图像，从而提供精确的地groundtruth图像。所有的图像都用3D关键点标记。谷歌将公开这个真实世界图像数据集，并作为合成的ClearGrap数据集的补充。

基于早期融合的KeyPose算法

直接使用立体图像进行关键点估计的想法是为这个项目独立构思，而它最近同样出现在手部追踪的情景之中。下图是基本的思想：围绕对象裁剪立体摄像头的两幅图像，并输入到KeyPose网络中，然后KeyPose网络预测一组代表对象3D姿态的稀疏3D关键点。接下来，使用标记的3D关键点对网络进行监督训练。

KeyPose的一个关键方面是，使用早期融合来混合立体图像，并允许网络隐式计算视差。作为说明，后期融合则是分别预测每个图像的关键点，然后进行组合。如下图所示，KeyPose的输出是图像平面中的2D关键点热图，以及每个关键点的视差（即逆深度）热图。这两个热图的组合生成每个关键点的3D坐标。

与后期融合或单目输入相比，早期融合立体图像的精度通常可以提升两倍。

结果

下图说明了KeyPose对单个对象的定性结果。左边是原始立体图像之一；中间是投影到图像的3D关键点。在右边，团队将瓶子三维模型中的点可视化，并放置在由预测的3D关键点所确定的姿态中。这一网络十分高效和准确。对于标准的GPU，只需5毫秒即可完成对关键点的预测。

下表说明了KeyPose在类别级别估计的结果。测试集使用了训练集中不存在的背景纹理。请留意MAE在5.8mm到9.9mm之间变化。

总结

这项研究表明，在不依赖深度图像的情况下，我们可以从RGB图像中准确地估计出透明对象的三维姿态。它验证了使用立体图像作为早期融合深网的输入（在这个网络中，网络可以直接从立体对中提取稀疏的3D关键点）。谷歌表示：“我们希望，一个广泛的、带标签的透明对象数据集将有助于这一领域的发展。最后，尽管我们是使用半自动的方法来有效地标记数据集，但我们希望在未来的研究中使用自我监督的方法来消除手动标记。”