生成建模工具在3D中渲染2D草图

卡内基梅隆大学 机器人研究所 (RI) 的研究人员开发的机器学习工具可能允许初学者和专业设计师创建从定制家居家具到视频游戏内容的一切事物的 3D 虚拟模型。

Pix2pix3d 允许任何人使用类似于支持流行的 AI 照片生成和编辑应用程序的生成人工智能工具来创建 2D 草图的逼真 3D 表示。

“我们的研究目标是通过机器学习和数据驱动方法的力量让更多人能够创作内容，” 计算机科学学院助理教授、pix2pix3d 团队成员朱俊彦说。

与其他能够创建二维图像的工具不同，pix2pix3d 是一种 3D 感知条件生成模型，它允许用户输入二维草图或来自标签图(例如分割图或边缘图)的更详细信息。然后，Pix2pix3d 合成几何、外观和标签的 3D 体积表示，可以从多个视点渲染，以创建类似于照片的逼真三维图像。

“只要你会画草图，你就可以制作自己定制的 3D 模型，”与 Zhu、 Deva Ramanan教授 和博士同为研究团队成员的 RI 博士生 Kangle Deng 说。 学生杨庚山。

Pix2pix3d 已经接受过包括汽车、猫和人脸在内的数据集的训练，该团队正在努力扩展这些能力。未来，它可以用于设计消费产品，比如让人们能够为自己的家定制家具。新手和专业设计师都可以使用它来定制虚拟现实环境或视频游戏中的项目，或者为电影添加效果。

pix2pix3d 生成 3D 图像后，用户可以通过擦除和重新绘制原始二维草图来实时修改它。此功能使用户可以更自由地自定义和优化图像，而无需重新渲染整个项目。变化反映在 3D 模型中，并且从多个角度来看都是准确的。

它的交互式编辑功能使 pix2pix3d 有别于其他建模工具，因为用户可以快速有效地进行调整。这种能力在制造等领域尤其有用，因为用户可以轻松设计、测试和调整产品。例如，如果设计师输入带有方形引擎盖的汽车草图，模型将提供此类汽车的 3D 渲染图。如果设计师擦掉草图的那部分并将方形引擎盖替换为圆形引擎盖，则 3D 模型会立即更新。该团队计划在未来继续完善和改进此功能。

邓指出，即使是最不艺术的用户也会获得令人满意的结果。该模型可以生成简单或粗略草图的准确输出。当从分割或边缘图中获得更精确和详细的数据时，该模型可以创建高度复杂的 3D 图像。

“我们的模型对用户错误具有鲁棒性，”Deng 说，并补充说，即使是松散地类似于猫的 2D 草图也会生成猫的 3D 图像。