以下文章来源于深圳大学可视计算研究中心 ，作者何鑫
导读
本文是VCC何鑫同学对论文 SHRED: 3D Shape Region Decomposition with Learned Local Operations 的解读，该工作来自布朗大学并已被发表在计算机图形学顶级会议SIGGRAPH ASIA 2022上。
项目主页：
https://rkjones4.github.io/shred.html
该工作提出了一种三维形状区域分割方法 (SHRED)，该方法以三维点云作为输入，使用学习到的局部运算来产生近细粒的零件实例分割。SHRED中各模块是独立训练的，对于非训练集中的物体类别，SHRED依然能生成高质量的分割结果。
注：本文
与视频均来自原论文与其项目主页。
I
引言
使用几何和视觉线索对三维形状进行分割已有悠久的研究历史。近年来，大多数研究工作对数据驱动的神经方法进行了探索。在训练数据注释丰富的情况下，大多数方法通过全局学习，在执行粗分割任务时能够产生良好的效果。虽然粗分割通常是全局一致的，但即使是对于同一类物体，细粒度的分割依然存在高度多样性。例如，大多数椅子通常具有座位、靠背和底座，但少部分椅子具有脚轮。除此之外，对于训练数据之外的三维形状，现有方法通常无法产生合理的分割结果。
本次导读论文介绍了一种新的三维形状分割方法，首先对输入的三维形状进行简单分割，得到初始分割结果，然后依次通过三个模块，第一个模块将一个区域分为多个子区域，第二个模块修复区域的边界，第三个模块判断相邻区域是否可以合并。这三个模块均使用神经网络进行建模，通过ground-truth的区域标注信息来训练。最后文章将SHRED的分割结果与现有方法的分割结果进行对比，实验结果表明，SHRED产生的细粒度实例分割结果优于现有方法。
II
技术贡献
本工作主要贡献如下：
提出SHRED，使用学习到的局部分离、修复、合并运算，对三维形状进行区域分割；
通过验证，SHRED在细粒度分割性能方面优于baseline方法，在分割质量和粒度之间能更好的找到平衡。
如图1所示，与现有方法相比，本文方法的分割结果更接近ground-truth。
图1 不同方法分割结果对比
III
方法介绍
SHRED以三维形状 作为输入，输出细粒度区域分割结果 s.t
。
定义ground-truth的区域分割结果为 应该满足以下特性：
(1) 应该为 的子集，即 ;
(2) 中分割的区域数量不应该超过 中分割的区域数量，即 。
第一个属性表示 中的区域不应超越 定义的区域边界，否则容易发生欠分割，而第二个属性表示 的分割粒度不应该超过 的分割粒度，否则容易发生过分割。这两种性质是互斥的，当 时，两种性质才会同时满足。
图2展示了SHERD的网络结构，由三个模块组成，分别为：分离模块，修复模块、合并模块，三个模块均由PointNet++[1]演变而来。分离模块的任务是决定一个区域是否应该进一步分割为多个子区域，该网络使用PointNet++的实例分割back-bone，具有4个set abstraction层。由于分离网络无区域外的形状信息，故对区域边界的分离容易产生错误，修复模块则负责修复错误，改善区域边界。与分离网络相似，修复网络同样使用PointNet++的实例分割back-bone，但没有使用batch norm。合并网络使用PointNet++的分类back- bone，通过对相邻区域 预测合并概率，来决定是否合并
。
如果相邻区域 的合并概率高于用户定义的合并阈值，则将两个区域合并。三个模块的学习率分别为 batch sizes分别为64, 64, 128。在试验过程中，首先使用最远点采样法(FPS)对输入的三维形状进行简单的区域划分，然后依次通过三个模块，最终生成高质量的区域分割结果。
图2 网络结构图
IV
部分结果展示
本文使用PartNet[2]的数据对所提方法进行训练和评估，域内（in-domain）物体包括三类，分别为椅子，灯，家具；域外（out-domain）物体包括7类，分别为床，显示器，耳机，水龙头，刀，冰箱，和桌子。本文将FPS，ACD[3]，PN Seg[2]，WOPL[4]，L2G[5]等方法作为baseline。本文提出的网络在域内物体上训练后，在域外物体上测试，也可以得到理想的分割结果，分割性能如表1所示。
表1 细粒度实例分割性能对比
与文献[4]类似，本文使用AIoU指标来衡量网络预测的分割结果和ground-truth的一致性，从图3可以看出SHRED显著优于其它方法。
图3 区域分割一致性对比
SHRED与baseline方法的分割结果定性对比如图4所示。SHRED可以通过调整合并阈值来改变分割粒度，图4中第6-8列展示了不同的合并阈值对分割结果的影响，从左至右合并阈值分别为20%，50%（默认值），80%。
图4 区域分割定性对比
V
总结与展望
本文提出一种通过学习局部分离、修复、合并运算来对三维形状进行区域分割的方法，称为SHRED。实验结果表明，SHRED对域外数据也能产生高质量的分割结果。与baseline方法相比，SHRED能够通过合并阈值来调节分割粒度。
虽然SHRED对域外数据能够产生令人信服的高质量区域分割结果，但是目前的试验数据均为人造数据，未来可以考虑使用真实扫描的数据，如三维场景等，将SHRED推广到更多样化的领域。
VI
思考与讨论
Q: 该方法是否对每个三维形状的分割都达到了最优？
A: 虽然对SHRED中分离、修复、合并三个模块的顺序应用能够得到理想的分割结果，但并非对每个三维形状都能得到最优分割。
Q: 当获取数据标记受限时，如何使用SHRED来提高细粒度语义分割性能？
A: 最近提出了神经引导的形状解析器（NGSP）[6]，该方法能够学习如何为三维形状的区域分配细粒度语义标签，可以通过将SHRED与NGSP相结合来提高细粒度语义分割性能，如图5所示。
图5 将SHRED与NGSP结合以提高分割性能
以下是开放性问题，欢迎读者朋友留言讨论：
Q: 是否可以进一步设计SHRED中的三个模块，使该方法能够分割真实的三维场景？
转自：“arXiv每日学术速递”微信公众号
如有侵权，请联系本站删除！
