以下文章来源于深圳大学可视计算研究中心 ，作者谢科
导读
该工作由深圳大学可视计算研究中心黄惠教授课题组与加拿大圭尔夫大学龚明伦教授合作完成，已发表在国际顶级XR盛会IEEE VR 2023上。
项目主页：
https://vcc.tech/research/2023/Renderability
该工作围绕基于图像的渲染方法，根据输入图像和粗糙模型，针对在空间中不同渲染位置和角度可能取得的渲染图像质量估计，提出了可渲染性 (Renderability) 这一概念和量化计算方法。该论文的研究成果可以应用在大规模场景静态
预览中的视角推荐，视频预览中的相机路径推荐，以及交互式渲染等应用中。
I
引言
在计算机图形和计算机视觉系统中，基于图像的渲染（Image-based rendering，既IBR）是在不需要建立过于复杂的模型的情况下，使用一组在场景中拍摄的照片，合成新视角(即不在这组照片拍摄的相机位置上)的图像, 因为IBR是依靠实际拍摄的真实照片渲染出来的，它的突出特点是照片级的真实度。
虽然IBR取得的图像真实度比较高，但是新的视角的渲染结果依赖于输入的已有的图像，以及具体采用的IBR方法等等。因为输入图像并不能完整的覆盖场景的每一个细节，所以不是所有的新视角都能取得令人满意的渲染效果。已有的研究工作并没有针对具体的IBR方法，分析和研究哪一些新的视角有可能取得良好的渲染效果。该论文基于已有的图像和粗糙模型，提出了在空间中针对不同视角取得图像质量（可渲染性）的预测方法，在实际应用中用户可以避开可渲染性低的视角，选择可渲染性高的视角。该论文同时提出了2种基于可渲染性的应用场景—大型场景的视频预览的相机路径推荐，大型场景的静态图像预览的视角推荐。
II
技术贡献
本工作主要贡献如下：
提出了可渲染性（renderability）这一概念和量化的计算方法；
基于可渲染性提出了几种可能的应用场景。
其中对IBR方法的可渲染性（renderability）度量的提出为该论文首创。
图1 目标视角可渲染性实例
如上图实例所示，该论文的方法可以预测基于IBR方法的目标视角的可渲染性。图中红色路径是输入视角，灰色三维模型为根据输入图像重建的粗模。从图中可以开出，可渲染性低的视角对应的图像质量明显低于可渲染性高的视角对应的图像。图中可渲染性从高到低对应红色到蓝色的映射。
III
方法介绍
图2 可渲染性和视频预览中的相机路径推荐
该论文的方法基于输入图像和粗糙模型，考虑到目标视角和输入视角之间以及视角和粗糙模型之间的关系，如下图所示，将目标视角的像素分成两类—前景（在粗糙模型中能找到对应区域的像素）和背景（除开前景以外的所有像素），分别采用不同的合成和质量估算方法，合成计算目标视角对应的图像，计算目标视角的可渲染性，从而可以在空间中构建一个包含相机位置+朝向+可渲染性的向量场。上图中所示为几个切面上的对应视角的可渲染性的可视化显示，左图视角朝向场景中心，中图视角朝向统一为图中灰色箭头所示。右图展示了场景预览应用中可能的相机路径和路径上所有视角的平均可渲染性（括号里是用户指定的挑选阈值）。
图3 前景像素和背景像素划分示意图，左图为前景，右图为背景
本文中简要介绍前景像素的计算和质量估计，背景像素的计算请读者参考原论文。对前景像素，该论文考虑的可能带来目标视角的可渲染性降低的目标视角和输入视角，以及视角和粗糙模型的关系主要包括以下几种情况:
图4 目标视角、输入视角、粗糙模型之间可能降低可渲染性的关系
上图中的几种情况包括（a）目标视角观测到不被任何输入视角观测的区域；（b）因为目标视角和输入视角到物体距离的不同带来的分辨率损失；（c）粗糙模型重建有可能并不完全准确，有可能带来像素之间的对应错误；（d）某些特殊材质（如高反光材质）在不同角度会观测到不同的颜色，这可能让IBR合成的像素颜色不准确。具体的公式细节请参考原论文4.2节的定义。
对目标视角对应图像的每一个前景像素，该论文使用贪婪算法，考虑每一个看到该像素对应的粗糙模型目标区域的输入视角对应的图像像素值。
图5 目标视角前景的可渲染性计算过程
如上图所示，对目标视角（黄色）观测到的图像的每一个像素对应的粗糙模型区域，该论文的方法会计算逐一（蓝色）考虑每一个观测到相同区域的输入视角（灰色）对目标视角像素值的贡献。对于在粗糙模型中不能找到对应区域的背景像素，其像素值的计算方式与质量计算方式和能找到对应区域的前景像素有所不同，具体的计算公式在论文4.2节有详细描述。最终整个图像对应的质量评估，也就是目标视角的可渲染性通过前景和背景的联合计算的平均值获得（原文第4.2节）。同时该论文还开展了关于前景和背景的消融实验，其具体实验统计数据在原论文中5.2节有详细描述。
IV
数据集
图6 场景数据集
该论文中处理大场景数据如上图所示，这些场景有着不同的建筑类别和布局模式，以及不同的光照条件等等。场景面积在1平方公里左右，输入视角和图像的数量介于100到1000之间。论文在这些场景上测试了不同的输入视角集合，详细的信息读者可以参考论文的附件。
V
部分结果和应用场景展示
图7 可渲染性计算各阶段时间消耗列表
针对场景奥运场馆和红色输入视角（左图），该论文测试和统计了1572个目标视角的可渲染性计算时间，右图中所列为每个目标视角的可渲染性计算在各个阶段消耗的平均时间和总计时间。从图中可以看出，该论文的方法可以取得实时的渲染效果，能够支持交互式的应用。
图8 空间中可渲染性可视化实例
该动图所示为同一个场景（奥林匹克）空间中视角的可渲染性的可视化结果。可渲染性从低到高对应的颜色从蓝色到红色。因为视角+可渲染性是一个高维的向量场，难以展示，因此上图中所示为几个切平面和连续变化的曲面上的对应视角的可渲染性的可视化，视角的朝向如左上角灰色箭头所示，其中平面上视角的朝向为（朝向中心或者斜向右下方向），连续变化的曲面是从粗糙模型上根据不同的距离膨胀出来的曲面，曲面上视角的朝向为法线方向。
图9 视角和可渲染性举例
上图展示了三个场景中基于输入图像和粗糙模型合成的新视角的图像和可渲染性量化得分。从图中可以看出，可渲染性高对应质量更高的图像，反之对应质量差的图像。图中输入视角为本文参考文献[1]中规划方法获得。
图10 应用1—大场景的静态图像预览
上图展示的应用是大场景的静态图像预览，图中第一列为用户指定输入视角得到的图像。其余列所示图像为指定视角周围空间分区后每个区域中可渲染性最高的视角对应的图像。具体的视角采样和分区策略请参考原文6.1节，该节的算法1和算法2详细描述了该采样和分区方法。
图11 应用2—基于可渲染性度量的场景预览相机路径推荐
上图展示的应用是大场景的视频预览，图中红色的螺旋环绕路径为输入视角。该应用中用户指定起始视角（图中橙色相机）和结束视角（图中红色相机）。左图为线性插值的相机路径和路径中相机对应的图像采样，中图和右图都是基于可渲染性的相机路径推荐，但是他们有着两种不同的输入相机集合。路径生成算法基于RRT算法，具体的算法细节请参考论文6.2节算法3。读者可以从下面这个视频观察到更加直观的对比效果：
视频1 基于可渲染性的应用—场景视频预览
该视频展示了基于可渲染性的视频预览，其视频质量远远优于线性插值的相机路径得到的视频。基于可渲染性的视频预览有效的避开了图像质量较差的区域。
图12 奥林匹克场景的视频预览的相机路径推荐
上图为另一场景—奥林匹克场景的4条相机路径和路径中的图像采样，括号中为视角可渲染性的最低阈值。
VI
总结与展望
该论文创造性地提出了可渲染性（renderability）度量这一新颖概念，可用来量化预测基于图像渲染（IBR）得到的图像质量。基于此，该论文还提出了几种可能的应用场景，并在几个真实和虚拟场景中展示了这些应用，在虚拟现实领域存在较大的实用潜力。
随着基于神经网络模型的IBR方法的进一步发展和成熟，未来极有可能往这一类方法的可渲染性度量研究推进。
VII
思考与讨论
Q: 该方法基于已有的图像和重建的粗糙模型，不同的重建方法是否对结果影响较大？
A: 该方法的确依赖于选择的三维模型重建软件和IBR合成方法，通用性受到一定的影响，但其思路可以移植其他重建方法，当然这可能需要重新定义原文4.2节中的损失项。
以下是开放性问题，欢迎读者朋友留言讨论：
Q: 基于可渲染性度量是否可能有更多的应用场景？
转自：“arXiv每日学术速递”微信公众号
如有侵权，请联系本站删除！
