原名：Improving vegetation segmentation with shadow effects based on double input networks using polarization images
译名：基于双输入网络的偏振影像阴影效应植被分割
期刊：Computers and Electronics in Agriculture（IF=6.757)
发表时间：2022
DOI：10.1016/j.compag.2022.107123
1.研究背景
FVC计算的核心问题是区分植被和其他地物，准确提取植被。部分研究忽略或很少考虑场景中的阴影条件。同时，对于场景中光照和阴影条件下的植被，能够有效解决成像过程中阴影条件造成的极端亮度差异的研究还很少。太阳光是一种具有偏振特性的横波。地物在反射、散射和电磁辐射过程中，会产生由自身性质决定的偏振特性。来自植被的偏振信息可以反映不同地表粗糙度特征地物的特性，在一定程度上消除强反射对成像的影响，增强阴影条件下的图像对比度效果，是独立于光强度信息的另一个维度的信息。
随着神经网络在图像分割领域的快速发展，神经网络和成熟的神经网络框架已逐渐应用于植被提取并取得了较好的分割效果。深度学习方法由于数据量大、模型结构复杂、参数多以及反向传播的自动学习思想，比其他仅针对像素、人工选择颜色和纹理特征、针对植被类别的植被分割方法和模型更加有效。在深度学习中，偏振图像被广泛地应用于目标检测和语义分割。物体的偏振特性可以在恶劣光照条件下稳定物体的粗糙度、纹理等物理特性。
2.数据采集与处理
（1）数据收集
植被数据由Triton型偏振相机捕获。研究以校园常见的两种植物为研究对象：叶椭圆的玉簪和叶剑形的鸢尾。RGB强度图像如图1所示。植被分割主要涉及植被与土壤的分离，为此采集了56组纯土壤图像、137组无阴影植被图像和710组有阴影植被图像，构建了一套有阴影植被偏振数据集。根据阴影是否干扰肉眼识别，植被图像分为两个阴影等级：浅阴影（196张图像）和阴影（514张图像）。
图1 . 偏振相机和实验数据（光强图像）。(a):偏振照相机 (b):无阴影的纯土壤(b1)和有阴影的纯土壤(b2) (c):没有阴影的基质(c1)、具有浅阴影的基质(c2)和具有阴影的基质(c3) (d):无阴影虹膜(d1)、有浅阴影虹膜(d2)、有阴影虹膜(d3)①、②标记阴影区域。
（2）偏振信息提取与图像融合
偏振相机采用四个不同方向的偏振片，获得各个方向的光强和植被的偏振特性。线性偏振度（DoLP）表示线性偏振光占总光强的比例，是每个地物独有的自然特性。本文在R、G、B三个通道上计算DoLP，然后将其合成为彩色图像，以在很大程度上保留图像的偏振信息。DoLP一般能反映地物的表面特征，有助于阴影中地物的识别。图2可说明阴影条件下的植被和土壤可以根据它们在偏振图像上的显著差异来分离。
图2 . 阴影条件下植被和土壤的光强度图像(a) DoLP图像(b)和密度融合(c)
为了同时利用偏振信息和光照强度信息，基于深度学习的图像融合算法DenseFuse将普通光照强度图像和DoLP图像融合，得到具有偏振信息的复合图像数据集，以提高阴影条件下植被分割的准确性。DenseFuse网络的结构如图3所示。
图3 . DenseFuse的结构
3.研究方法
为了提取阴影条件下的植被，在光强图像的基础上引入偏振信息，提出了双输入残差DeepLabv3plus（DIR_DeepLabv3plus）网络。该语义分割网络用于独立地提取从偏振图像获得的光强图像的特征和线偏振度图像的特征。基于深度学习方法，将这两个特征连接起来进行植被分割。在不损失植被和背景物体之间的对比度的情况下，使用具有低亮度差的关于线偏振度的信息来丰富阴影区域中的纹理信息。方法如图4所示，包括偏振信息提取、植被分割和方法评价。
图4 . 考虑阴影条件的植被分割流程图
根据所提出的方法进行模型训练和植被分割。本文提出了五种植被分割方法。①方法ExGR：基于过量绿色-过量红颜色指数（ExG_ExR）结合Ostu阈值法提取植被。②方法SHAR-LAB：使用抗阴影算法（SHR-LABFVC）从数字图像中提取基于绿色植被覆盖率的植被。③方法RGB-Deep：通过DeepLabv3plus网络基于光强图像分割植被。④方法DF-Deep：利用DeepLabv3plus网络对具有极坐标化信息的DenseFusion图像进行植被分割。⑤方法RD-DIR_Deep：利用DIR_DeepLabv3plus网络实现了基于光强图像和线偏振度图像的植被分割。
在DeepLabv3plus网络基础上，对模型进行优化，提出了一种新的双输入神经网络：DIR_DeepLabv3plus。该网络使用两个骨干网分别提取两幅输入图像的高层特征和低层特征，并在不丢失任何图像信息的情况下直接将这些特征连接起来。DIR_DeepLabv3plus由编码器-解码器结构组成。在编码结构上，考虑到数据计算量、模型复杂度和特征提取效率，我们采用了一个略简单的101层残差网络（ResNet101）同时提取光强图像和DoLP图像的特征图。该模型将ResNet101的第一残差输出作为低层特征，将第四残差输出作为高层特征。对光强和偏振特性进行了层次融合。将融合后的高层特征输入到原子空间金字塔池（ASPP）中，通过不同扩展率的原子卷积提取不同尺度的特征。在解码部分，经过4次上采样后，将低层特征与高层特征进行级联，经过4次上采样后得到最终的分割结果。DIR_Dee pLabv3plus网络的结构如图5所示。
图5 . DIR_DeepLabv3plus的结构
通过三种方法来融合主干获取的光强度和偏振特征，如图6所示。方法concat1直接连接两个特征映射，融合特征的通道数是未修改方法的两倍；方法concat2在方法1的基础上增加了卷积层，伴随着批量归一化层和校正线性单元（ReLU）激活函数，以保持通道数恒定。这两种方法直接将两个特征叠加，不需要任何计算。concat1使ASPP的输入处的卷积核的数目加倍;而concat2添加了3 × 3卷积。神经网络参数的数量增加，自动学习和权衡两个特征的重要性。方法addition在不增加参数（如残差块）的情况下添加两个特征图的相应像素。
图6 . 特征融合的三种方法
4.研究结果
4.1每种方法的性能
5种方法的结果见表1。粗体值表示性能最佳的两种方法。向上箭头表示指标越高，分割效果越好;向下箭头表示指数越低越好。五种方法的mIoU用图7中的条形图表示。从表1和图7可以看出，深度学习方法的表现远优于ExGR方法和SHAR-LABFVC方法，极化信息的加入有效提高了植被提取的精度。
表1 . 5种方法的评价指标结果
图7. 五种方法的测试数据的mIoU
4.2不同阴影级别的性能
两种不同类型植被的三种光照条件下的分割结果如图8所示。在无明显阴影的情况下，五种方法的分割结果都比较令人满意。由于颜色指数和SHAR-LABFVC依赖于植被的颜色特征，没有学习其形状特征，因此在分割边缘细节（红色标记）时存在缝隙和噪声。深度学习的方法显然是流畅和准确的。
图8. 不同阴影水平下植被的结果
4.3对每种方法的细分影响
表2显示了五种方法分割植被所消耗的时间。
表2. 四种方法分割植被的时间消耗
RGB-Deep、DF-Deep和RD-Deep方法在训练期间的损失函数曲线如图9所示。在训练过程中，RD-DIR_Deep的损失值下降更快，学习和拟合参数与图像特征的能力更强;在验证过程中，DF-Deep和RDDeep的损耗函数曲线稳定、平滑、收敛，在第80历元时达到最佳状态。与DF-Deep和RD-DIR_Deep方法相比，RGB-Deep方法的损失函数曲线变化剧烈，对图像特征的学习能力和模型的泛化能力相对不足。
图 9 四种方法的损失函数曲线
5.研究结论
针对阴影区植被提取中有效信息量太少的问题，引入与光强信息无关的偏振信息来增加有效信息量，并采用一种新提出的双输入网络从光强图像和DoLP图像中提取特征进行植被分割。利用偏振相机建立了阴影条件下植被的偏振图像数据集，并根据植被的偏振特性获取了DoLP图像。我们提出了DIR_DeepLabv3plus网络来从光强图像和DoLP图像中提取用于植被分割的特征。结果表明：无阴影、有光影和有阴影的植被mIoU值分别为94.01%、92.508%和90.969%。与颜色指数法和SHAR-LABFVC法相比，该方法提取精度有较大提高，不同阴影条件下植被的mIoU值分别比无偏振信息的方法高0. 18%、1. 00%和1. 49%。结果表明，偏振信息的加入能有效增强植被的纹理特征，补充阴影条件造成的光照差异，提高不同光照条件下，尤其是阴影条件下植被分割的准确性。该研究为阴影条件下的植被分割提供了新的思路，对FVC的计算和验证具有一定的理论和实际意义。
6.文章引用格式
Yang L, Chen W, Bi P S, et al. Improving vegetation segmentation with shadow effects based on double input networks using polarization images[J]. Computers and Electronics in Agriculture, 2022, 199., DOI：10.1016/j.compag.2022.107123
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
