一种基于交互式的提示网络,用于基于无人机图像的城市洪涝区域分割
SCI一区 贡献:
- 开发一种提示编码器,将四种不同类型提示信息通过卷积映射到三通道空间,目的是降低标注成本
- 集成Mamba和卷积的图像编码器,目的是提取全局空间和通道特征
结果:
- 比基准模型IOU提升3.75%
介绍部分文献收集
及时获取详细的洪水信息对于有效的灾害响应、准确识别受影响个体的位置以及优化救援资源分配至关重要 [5],[6]
不受恶劣天气条件影响的 SAR 图像已成为洪水检测的关键数据源 [9]
Gao et al. [40] 研究了语义层面交互式分割的可行性,并证明了它在手动解析任务中优于对象级方法的效率。 Kontogianni 等[41]提出了一种在线学习方法,该方法在测试阶段使用用户交互点击作为约束来优化模型参数,从而提高交互式分割的效率。
Baziak et al. [42] 通过手动合并点、线和掩码等提示来帮助提取山区的突发洪水灾害,从而增强了 SAM 基础视觉模型。结果表明,洪水提取的最高交交并比 (IoU) 达到 0.94
Zhang 等[43]采用 SAM 以无监督的方式自动生成洪水提示掩码信息,并使用生成对抗网络提高了这些信息的准确性。最终,提示信息被输入到 Unet++ 网络中,以帮助模型分割受洪水影响的区域。
介绍部分叙事思路
故事路线 气候变化为切入点,强调大规模城市洪水对生命财产威胁,因此及时获取洪水信息,对于有效灾害响应非常重要。接下来说明遥感技术优势(快速数据收集和广覆盖),然后说明遥感技术和AI技术的发展,研究人员正在研究提取受洪水影像区域的有效方法。
技术路线 从较低分辨率的SAR图像研究路线到无人机提取的高分辨率研究路线。从机器学习的相关研究讲述到深度学习相关研究. 然后对一些零散的细分领域进行介绍,并提出该种方法的缺点。
论文中提出相关细分领域工作:
[27]用SAM生成伪标签注释训练数据集,文中提出的缺点:伪标签包含大量噪声,需要手动降噪,而且SAM训练需要大量计算成本。
[28]在无人机上利用边缘计算提取洪水信息,文中提出缺点:洪水提取准确性受边缘设备计算能限制
[30]一种高效轻量化模型,文中评价:事实证明,这种方法优于其他的高效模型
[31]一种卷积神经网络,文中评价:高于基线的性能,洪水提取准确性有所提高
文中提及了相关半监督领域的研究内容
研究困难 语义分割的方法需要精细注释的像素级标签精细注释,这是劳动密集型的 目前现存的公开数据集有限,完全监督模型需要大量数据集来保证泛化
交互式分割研究领域 大致叙事:首先[40] [41]证明交互式分割在技术上的可行性,然后对洪水领域的交互式分割进行初步介绍,并给予初步的肯定反馈以彰显本研究的优越性:交互式语义分割有效地整合了人类先验知识,通过多类提示在图像分割中提供低延迟和高精度。这种方法为准确的洪水灾害信息提取提供了新的研究视角,并激发了本研究的灵感。之后再次对该领域的一些方法提出问题质疑。
介绍本文贡献和其余章节安排
Conv-SSM是一种新型的混合模块,结合了卷积层(Convolutional Layers)的局部特征提取能力和状态空间模型(State Space Models,SSM)捕捉长程依赖性的能力。它被应用于医学图像分类领域,是MedMamba模型的核心组件
数据集
从美国应急响应影像服务获取(https://storms.ngs.noaa.gov/)原始TIF遥感影像,2017哈维洪水原始遥感影像,自行分割裁剪获得了6085个洪水图像样本。