黑夜下的海上执法之眼:热成像船舶再识别与可疑活动检测新框架

论文标题:Vessel Re-identification and Activity Detection in Thermal Domain for Maritime Surveillance作者:Yasod Ginigea、Ransika Gunasekara、Darsha Hewavitharana、Manjula Ariyarathne、Ranga Rodrigo、Peshala Jayasekara(斯里兰卡莫拉图瓦大学)发布:arXiv:2406.08294,2024年6月海上走私、非法捕捞、人口贩卖等违法活动多在夜幕下进行,而传统可见光(RGB)监控一到晚上或遇恶劣天气就几乎失明。这篇论文提出了一套完整的热成像海事监控系统,首次把船舶再识别、目标跟踪与可疑活动检测三件事一起搬进了热红外领域。论文原文:[2406.08294] Vessel Re-identification and Activity Detection in Thermal Domain for Maritime Surveillance难点何在?人脸识别靠五官轮廓,车辆识别靠车身颜色和车牌,这些细节在热成像里统统消失,热像仪只留下轮廓和热辐射强度的灰度图。船只从船头、船侧、船尾看去外观又差异极大,加上此前没有公开的热成像海事数据集可用于训练评测,这三个痛点正是本文的出发点。三个核心贡献视角无关的再识别算法:不把整艘船当作一个整体去比对,而是分别比较船头船侧船尾空间的特征,让算法能应对任意视角的重新出现。首个公开的热成像海事数据集:用FLIR M232船用热像仪采集,含40艘小型船和32艘大型船的多视角画面,并标注了游泳、疑似人口贩卖等可疑行为。数据集主页:Maritime Datasets | Datasets homepage把两套经典RGB算法迁移到热成像域:跟踪算法TraDeS与活动检测算法YOWO均被重新训练调优,首次验证了在热成像船舶场景下的有效性。系统架构跟踪子系统沿用了Wu等人提出的 TraDeS 框架,以DLA-34为骨干网络,加入代价体关联模块(CVA)与运动引导特征增强模块(MFW),让跟踪线索反哺下一帧的检测精度,尤其在遮挡场景下效果明显。重新训练后取得61.2% 的MOTA分数,与RGB域表现几乎持平。再识别子系统是全文最具创新性的部分,分三步走:先用带残差连接的编码器-解码器网络把船体从背景中精确分割出来(常规GrabCut等方法因前景背景灰度接近而完全失效);再用预训练的 Dino-ViT 视觉Transformer提取特征,经四个并行线性层映射到全局船头船尾船侧四个隐空间,并用 ArcFace 损失让同一身份的特征在各空间内聚得更紧;最后按各视角在前景中的面积占比加权,抑制被遮挡视角带来的干扰,再把各空间距离加权求和得到最终匹配结果。这一思路受 SPAN 模型启发,但SPAN依赖颜色信息、专为RGB车辆设计;本文则把重点放在纯形状特征上,更契合色彩缺失的热成像场景。活动检测子系统改造自 YOWO 架构:一个2D CNN分支提取空间信息、一个3D CNN分支提取时空信息,再经通道融合与注意力模块联合完成分类。原版YOWO面向200类日常动作,团队把最后一层改为只识别游泳与疑似人口贩卖两类可疑行为,并用自建数据集重新训练。实验结果再识别:在自建热成像数据集上,Top1准确率达81.82%,mAP达74.26%,明显超过SPAN在同一数据集上的表现(Top1 78.37%、mAP 55.88%);综合RGB与热成像多个数据集来看,该方法的mAP平均领先SPAN 26.7%。消融实验还表明,同时比较多个视角(而非只看面积最大的一侧)能把Top1分数再提升约15%。目标跟踪:MOTA达61.2%,跟踪子系统可实现约30fps的实时处理速度。活动检测:帧级mAP 72.4%,视频级mAP 78.9%,与RGB域的YOWO原始表现相差不大。写在最后这项工作说明,即便缺乏颜色和精细纹理,只要善用视角信息与形状线索,红外画面依然能取得媲美RGB域的识别精度,也为热成像海事监控补上了一个关键的公开数据集。目前整套系统端到端的处理速度约为2fps,作者也坦言未来可借助专用硬件和并行计算进一步提速。对于夜间缉私、反走私和海上搜救等场景,这套框架提供了一个开源、可复现的起点。延伸阅读论文全文(arXiv):[2406.08294] Vessel Re-identification and Activity Detection in Thermal Domain for Maritime Surveillance热成像海事数据集主页:Maritime Datasets | Datasets homepage