多模态深度学习在钢轨顶面伤损检测中的应用研究综述

程雨1,2，刘金朝2，张长伦3，张国粹3（1.中国铁道科学研究院；2.中国铁道科学研究院集团有限公司 基础设施检测研究所；3.北京建筑大学 理学院）

摘要：针对基于深度学习的多模态钢轨顶面伤损检测问题，分析使用多模态数据进行病害识别的优势，阐述多模态深度学习的最新成果及其在钢轨顶面伤损检测中的应用，并明确基于深度学习的多模态病害检测面临的挑战和未来的研究方向。从多模态联合与协同特征表示、多模态显式对齐与隐式对齐以及不同方式的多模态融合方法等方面分析多模态深度学习基本理论和研究现状；结合钢轨振动信号、巡检图像和三维点云等多模态数据，梳理当前最新的基于深度学习的不同模态间数据融合算法和病害检测方法。结果表明：针对钢轨多模态数据，当前研究方向主要有多模态表示、多模态对齐和多模态融合3 种与识别检测有关的方法；针对基于深度学习的多模态钢轨顶面伤损检测，当前研究主要包含振动信号与巡检图像融合检测、灰度图像数据与三维点云数据融合检测方法；总体上，使用多模态深度学习技术对钢轨进行病害识别能有效提高准确率，在一定程度上排除错检的情况。对钢轨的多模态数据基于增强语义的共享性和互补性学习特征表示、结合特征点对齐和隐式对齐的混合对齐模型、基于转换器网络的多模态融合检测以及缺失模态融合检测会成为钢轨顶面伤损检测未来研究方向，将为工程应用提供有价值的参考。

关键词：钢轨；病害识别；伤损检测；深度学习；多模态融合；综述