遥感大模型:综述与未来设想
张帅豪1,2,潘志刚1(1.中国科学院空天信息创新研究院;2.中国科学院大学)
摘要:深度学习极大地推动了遥感图像处理技术的发展,在精度和速度方面展现了显著优势。然而,深度学习模型在实际应用中通常需要大量人工标注的训练样本,且其泛化性能相对较弱。近年来,视觉基础模型和大语言模型的发展为遥感图像处理的大模型研究引入了新的范式。遥感大模型也称为遥感基础模型,基础模型因其在下游任务中的卓越迁移性能而备受瞩目,这些模型首先在大型数据集上进行与具体任务无关的预训练,然后通过微调适应各种下游应用。基础模型在语言和视觉及其他领域已经得到了广泛应用,其在遥感领域的潜力也正逐渐引起学术界的重视。然而,目前针对这些模型在遥感任务中的全面调查和性能比较仍然缺乏。由于自然图像与遥感图像之间存在固有差异,这些差异限制了基础模型的直接应用。在此背景下,本文从多个角度对常见的基础模型以及专门针对遥感领域的大模型进行了全面回顾,概述了最新进展,突出了面临的挑战,并探讨了未来发展的潜在方向。
关键词:遥感基础模型;微调;下游任务;预训练
目录介绍
1 引言
2 基础模型介绍
2.1 基础模型原理与关键技术
2.2 视觉基础模型
2.3 视觉—语言基础模型
3 遥感基础模型
3.1 遥感基础模型应用框架
3.2 大模型在遥感影像分析中的应用难点
(1)遥感数据复杂性
(2)图像—文本稀缺性
(3)视觉任务难度
3.3 单模态预训练模型
3.3.1 有监督单模态预训练模型
3.3.2 自监督单模预训练模型
3.4 视觉—文本联合训练模型
4 遥感大模型的挑战与未来展望
4.1 遥感大模型的挑战
4.2 遥感大模型未来展望
(1)持续发展大规模数据集
(2)使用基于文本的图像生成的扩散模型
(3)开发特定领域的模型
(4)评估策略和基准提升
(5)联合学习和迁移学习的应用
5 结论
©软件著作权归作者所有。本站所有文件均来源于网络,仅供学习使用,请支持正版!
转载请注明出处!
发表评论 取消回复