人工智能韧性研究现状及展望
李默涵1,2,3，胥迤潇1,3,4，孙彦斌 1,3，田志宏1,3，方滨兴1,3（1.广州大学网络空间安全学院；2.广东省工业控制系统攻防对抗重点实验室；3.广州大学黄埔研究院；4.北京邮电大学网络空间安全学院）
摘要：人工智能（AI）技术正深度融入关键基础设施，其韧性对保障系统安全稳定运行至关重要。本文将AI韧性定义为稳健性、防御力、复原力和进化力4个核心维度，系统梳理AI韧性研究的现状，围绕上述4个核心维度综述国内外关键技术进展，并特别关注大语言模型等新技术带来的新挑战与新方案。在此基础上，研究提出了当前AI韧性发展面临的能力建设缺乏顶层规划、评测体系缺少真实场景、大模型韧性重视不足等突出问题。研究建议：加强战略引领，构建系统化韧性框架；建设高保真、多维度、可复现的韧性评测体系；重点挖掘大模型潜力，推动其在“训练-部署-运行-更新”全生命周期的多层级韧性能力提升，以构建更可靠、可信且持续的智能系统。
关键词：人工智能；人工智能韧性；安全防御；大语言模型
目录介绍
一、前言
二、人工智能韧性维度划分
（一）稳健性
（二）防御力
（三）复原力
（四）进化力
三、人工智能稳健性技术发展现状
（一）泛化能力
（二）推理逻辑
（三）稳健训练
（四）大模型稳健性
四、人工智能防御力技术发展现状
（一）信息限制
（二）攻击识别
（三）攻击防御
（四）大模型安全防御
五、人工智能复原力技术发展现状
（一）状态监测
（二）影响消除
（三）大模型复原力
六、人工智能进化力技术现状
（一）环境感知
（二）持续学习
（三）大模型进化力
七、人工智能韧性提升存在的突出问题
（一）AI韧性建设缺乏顶层规划
（二）韧性评测缺少适合的实验场景
（三）大模型韧性建设需进一步重视
八、提升人工智能韧性的发展建议
（一）加强战略引领，构建系统化韧性框架
（二）构建高保真、多维度、可复现的韧性评测体系
（三）挖掘大模型潜力，推动多层级韧性提升
九、结语
©软件著作权归作者所有。本站所有文件均来源于网络，仅供学习使用，请支持正版！
转载请注明出处！
发表评论 取消回复