11月27日上午，中国科学院大学人工智能学院有幸邀请到了北京科技大学计算机系教授陈红松老师，在雁栖湖校区教一楼215教室为同学们带来科学前沿讲座——《可信人工智能与大模型安全》。
在新一代人工智能技术迅猛发展的背景下，智能化体系正深度融入社会生产与生活的各个领域，为全球科技进步与经济转型带来了深刻影响。与此同时，如何确保人工智能系统的安全性与可信性，已成为全球范围内共同关注的重大科学问题。
针对这一关键议题，本次报告系统梳理了可信人工智能及大模型安全的基础定义、风险分析方法与核心技术框架，深入探讨了可信度量、内生安全技术以及安全标准体系的研究进展。报告还针对大模型在应用过程中可能面临的安全风险，提出了系统化的安全防护技术体系，并介绍了华为MindSpore人工智能开发框架中的安全隐私保护子系统，展示了我国在AI可信安全领域的重要探索与成果。最后，报告结合当前研究现状，展望了可信人工智能与大模型安全未来的研究方向与开放性科学问题。
陈老师首先从人工智能技术的发展背景出发，回顾了可信人工智能与大模型安全研究的起源与重要性。他指出，随着新一代人工智能技术的高速演进，AI已渗透至工业、医疗、教育、金融等各个领域，为人类社会带来了前所未有的便利。然而，人工智能系统的复杂性和自主性也带来了新的安全隐患，如何确保AI系统“可控、可依赖、可解释”，成为全球科技界和产业界面临的重大挑战。
随后，陈老师分析了可信人工智能面临的多维度风险，并阐述了构建人工智能全生命周期安全防护体系的意义与实现路径。陈老师梳理了可信人工智能的内生风险体系，他强调，这些风险贯穿于人工智能从数据获取到模型训练、再到部署与决策输出的全生命周期，必须从源头进行系统化治理。
陈老师介绍了可信人工智能的关键属性及评估方法，如公平性、可解释性、鲁棒性与隐私保护等，并结合国内外标准框架，展示了相关技术指标与数据集的应用场景，并进一步提出人工智能的全周期安全防护体系。陈老师表示，通过多层次、全链条的安全设计，才能真正构建可靠运行、可持续发展的人工智能系统。
在介绍完可信人工智能总体安全框架后，陈老师将重点聚焦于当前备受关注的大模型安全问题。他指出，大模型在应用过程中面临功能安全、信息安全与隐私安全三大类风险，包括生成有害内容、偏见、幻觉以及隐私泄露等代表性问题。为应对上述挑战，陈老师介绍了全生命周期防护体系，通过数据去噪与脱敏、对抗训练、输出校验与权限管理等技术手段，构建多层次的安全屏障。
在安全治理层面，陈老师进一步介绍了可信人工智能和大模型安全的标准化进展，包括算法安全、数据隐私保护、应用安全与系统管理等方面的国际与国家标准。他还展示了公平性、鲁棒性、隐私性等指标的评估数据集及其在安全测试中的作用。
在讲座的后半部分，陈老师将可信人工智能技术进一步延伸至实际应用场景，梳理了人工智能在医疗诊断、自动驾驶、金融信贷、多智能体协作等关键领域的安全需求与技术挑战。陈老师介绍了华为MindArmour大模型安全技术体系，MindArmour通过对抗样本生成与检测、模型加密与混淆、隐私泄露评估、差分隐私训练等技术，为大模型在真实业务中的落地提供了系统性的安全保障。
最后，陈老师围绕可信人工智能未来的发展提出了若干开放问题，包括如何权衡大模型不同可信属性之间的关系、如何实现人工智能的全生命周期安全防护以及如何结合具体场景有效规避实际风险等。这些问题的提出不仅指向科研前沿，也为行业发展提供了重要的思考方向。讲座结束后，陈老师热心地解答了现场同学的若干问题，现场气氛热烈，掌声不断。
更多专家信息：
陈红松，北京科技大学计算机系教授、博士生导师。中央网信办重大项目评审专家、国家科技部、北京市科委重大专项评审专家。研究方向包括网络空间安全治理理论及关键技术、人工智能大数据分析、大语言模型安全治理机制及应用。中国计算机学会高级会员，中国通信学会会员、美国IEEE学会会员，美国普渡大学国家公派访问学者，入选国家语委关键研究领域领航计划、北京高等学校青年英才计划、北京市昌平区科委科技副总人才称号。发表高水平论文80余、ESI高被引论文3篇，出版网络安全管理、大数据领域专著教材6部，授权国家发明专利10项、转让4项，《网络与信息安全学报》青年编委，《Computers&&Security》、《计算机学报》、《通信学报》等评审专家，获得北京市科学技术成果二等奖一项。
