实验室研究成果“人工智能安全测评平台AIcert”荣获中国电子学会2024网络空间安全学术大会优秀案例,大模型安全论坛顺利召开

发布者:何璐发布时间:2024-07-16浏览次数:10


712-14日,由中国电子学会主办的2024网络空间安全学术大会在西安举办。浙江大学计算机科学与技术学院院长、区块链与数据安全全国重点实验室常务副主任任奎教授主持研发的“人工智能安全测评平台AIcert”荣获中国电子学会“2024网络空间安全学术大会优秀案例”。


人工智能安全测评平台AIcert是浙江大学区块链与数据安全全国重点实验室人工智能数据安全团队在科技部科技创新2030-“新一代人工智能”重大项目、国家重点研发计划青年科学家项目、国家自然科学基金委区域创新发展联合基金重点项目、浙江省领雁计划项目等多个国家级/省部级项目以及浙江大学区块链全重实验室的共同支持下研发的人工智能安全评测平台,平台集多层面全栈威胁感知、多维度安全评估、模型自动化安全评测等先进技术,具备针对AI系统的多层面全方位全栈安全评测能力。AIcert平台对AI系统的数据、模型、算法、框架、系统等层面实现全栈安全评测,从鲁棒性、可用性、可解释性等六大维度对系统安全进行评估,并在此基础上实现基于群体智能的动态安全防御增强。为应对生成式大模型安全挑战,AIcert平台从训练数据安全、生成内容安全、问题拒答情况、模型内生安全四大维度评测国内外35个开源模型的安全性,并与电子技术标准化研究院等合作单位公布了首期大模型安全评测榜单,促进人工智能安全领域技术交流与共享。作为一个综合性的解决方案,AIcert平台具备“理论验证”、“安全开发”、“多维分析”三重优势,有效地弥补了现有安全评估工具在面对复杂AI系统时的不足,显著提升了传统人工智能系统以及大模型人工智能系统的威胁监测、预警和响应能力,为AI安全领域的研究和应用提供一个坚实可靠的基础

据悉,中国电子学会每年会围绕网络空间安全产业应用,评选出对相关安全行业或企业具有较强借鉴意义和推广价值的新产品、新技术、新方案作为优秀案例。今年共有8个项目获此殊荣。本次获奖既是对区块链全重实验室人工智能数据安全团队研究工作的认可和肯定,也彰显了AIcert平台的在数据安全领域的重要应用价值和创新潜力。


在大会期间,由浙江大学区块链与数据安全全国重点实验室、计算机科学与技术学院、网络空间安全学院、中国电子学会网络空间安全专家委员会共同承办的大模型安全论坛顺利召开。本次论坛由任奎教授担任论坛主席,多位大模型安全领域的顶尖专家和知名学者围绕大模型安全的基础理论、核心技术和前沿应用,分享最新的研究成果,共同探讨未来技术的发展方向,促进大模型安全技术的革新与应用。来自高校、科研院所、企事业单位、社会团体等各方代表出席本次论坛。

专家报告环节由浙江大学网安学院副院长王志波教授,副院长、百人计划研究员秦湛主持,他们隆重介绍了报告嘉宾,并对各位专家学者的到来表示热情欢迎。

复旦大学计算机科学技术学院张新鹏教授

复旦大学计算机科学技术学院张新鹏教授发表题为“从深度模型确权到AIGC溯源”的主题报告,围绕深度学习模型的版权保护和AIGC技术的溯源问题,提出了创新性的解决思路和解决方案,并探讨判别式模型水印和生成式模型水印的核心问题和面临的挑战,为信息隐藏技术的发展提供了新视角。

上海交通大学电子信息与电气工程学院副院长朱浩瑾教授

上海交通大学电子信息与电气工程学院副院长朱浩瑾教授发表题为“智能物联网系统安全”的主题报告,指出物联网系统与人工智能技术结合过程中面临的安全挑战,包括物联网系统图像接口与NLP接口存在的隐蔽后门威胁、以及团队最新发现的在硬件层面的比特翻转安全威胁。

华为系统安全实验室主任、系统安全技术首席专家谭寅博士

华为系统安全实验室主任、系统安全技术首席专家谭寅博士以“软硬协同的大模型机密性保护技术”为主题,指出高价值大模型作为核心资产,围绕传输、存储、加载、运行等各个阶段需要构建体系化的机密性保护能力。并重点介绍了团队在鲲鹏+昇腾为基础的软硬件协同大模型保护的初步探索。

广州大学人工智能与区块链研究院执行院长李进教授

广州大学人工智能与区块链研究院执行院长李进教授以“大模型安全与隐私:现状及挑战”为主题,介绍大模型在安全隐私方面的关键挑战与研究进展,以及团队在训练数据隐私安全,模型本体与组件安全,模型访问控制安全,以及模型生成内容的版权保护等方面的研究成果。

中国科学技术大学网络空间安全学院副院长张卫明教授

中国科学技术大学网络空间安全学院副院长张卫明教授发表题为“生成式人工智能驱动的认知安全”的主题报告,提出生成式AI在赋能各种网络攻防技术的同时,也深刻改变了认知安全的内涵和外延。并从机器认知安全和人类认知安全两个角度讨论生成式AI带来的网络安全新特质和新问题。

圆桌对话环节由任奎教授主持,首先,北京航空航天大学计算机学院副院长刘祥龙教授、西安交通大学网络空间安全学院特聘研究员蔺琛皓、浙江大学网络空间安全学院百人计划研究员巴钟杰、清华大学网络科学与网络空间研究院刘卓涛副教授、武汉大学国家网络安全学院赵令辰副教授、阿里集团安全部大模型安全负责人陈岳峰分别介绍自己在大模型安全领域的相关工作。紧接着,各位专家围绕“大模型安全挑战与机遇”这一主题,交流大模型对数据安全的影响、大模型安全与发展的关系、高校和企业如何合作促进AI安全等话题,共同探讨大模型安全的未来发展方向与趋势。

本次论坛作为浙江大学与中国电子学会共同打造的高层次学术交流平台,不仅营造了良好的学术氛围,扩大了相关领域的学术影响力,更为大模型安全的技术创新提供了思路,为生成式人工智能的可持续发展贡献力量。