导读
近年来，生成式人工智能为人工智能发展注入一针强心剂，引发新一轮人工智能革命，为未来人工智能产业发展提供了可行方向。目前，众多领域已经广泛利用生成式人工智能技术这一新兴生产方式来自动生成内容。与此同时，生成式人工智能这一技术创新及其爆发应用也带了潜在风险和问题。生成式人工智能能够便捷高效地制作具有多样化、高质量等特点的人工智能合成内容（AIGC），而不法分子能够恶意生成并传播AIGC（如虚假名流照片），进而对网络生态、社会稳定、意识形态安全产生深远的负面影响。因此如何规范应用AIGC这一问题受到了国家高度重视。自2023年1月10日起施行的《互联网信息服务深度合成管理规定》指出深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。自2023年8月15日起施行的《生成式人工智能服务管理暂行办法》指出应对图片、视频等生成内容进行标识。
为落实AIGC标识相关法律法规，促进AIGC规范应用，浙江大学区块链与数据安全全国重点实验室大模型数据安全团队研发了基于数字水印技术的多模态合成内容安全标识平台GCmark。平台为AIGC规范应用提供安全技术底座，允许生成式人工智能服务提供商为其AIGC添加特有信息，使得各类服务满足相关法律法规提出的监管需求。为应对当前生成式人工智能新业态给AIGC标识带来的新型安全挑战，平台研发了一套保障溯源与证伪双重安全、模型内置水印模块安全、基于约束优化的水印嵌入方法的多方位AIGC标识保护措施，为AIGC标识的安全应用提供坚实的技术支撑。
“多模态”+“高鲁棒“+“显隐结合”
三重保障让合成内容无所遁形
多模态：GCmark平台通过提取多媒体内容的特征信息，生成与之相关的水印信息。这些水印信息可以以不同的模态形式存在，如文本形式的版权标识、图像形式的特殊图案、音频形式的特定声音或视频形式的关键帧标识。这些多模态的水印信息能够相互补充和协同工作，形成一个多层次、多维度的保护体系，如下图所示。不仅提升了内容的安全性和可信度，也为版权保护和追踪提供了更为强大和灵活的手段。
多模态：四种不同模态的安全标识嵌入
高鲁棒：针对合成内容被二次修改以抹去标识的潜在威胁，GCmark平台提供了高鲁棒的安全标识信息提取功能，确保安全标识在合成内容被二次修改情况下的可验证性。支持包括删改、噪声、压缩、裁剪、变形、旋转等10种以上攻击类型。下图展示了对文本、音频、图像和视频4类数据实施部分可能的修改后，平台仍能成功提取出嵌入的安全标识信息。
高鲁棒：数据修改后仍能提取安全标识信息
显隐结合：GCmark平台配合《人工智能生成合成内容标识指南》、《生成式人工智能服务内容标识方法》要求，构建一套“显隐结合”的人工智能生成合成内容标识系统，允许用户选择显式水印或隐式水印。（1）显式标识：针对文本、图像、视频和音频生成内容，平台提供多样化的显式标识方式，让用户一目了然地识别生成内容。文本生成内容支持提示文字、文字角标等显式标识；图像与视频生成内容支持可自定义位置、大小等属性的文字标识、Logo标识等显式标识；音频生成内容支持节奏标识、语音标识等显式标识。此外，针对交互式生成式人工智能应用服务场景，平台提供在内容显示区域附近或交互界面背景中添加显式标识的能力，起到提示用户作用。（2）隐式标识：在不影响生成内容可用性的前提下，平台提供覆盖文本、图像、音频和视频4种数据类型内容隐式标识技术，实现用户无感、监管可测的水印标识方案。同时，平台支持多种主流文件格式（例如jpeg、mp3、mp4等）的元数据隐式标识技术，通过修改文件元数据字段实现隐式标识方案。下图展示了以图像为例的显隐式标识的相关效果。
图像显隐式标识的效果展示
GCmark平台介绍
现有的生成式人工智能服务大多服从提示语和智能体作为输入、合成内容作为输出的使用范式。生成式人工智能服务依赖提示语这一必要输入以合成用户所需内容。大模型智能体是一个建立在生成式人工智能服务基础之上并提供主动决策能力的助手，能够简化用户的使用步骤，具有自动化处理任务的能力。针对这一使用范式，GCmark平台利用数字水印这一技术，将特定信息嵌入数字内容中，提供从输入到输出的全维度全方位的标识能力。平台覆盖文本、图像、音频和视频4种数据类型，实现多模态标识功能。平台能够为提示语和智能体添加标识，满足对这一类输入的版权保护等需求。此外，平台重点聚焦输出侧的合成内容标识，满足各类生成式人工智能服务相关需求，如保护内容版权、验证内容真实可靠性、提供内容附加信息、监管合成内容和追踪溯源用户。
文本标识：平台具备针对提示语和智能体的“显隐结合”水印标识能力，为针对提示语和智能体的AIGC的监管和版权保护等需求提供技术支撑。如下图所示，平台提出首创的“显隐结合” 水印方案，正常使用阶段用户无法感知服务端提示语和智能体的水印信息；一旦监管者输入某段水印秘钥，即可在生成内容中提取水印信号（例如：“AI生成”），验证服务端的提示语和智能体水印信号，溯源服务端使用的提示语和智能体。
“显隐结合”的提示语和智能体水印标识效果
图像标识：图像标识功能主要提供对AIGC图像加入数字水印的标识嵌入与提取服务，为AIGC的监管和版权保护等需求提供技术支撑。在图像标识功能中，平台同时支持图像显式水印与隐式水印。显式水印位于图像四角，包含“AI生成”等有效标识信息。隐式水印覆盖全图像，包含生成式人工智能服务提供平台信息。数字水印提取过程能够抵御多种攻击方法。如下图所示，平台利用数字水印技术为合成内容嵌入标识，继而通过提取信息功能实现版权保护、用户溯源、信息防伪等能力。
图像标识能力效果展示
音频标识：音频安全标识能提供显隐性结合的音频安全标识嵌入，如下图所示。显性安全标识表现为合成内容提示音或人耳能感知并判断的特殊节奏。隐性安全标识则能够在不影响音频质量的前提下，巧妙嵌入标识信息，既保证了标识的隐蔽不易察觉，又便于在需要时准确提取验证。本标识技术同时可确保在传输过程中即便遭遇各种攻击手段（如剪切、重采样、压缩等），也能保持标识信息的完整性和有效性。
音频显隐式标识的嵌入示意
视频标识：视频标识功能通过帧提取技术，提供显隐性结合的视频内容安全标识服务，安全标识可位于视频部分或全部帧中。内容显式标识位于帧图像的四角，包含“AI生成”等有效标识信息。内容隐式标识在不影响视频质量的前提下，覆盖帧的全图像，包含生成式人工智能服务提供平台信息。如下图所示，平台利用数字水印技术为视频帧内容嵌入标识，起到AIGC内容提示作用，实现版权保护等能力。
视频显隐式标识的嵌入示意
GCmark平台积极应对生成式人工智能新业态下的水印安全挑战
生成式人工智能新业态的快速发展，给AIGC水印的安全性带来了区别于传统水印的新型挑战。例如，攻击者可以利用深度篡改等新兴技术对带有水印标识的生成内容进行伪造攻击，导致原始水印失效，也能利用混淆参数方法破坏模型内置的AIGC水印功能。此外，生成式人工智能端到端的使用范式提出了交互式水印验证的安全挑战。针对这类新型安全性挑战，平台实现了一套多方位的应对措施，涵盖半易碎水印机制、安全内置水印模块解决方案、基于约束优化的水印嵌入方法，以抵御新型生成式篡改攻击，极大提升AIGC水印在生成式人工智能新业态下的安全性。
溯源与证伪的双重安全挑战：本平台面向数字标识对深度篡改等新型伪造攻击的安全需求，创新性实现了半易碎水印机制，该水印机制将鲁棒水印与易碎水印相结合，实现对合成内容的双重保护。当音频遭受基于深度篡改的恶意攻击时，鲁棒标识部分能维持其完整性，确保在攻击后仍能被正确提取，实现合成内容篡改前原始来源的溯源；而易碎标识部分将则将受到破坏，从而作为合成内容被篡改的直接证据。这种双重机制不仅实现了对合成音频的有效溯源，还大大增强了对其的保护力度，有效应对包括深度篡改在内的各种恶意攻击，从而确保合成内容的完整性和真实性。
深度篡改攻击下的半易碎水印
模型内置水印模块安全挑战：当前一类热门AIGC水印技术是将内容生成过程与水印标识嵌入过程结合，通过修改生成式模型的参数实现AIGC生成即带有水印标识。攻击者可以利用篡改模型参数这一攻击手段，使得模型内置水印模块失效。平台开创性地提出了抵御这类破坏模型内置水印模块的解决方案，能够有效应对多位攻击者同时攻击的严峻挑战。如下图所示，以图像生成模型溯源场景为例，经篡改后的模型生成的图像不再带有水印标识，无法完成用户溯源。平台所提出的保护机制通过信息库智能搜索比对等技术，仍能精确溯源篡改模型的攻击者，有效保证了AIGC水印标识的安全性。
可精确溯源攻击者的模型内置AIGC安全水印技术
交互式水印验证的安全挑战：传统文本水印在文本载体中嵌入和验证水印；然而，基于大模型交互式场景中，水印在提示语和智能体端嵌入，并在模型输出端验证。如下图（a）所示，在交互式水印验证场景中，文本在输入大模型过程中存在同义词替换、随机单词换序等处理。因此，在输出端验证水印存在失效的可能。为了应对上述挑战，平台提出首个基于约束优化的水印嵌入方法，在不破坏提示语和智能体功能的前提下，实现文本水印的鲁棒嵌入和验证。如下图（b）所示，平台分析最优水印嵌入位置，并利用基于束搜索（Beam Search）单词搜索方法进N次查找，在隐秘区域注入水印，以实现交互式水印的安全验证。
两类文本攻击方法和鲁棒性增强的约束优化方法
应用场景
信息防伪：
用于各类重要文件、证照以及重要音视频内容方面的防伪。
追踪溯源：
在追踪溯源方面，多模态标识能够精准追踪侵权行为，维护创作者的合法权益，促进文化产业的健康发展。
盗版保护：
在数字媒体传播中，用于防止音视频内容被非法篡改或盗用，保障原创作品的安全性和完整性。
结语
GCmark平台积极响应《人工智能生成合成内容标识指南》的要求，打造涵盖文本、图像、音频和视频等多模态一体化生成内容标识方案，具备“多模态”+“高鲁棒“+“显隐结合”三重保障让合成内容无所遁形。
在下一阶段的工作中，团队将继续聚焦生成式人工智能水印标识发展前沿，从平台维护、开源生态、产业应用等方面推动人工智能生成合成内容标识技术进步，推进人工智能生成合成内容标识准制定与完善，协助构建适用于不同场景的生成式人工智能监管，降低人工智能技术滥用带来的安全风险提供科学支撑。
我们诚挚欢迎各界技术人员、安全研究者、开发者以及企业合作伙伴与我们共同推进人工智能生成合成内容标识技术的发展。同时，我们也热忱期待能与高校、研究机构以及产业界建立深入合作，促进学术研究与产业实践的紧密结合，为网络空间安全贡献力量，欢迎通过zju.gcmark@gmail.com与我们联系。
浙江大学区块链与数据安全全国重点实验室于2022年11月正式获得国家科技部批准成立。实验室由陈纯院士领衔担任主任，聚焦区块链与数据安全国际科技前沿，以实现高水平科技自立自强和打造具有世界一流的战略科技力量为己任，围绕产学研一体融合，开展系统性创新性科技攻关。实验室的研究方向主要包括区块链技术与平台、区块链监管监测、智能合约与分布式软件、数据要素安全与隐私计算、AI数据安全与认知对抗、AI原生数据处理系统、网络数据治理、智能网联车数据安全、可信数据存储与计算技术等。
浙江大学区块链与数据安全全国重点实验室大模型数据安全团队由常务副主任、计算机学院院长任奎教授牵头，在科技部科技创新2030-“新一代人工智能”重大项目、国家重点研发计划项目、国家自然科学基金委区域创新发展联合基金重点项目、浙江省领军型创新创业团队项目、浙江省重点研发项目、浙江省领雁计划项目、浙江省自然科学基金重大项目等多个国家级/省部级项目的支持下，面向大模型数据，研究数据安全与数据隐私基础理论，构建大模型数据安全评测平台和安全组件，为建设大模型数据安全生态提供理论支撑、合规检验及安全加固服务，保障大模型的训练、部署及使用的全流程数据安全。