引用格式：YuntaoWangandYanghePanandMiaoYanandZhouSuandTomH.Luan,"ASurveyonChatGPT:AI-GeneratedContents,Challenges,andSolutions",inIEEEOpenJournaloftheComputerSociety,vol.4,pp.280-302,2023,DOI:10.1109/OJCS.2023.3300321.
1.引言
人工智能生成式内容（AIGC）是指利用生成式人工智能算法，根据用户输入或需求来协助或替代人类以更快的速度和更低的成本创建丰富、个性化、高质量的内容，包括文本（如诗歌）、图像（如艺术品）、音频（如音乐）、视频（如动漫）、增强型训练样本，以及3D互动内容（如虚拟化身、资产和环境）。作为PGC（ProfessionalGeneratedContent）和UGC（UserGeneratedContent）等传统内容生成范式的补充，AIGC范式具有广泛的应用前景，可以自动、高效、低成本地生产大量高质量内容，这对于元宇宙和数字孪生等各种新兴应用至关重要。例如，在交互式元宇宙游戏Roblox中，AIGC可以为avatar生成个性化的皮肤和3D游戏场景，使得用户在沉浸式的虚拟空间中游戏、合作和社交。根据Gartner预测，到2025年全球约10%的数据将由生成型人工智能算法生成。
在AIGC时代，更大的数据集是“燃料”，更大的基础模型充当“引擎”，而无限的计算能力则起到了“加速器”的作用。ChatGPT是由GPT-3.5模型微调而来，其训练数据集由接近1万亿个词的大约45TB的语料集构成。它集成了自监督学习、强化学习和提示学习等多种人工智能技术。ChatGPT训练所需的计算能力约为每天3640PetaFLOPs，相当于每秒计算10千万亿次，需要3640天来完成。在大数据、大模型和大计算力的工程化组合下，ChatGPT展示出了强大的涌现能力，可以学习新特征和更高级别的模式，并根据用户的多模态提示自动化创建有价值的内容。除了大规模训练数据和大算能力外，ChatGPT还集成了一系列新技术。例如，ChatGPT使用了思维链提示（CoT-prompting）技术[13]，使预训练的LLM能够在少量数据和零样本学习环境下通过逐步推理来解释其推理过程。此外，它还集成了人类反馈增强学习（RLHF）来帮助ChatGPT更好地理解人类偏好，通过训练奖励模型和强化学习对LLM进行微调。此外，在计算机视觉领域，2022年创业公司StabilityAI开发的StableDiffusion和OpenAI开发的DALL-E2已经取得了巨大的成功，可从复杂和多样化的文本描述中生成高分辨率的图像。
尽管AIGC前景光明，但安全和隐私问题对其广泛应用构成了重大阻碍。在AIGC服务的生命周期中，可能会出现一些安全漏洞、隐私泄露、信任问题和道德问题，这些问题可能源自普遍的数据收集，智能模型/数据盗窃，到大量的网络钓鱼邮件的分发。
2.AIGC工作原理
本节首先介绍AIGC的发展路线图和使能技术，然后讨论内容生成范式以及知识表示和使用的范式转变，接着，介绍AIGC的通用架构、工作模式、关键特征和典型应用。
2.1.AIGC发展脉络
2.2.AIGC使能技术生成式AI算法、预训练大模型和多模态技术等多种先进AI技术的融合汇聚，正引领着AIGC范式的蓬勃发展。
2.3.内容创作的范式转变
AIGC范式以大规模生产、高质量输出和低单位成本的显着优势，如表II所述，正在革新当前内容生成的格局。借助ChatGPT等预训练大模型和CLIP等多模态技术，AIGC范式已经成为一种强大的产生不同类型的多样化内容的工具，其效率和经济性达到了无所匹敌的水平。
2.4.知识表示和使用的范式转变诸如ChatGPT和GPT4等AI大模型的出现，正在革新当前知识表示和使用的范式。正如表III所述，这一发展预计将对工业界产生持久的影响。
2.5.AIGC-as-a-Service架构
如图3所示，AIGC-as-a-Service（AIGCaaS）的体系架构涉及以下3个层次：(i)基础层，(ii)AIGC引擎层，以及(iii)AIGC服务层。
2.6.AIGC工作模式在未来，AIGC有潜力完全取代简单的和缺乏创造性的人类工作，并加速人机协作时代的到来。AIGC存在两种主要的内容生成模式：协助生成和自主生成。
2.7.AIGC关键特性在此部分，我们将讨论AIGC服务的关键特性：
2.8.AIGC应用及原型在此部分，我们将讨论不同类型的AI生成内容以及其应用：
3）音频生成。AI生成的音频有着广泛的应用，包括语音合成、音乐创作和声音设计。如AmperMusic这样的音乐创作AI程序，允许用户使用AI创建原创音乐。
5）3D内容生成。AIGC可以通过分析照片和视频等真实世界的数据来创建逼真的3D模型，AI生成的3D模型可以用来创建动画、游戏资产和产品设计。
7）跨模态生成。AIGC中的跨模态内容生成指的是使用基础AIGC模型在多种模态之间生成新内容。它包括文本到图像、图像到文本、文本到代码、文本到视频、文本到音频等。
表IV总结了代表性的AIGC原型及其应用。总之，AIGC使我们的生活更加便捷高效，但也带来了新的安全及隐私威胁、伦理影响和潜在的偏见问题，如下一节所示。
3.AIGC安全与隐私威胁
本节讨论了针对AIGC范式下安全和隐私问题的威胁，从以下四个方面进行分类：安全威胁、隐私威胁、信任问题和伦理问题。
3.1.AIGC安全威胁
3.2.AIGC隐私威胁
3.3.AIGC信任问题
3.4.AIGC伦理问题
小节：图4展示了AIGC服务的安全性和隐私威胁的分类。可以看出，现有的大多数AI安全和隐私威胁在AIGC领域仍然存在，甚至可能变得更加严重。例如，攻击者可以利用AIGC模型的能力生成大量中毒或对抗性样本，以增加攻击的影响。除此之外，由于AIGC模型可以动态地学习用户输入并从训练数据中记忆可能的敏感信息，从而引发新的隐私威胁，如从AImomory中盗取数据和在与AI交互期间泄露隐私。此外，AIGC的新特征（即快速、密集、低成本和多样化的内容生成）可能引入包括IP问题、越狱和提示注入等新型安全威胁。此外，AIGC服务引发持续的信任问题，特别是涉及接收内容的真实性（例如，接收到的图像和视频是否由AI生成）。此外，虽然AIGC服务可能彻底改变用户的生活，但它们可能引发严重的伦理问题，并更易于实施。因此，在设计AIGC系统之前，识别和解决潜在的安全威胁非常重要。我们需要从技术和监管的角度尽快提出有效和可行的对策。
4.AIGC的IP保护和监管
在本节中，我们首先探讨AIGC中的IP保护和监管方法。然后，我们回顾现有的基于数字水印的可监管的AIGC方案和面向AIGC数字水印的安全威胁和对策。
4.1.AIGC领域的IP保护和监管方法现有和潜在的AIGC领域中的IP保护和监管方法包括数字水印、加密、硬件、区块链和法律法规，如下：
小节：上述每种技术都具有独特的优点和局限性，可在组合使用中提供更好的保护，减轻知识产权侵犯的风险。随着AIGC技术的快速发展，开发新型产权保护和监管方法并与现有方法进行全面高效整合至关重要。
4.2.AIGC中基于数字水印的知识产权保护解决方案AIGC模型中的数字水印是一个两阶段的过程，包括（i）模型训练阶段的数字水印嵌入和（ii）模型发布后的数字水印验证。数字水印嵌入旨在将预先设计的向量或特殊激活模式插入到AI模型中。在完成水印嵌入后，AI模型公开发布并部署服务，当怀疑存在外部模型侵权行为时，模型所有者可以通过验证可疑模型来提取数字水印以证明所有权。
4.3.AIGC水印的威胁和对策
5.未来研究方向
在本节中，我们从以下几个方面指出了AIGC时代下的未来研究方向。
5.5.设计安全的AIGC服务为各种应用中对AIGC服务日益增长的需求，开发能够抵御攻击、保护敏感数据和保护用户隐私的安全设计的AIGC系统对减轻潜在威胁至关重要。设计安全的AIGC系统确保安全不是事后措施，而是系统架构设计中一个不可分割的部分。特别是，需要提前考虑到人工智能可能带来的潜在安全风险，并将安全措施嵌入到AIGC系统的设计和开发中。因此，其有助于减轻恶意攻击或系统中意外漏洞对数据隐私和安全可能产生的潜在威胁。对抗性鲁棒程度[110]是安全设计的AIGC系统的一个关键方面。它指代AIGC系统抵抗旨在欺骗或操纵系统等攻击的能力。因此，设计安全的AIGC系统可确保AIGC系统即使面临意外或对抗性输入，也仍然保持可靠和值得信任。诸如鲁棒优化[111]、对抗性训练[110]和防御蒸馏[112]等各种技术，都可以提高AIGC系统的对抗性强度。其中的开放性研究问题包括内生安全AIGC算法、新型主动防御、安全编程、严格测试、安全监测和隐私合规性等。
6.总结
ChatGPT和AI生成式内容技术的快速兴起带来了内容创造方面的重大进展。然而，它也带来了诸如越狱、数据盗窃、深度伪造和有偏见/有害内容等安全威胁。为跟上AIGC时代的进展，本综述从安全威胁与防御的角度对AIGC进行了全面的回顾。本文首先介绍AIGC的工作原理，包括其支撑技术、体系架构、工作模式、关键特征和典型应用。然后，指出了现有和潜在的GPT和AIGC中的安全/隐私威胁、信任、伦理问题。此外，综述了AIGC的最新监管解决方案，以及当前解决方案的挑战和限制。最后，讨论了AIGC框架的绿色、可解释、有效性、可问责和设计安全等方面的未来研究方向。本综述的主要目标是为AIGC提供工作原理、安全/隐私/伦理问题和潜在对策方面的综合洞察，并引领该领域更多的创新举措。