1.使用StableDiffusion生成的AI图像。2.社交平台上已出现不少被指利用AI生成图像假扮真人的账号。
3.有人在网上发布由AI生成的美国前总统特朗普被捕照片。4.闲鱼上，多名卖家声称可提供真人模型训练服务。
A
30秒即可生成拟真图像手机上也可运行
南都大数据研究院监测发现，在Midjourney吸引大批网民目光的同时，另一个名为StableDiffusion的AI绘画模型已悄然走红。据介绍，该模型可在普通家用电脑运行，并通过叠加不同子模型，生成不同风格的图像，其中就包括模拟真实照片风格。
StableDiffusion是否真如宣传所言般强大？南都研究员从网络渠道取得一份模型整合包。实测发现，该模型在南都研究员的个人电脑上确实成功运行。根据教程指引，南都研究员尝试向AI提出了几个作图关键词(像照片般逼真、基于物理渲染、一个女生、戴眼镜、连帽衫、看向镜头、城市景观)，等待约30秒后，AI便生成了一张质量颇高且符合关键词要求的拟真图像。
这款StableDiffusion模型来自哪里？南都研究员检索发现，这是一款由创业公司stability.ai于2022年8月发布的AI绘画模型，目前已更新至2.0版本。
在众多开发者的合力支持下，StableDiffusion快速迭代，对运行设备的要求不断下降。如今已实现在普通家用电脑、甚至手机上也能运行。
B
40张照片即可生成已被用于制造“假新闻”
在AI训练方面，StableDiffusion也接近实现零门槛。有开发者在StableDiffusion的基础上加入了一项模型微调技术——LoRA(Low-RankAdaptation)。在该技术的支持下，用户只需准备少量图片素材，即可训练出一个LoRA模型，并生成与素材内容高度相似的图像。
此外，通过stability.ai公开的说明文档以及Github上的代码说明，南都研究员发现，虽然该AI模型名为StableDiffusion(稳定扩散)，但其道德感一点也不“稳定”。由于其开源性质，开发者无法对StableDiffusion作出任何有效的内容生成限制和过滤。用户只需在对AI输入指令时强调黄色或暴力等关键词，AI就会完全服从并生成对应图像。
除StableDiffusion外，另一款AI绘画模型Midjourney的道德限制同样可被绕开，进而生成大量“假新闻图片”。
据南都大数据研究院监测，基于Midjourney生成的“特朗普被捕”虚假图片在社交平台流传后，很快有其他网民察觉到AI绘画模型这一“新功能”，开始利用该模型针对不同政治人物创作各种“假新闻”。
C
大量卖家在线兜售技术爱好者呼吁纠正社区氛围
南都研究员还发现，已有国内网民不满足于利用AI模型制图“整活”，开始尝试“技术变现”。
在闲鱼平台上，南都研究员发现大量卖家在公开兜售StableDiffusion模型，其介绍页面大多配有高度接近真人照片的图像，并声称可提供详细使用教程，“包教包会”。
深入了解发现，闲鱼上甚至还有卖家提供LoRA模型代训练服务，其中多名卖家表示可训练真人模型。在问及会否存在侵权等法律风险时，有卖家表示“不要往外发，自己私下玩玩就好”。更有卖家向南都研究员展示自己拥有的大量LoRA模型。
面对AI模型带来的安全风险，以及已经出现的滥用趋势，开发者如何应对？是否还有补救措施？南都研究员发现，越来越多技术爱好者留意到AI拟真图像传播愈演愈烈的趋势，正积极尝试纠正社区氛围，避免更多人走上歪路。
南都研究员留意到，在stability.ai新推出的StableDiffusionReimagine工具中，已经加入了一个新的过滤器，用于阻止不适当的请求。
据悉，今年3月以来，陆续有多个AI模型更新或上线绘画功能：3月16日，百度“文心一言”对外发布，并展示包括图片生成在内的多模态生成能力；3月19日，AI绘画模型Midjourney推出V5版本，同时公开多张可媲美真实照片的AI作品；3月21日，微软Bing上线基于DALL-E模型的在线AI绘图功能；3月22日，Adobe公司发布名为Firefly的图像生成AI模型。不难看出，AI绘画正在成长为下一个风口，多家企业正尝试在AI绘画领域打造下一个“ChatGPT”。装好保险，用于正道，AI技术也将驱动我们的新旅途。
案例
企业AI伪造人脸涉案金额超百万
2022年底，杭州互联网法院审理一起因“AI换脸”App利用深度合成算法侵害他人肖像权的案件：被告上海某公司运营一款“AI换脸”App，并在其中使用了原告楼某某拍摄的视频模板。杭州互联网法院经审理认为，被告未经原告同意，利用深度合成技术使用其肖像制作了伪造视频，依法应认定构成对原告肖像权的侵害，判决App开发者赔礼道歉并赔偿损失共计5000元。
监管
●2019年11月
国内首个针对“AI造假”的监管措施出台，国家网信办、文旅部和广电总局等三部门联合发布《网络音视频信息服务管理规定》，明确“利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识”“不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息”。
●2021年1月1日起
《民法典》正式实施，明确规定“任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用公开肖像权人的肖像，但是法律另有规定的除外”。
●2023年1月10日起
国家网信办、工信部、公安部联合出台的《互联网信息服务深度合成管理规定》正式施行
明确“任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动”。
观点
特别防范建模过程中引入的歧视性观点或规则
近日，中央网信办网络管理技术局局长于永河在《中国网信》杂志上撰文谈及深度合成技术的现实危害与潜在风险。他指出：“利用深度合成技术生成的虚假信息日益增多，滋生谣言、混淆视听，大幅削弱社会信任度。一些不法分子利用深度合成技术恶意制作违法有害信息，并通过社交网络发布、传播，诋毁他人名誉、侵犯个人隐私，或利用深度合成技术仿冒他人身份实施诈骗，严重扰乱网络传播秩序和社会秩序，危害公众利益、国家安全和社会稳定。”
在问题治理方面，于永河提出要压实各方主体责任，多层推进深度合成技术治理。一是立足源头管理：技术支持者要从技术源头上加强数据和算法管理，确保训练数据客观公正、合成模型安全可控，特别要防范在建模过程中引入歧视性观点或规则，带来安全隐患。二是体现过程管理：服务提供者要在用户注册、信息发布、应急处置、技术保障等多环节中，全面落实全流程管理责任。三是聚焦结果管理：使用深度合成服务的组织和个人应主动承担起信息安全义务，不得利用深度合成服务从事侵犯个人隐私、制作传播虚假信息等违法违规活动。四是突出渠道管理：互联网应用商店等应用程序分发平台应落实平台主体责任，主动核验应用程序的安全评估、备案等情况，发挥对深度合成应用的上线把关作用。