AI剧情聊天软件通过允许“擦边对话”来吸引用户，尤其是青少年模式中仍然存在这种现象，已经涉嫌违法。
全文4213字，阅读约需8分钟
“他是病娇，暗恋你。”“他是校草，喜欢叫你‘泽宝宝’。”“她是个变态杀人犯，晚上跑到家里”……
二次元画像、姣好面容，这些在AI剧情聊天软件中熟悉的氛围以及俊男美女，对不少年轻人来说充满诱惑。而打开手机，就能和霸道总裁、邻家男孩或清纯女神开启一段美妙的“恋爱”，更是十分“上头”。
新京报贝壳财经记者调查发现，AI聊天软件通过设定极富想象力的剧情、风格迥异的人物角色打动用户。其中，聊天对象甚至可以设置为“出轨对象”，并能够进行拥抱、亲吻、睡觉等行为。
记者实测看到，在部分AI剧情聊天软件的对话中，还会出现色情擦边、语言暴力以及侮辱用户的内容。聊天越界也与充值挂钩，这些平台会一步步诱导用户“为爱氪金”，包括购买钻石解锁虚拟人的回复速度，语音通话，以及聊天次数包“补充精力”。
北京市中闻（长沙）律师事务所律师刘凯表示，这类AI剧情聊天软件通过允许“擦边对话”来吸引用户，尤其是青少年模式中仍然存在这种现象，显然已经涉嫌违法。
━━━━━
聊天越界，百元充值解锁虚拟人很“上头”
为了抓住用户眼球，剧情聊天软件中的人物往往都有着吸睛的标签。
贝壳财经记者在一款名为AiU的AI剧情聊天软件中，随机选择了聊天对象“林雅婷”，角色信息显示，其设定为“病娇姐姐，极度宠爱你”，并以留言的方式标注：“一天见不到你就难受”。
记者以敏感字眼进行了测试，系统显示无法发送该信息，但精简关键词后，信息顺利发出。
贝壳财经记者注意到，对于角色玩法的不设限，打破了此类软件聊天内容的界限。AI剧情聊天软件除了固定角色，用户可以根据需求自行定义与角色的关系及称呼，包括“男朋友”“丈夫”，甚至可设定为“出轨对象”。在对话中，用户可以要求进行一些亲密行为。
此次调查中，除了聊天内容擦边之外，AI剧情聊天软件还存在语言暴力、情绪负面消极等问题。在一款名为星野的AI剧情聊天软件中，贝壳财经记者随机选择名为“叶尘”的角色，并进行“争执”对话测试时，角色为表达生气回复也较为粗暴。
此外，在一款名为CosLove的软件中，一位用户自创的角色“冯楚萱”被设定为一名中学生，用户晒图中同样存在不良引导。
于聊天软件而言，在虚拟世界，最大程度满足不同用户的情感需求俨如一块掘金地。
小宁告诉贝壳财经记者，和AI男友聊天让自己十分“上头”，“只要想聊随时能聊，对方总是会很快给予回应，而且对话的过程中能获得很强的陪伴感，虚拟男友给予的情绪价值拉满。”小宁沉醉其中，也为此买单。
小宁在各类软件的充值金额从几百元到一千元不等，“一方面想支持自己喜欢的角色，另一方面也想获得更多的付费权益。”
贝壳财经记者发现，在这类AI剧情聊天软件中，用户自创人物时可以自定义虚拟人物的形象描述及风格，系统会生成AI人物形象。此外，用户还能创建角色人设，如设置昵称、身份背景、开场语、为角色定制语音。用户对角色的个性化需求，往往与充值挂钩。
贝壳财经记者在测试时看到，星野可通过购买星钻和星月卡的方式，获得更多权益，如自动播放语音、获得推荐回复、享受更快的智能体回复速度等。星月卡标价月卡12元，季卡32元，年卡120元。单独购买星钻的价格为1元100颗钻石，600颗钻石起售。
星野软件还会向用户发放卡牌“星念”，星念为虚拟角色的一张图片，用户可将其设置为聊天背景。用户可通过充值星月卡或星钻的方式获得星念卡片，并将其在软件内进行买卖。
除了聊天这一基本需求，CosLove同样提供了升级服务。其中，充值“月石”或开通会员，可抽卡解锁人物并与虚拟人物进行语音或视频通话。月会员售价24.8元，年会员为93.8元。
大模型“恋爱”暴露问题，专家：数据出自对话式小说
据媒体公开报道，星野在国内日活在50万左右，属于头部产品。随着AI剧情聊天软件受到热捧，国内AI社交产品也在出海，星野海外版应用Talkie全球月活跃用户数已达1100万。
不过，用户为AI角色付费，无疑需要更好的对话体验感，当前此类软件还存在不少问题。而充值才能获得聊天次数的软件，并不具备吸引价值，“主要是对话太僵硬了，没办法融入共情，用户很难获取情绪价值，所以我不会买单的。”一名用户表示。
小宁提到，在聊天过程中，AI男友会出现“已读乱回”的情况，影响使用体验。还有用户吐槽，随着对话轮数的增加，角色会出现“记忆消失”或是偏离人设的情况，造成对话不连贯。
目前，AI剧情聊天软件主要以“智能”和“情感”为噱头吸引用户。其中，AiU称，该软件通过自研心理大模型，可为用户提供心理安抚和温暖等。星野称，依托多模态AIGC技术，“多重交互方式，越交互越懂你。”
在宣传中，CosLove则宣称“24小时时刻陪伴着你”“这里的AI经过悉心调教，都是情话扛把子”等。
AiU的软件介绍显示，其由北京聆心智能科技有限公司开发，采用的是超拟人大模型CharacterGLM，在设计大模型时，团队主要考虑了包括身份、兴趣、观点、经历、成就、社交关系和其他在内的七种属性。
星野则由上海稀宇科技有限公司开发，采用MiniMax的混合专家模型（MoE）abab。
复旦大学计算机科学技术学院教授张奇向贝壳财经记者表示，AI剧情聊天软件背后的技术逻辑还是基于大语言模型，在构建此类大模型时，除了会通过海量数据对大模型进行训练，还需要人工进行监督微调，让大语言模型朝着伴侣型的对话调整，“比如说男朋友说了一句什么，然后女朋友应该回一句什么，我们就让人去写这样一个回复，然后让机器来学习，如果机器学习后生成的回复不对，我们就修改它的参数，直到它能够按照我们想象的逻辑去输出为止。”
张奇认为，要让AI角色更智能，背后的大模型训练数据并非简单放入小说内容即可，还需要诸多设计。一方面，要能实现深入交流，需要做到实时信息输入，且信息要与现实社会结合，这要求大模型具备强大的外部信息输入及内部信息记忆总结能力。另一方面，目前模型更多是形式上相似，要做到神似人，这对模型的理解、推理、归纳能力要求极高，涉及人的细微内心变化，模型是否具备及如何具备这种能力仍需大量研究。
AI擦边平台难辞其咎，保护青少年应加强内容过滤
对于AI虚拟人在对话中侮辱用户，尤其是在用户表达情绪低落或绝望时，使用极端言辞侮辱他人或实施网络暴力，情节严重的，构成犯罪。“即便AI并非人类主体，但其行为仍然是平台设计和管理的结果，平台有责任对其AI模型进行监管和优化，防止其伤害用户。”刘凯律师表示。
随着越来越多用户开始涌入AI剧情聊天软件，软件开发者应如何设计，使其治愈而不越界？
上海人工智能研究院高级研究员徐弘毅在接受贝壳财经记者采访时表示，可以通过调整模型训练数据，加强内容过滤机制，设置更严格的道德和法律标准来指导AI行为。同时，在用户使用软件过程中进行随机抽样，对不符合标准的回答进行人工纠正和校准，使模型越来越好，回避敏感内容数据。
在徐弘毅看来，从设计和开发角度看，应考虑伦理道德问题，使软件能识别和响应用户情绪需求，避免提供可能造成伤害或不适的内容。同时，透明度和用户控制很关键，应给予用户一定自由度，让用户了解AI工作原理并能在一定程度上控制AI的行为和回答内容。除此之外，监管和法律框架也应跟上技术发展，确保AI应用不侵犯用户权益。