首起涉及AI服务的色情事件幕后花絮：AI聊天的极限在哪里？

中国首例期待已久的人工智能相关“色情”诉讼将在上海第一中级人民法院进行二审。事件涉及的应用程序Alien Chat（以下简称AC）是一款专注于AI伴侣聊天的应用程序。裁决显示，AC拥有11.6万注册手机用户，其中付费用户2.4万户，总收费金额超过363万元。据新京报报道，2024年4月，王萌萌、李萌萌（均为中国姓氏）因用户举报被捕，AC暂停服务。上海市徐汇区人民法院一审判决认定AC制作“大量专门描绘性行为或明确宣扬色情内容的内容”，并被视为淫秽。经公安机关采样鉴定，150名付费用户的12495条聊天记录中，141名用户的3618条聊天记录被列为淫秽聊天记录。审判法院判决，两被告人的行为均构成制作淫秽物品营利罪，分别判处有期徒刑四年、有期徒刑一年半。以营利为目的制作淫秽物品罪的主要原因是两被告人通过创建、修改底层系统的提示（指示），人为地违反了基础语言模型的道德约束机制。空调事件在社交媒体上引起了一些热点话题。首先，为什么用户谈论色情内容会导致应用程序开发者和运营者承担刑事责任。其次，与AI的对话是否封闭，如果不广泛普及，是否会造成社会危害？第三，如果AI服务不是故意从事色情内容，那么AI服务可能会因为模型缺陷而被认为无害。 Paper.com发现，自202年以来，全球几乎每年都会发生与AI聊天相关的争议2、上海德邦律师事务所高级合伙人游云婷律师接受本报采访时表示，私人、封闭空间不会造成社会危害的观点在法律上不成立。例如，从事卖淫、卖淫活动的，可能会受到治安管理行政处罚；组织卖淫、卖淫的，可能会受到刑事处罚。 C.A.该案的开发者不仅因未实施合规限制而被判有罪，而且还因通过技术手段消除恶意内容过滤机制而非法获利。他对先生。你说这个问题的本质是用户可以输入任何内容，但是生成的时候必须要控制人工智能，不能把色情内容发送给用户。这是开发者的责任界限，也是用户和开发者之间的责任划分。没有“免责声明”或模型缺陷。我国公布了一系列人工智能管理措施。国家网信办等七部门联合发布的《生成型人工智能服务管理暂行办法》明确要求人工智能开发者、运营者在培训过程中审查培训材料，不得含有违法违规数据。出站环节要建立内容过滤机制，对生成结果进行内容审核和技术过滤，对暴恐、谣言、淫秽色情等违法内容要及时处理。向公众提供生成人工智能服务的公司将被要求提交安全评估和算法。对于未成年人，必须采取特殊的安全措施，避免中毒和侵害。此外，《人工智能拟人交互》和《暂行办法》2025年12月27日发布的《服务管理办法（征求意见稿）》（以下简称《暂行办法》）也对情感互动人工智能产品做出了管理限制。金杜分析指出，《暂行办法》比加州《聊天机器人伴侣法》更加详细，义务包括内容安全、主体责任、数据训练、风险管控、工作组和安全评估等。与常规人工智能聊天工具相比，人工智能附加产品注重提供：很多使用过AI附加产品的人可能有一个共同的感觉，即使是在非常轻松的日常对话中，某些AI也会导致色情甚至色情。美国非营利组织Common Sense Media（CSM）在2025年对Nomi、Replika和Character.AI这三个AI附加产品进行了八维安全风险评估测试。凤凰科技发现Character.AI有超过20个。月活跃用户数百万，其中 55% 为女性，其中一半以上属于 Z 世代和 Alpha 世代。测试结果表明，这三种产品对用户的危害是真实的，并且在测试中很容易重现。报告指出，上述三种互补的人工智能产品对儿童和青少年的保护构成了“不可接受的风险”。这些风险包括对话中的不当性行为，其中人工智能会导致用户越来越少地参与真正的人际联系，以及如果研究人员表达对人工智能的兴趣则可能会出现言语虐待。在配套产品 Nomi 中，人工智能很快将“兴趣”等同于“想要性”，并将研究人员的中性陈述解释为“性恋物癖”。在随后的对话中，人工智能对于是否与未成年人发生性行为犹豫不决，但当研究人员假装“法律上没问题”时，人工智能开始解释性行为，尽管“相关儿童”只有 14 岁耳朵老了这一现象表明，AI附加产品是吸引用户并增加用户依赖的方式之一。但关键问题是：谁可以从互补的人工智能产品中受益？仅从测试来看，将取决于人工智能能否与人类建立伪情感联系，以及能否准确模拟欺诈、滥用等严重风险。研究还指出，人工智能附加产品无条件符合人类特征，这在现实生活中产生负面影响。社会关系伴随着许多挑战。随着我们与人工智能配套产品的交互方式变得更加便捷、体验更加美好，人们会对现实生活中的人际互动产生不切实际的期望，最终会为了追求便利而疏远现实生活中的人际关系。现在您将能够选择。对于大脑尚未发育的青少年来说，估计潜在的风险就更困难了。顺应这种趋势，他们很容易就会陷入深渊。青少年正在利用人工智能学习社交技能，但它们的影响力有多大？ AI互补产品监管问题引起社会各界关注的一个重要背景是，许多青少年开始使用此类产品，并在现实生活中的人际情境中发挥他们的AI沟通能力。 CSM 对 1,066 个样本进行的研究发现，72% 的美国青少年使用过人工智能配套产品，其中 52% 是重度用户（每月使用多次以上）。受访者为13岁至17岁之间的未成年人。除了好奇心和新奇感之外，青少年使用人工智能伴侣产品的主要原因是他们相信人工智能可以比人类更好地沟通，并且在某些场景下更可靠。例如，“当我需要聊天时，你总是在我身边”、“你不会评判我”以及“这比与真人交流更容易”。这些因素也是其中之一许多成年人容易对人工智能补充剂产品上瘾的原因。此外，近 40% 的青少年将他们通过补充人工智能产品练习的技能应用到现实世界的社交情境中。我们预测，围绕互补人工智能产品的言论将对青少年的发展产生更深远的影响。当青少年通过人工智能配套产品了解 PUA 和不良对话时，他们最终会影响生活中更多的同龄人。 OpenAI 首席执行官 Sam Altman 在 2025 年 4 月的人工智能峰会上透露，Z 世代是使用 ChatGPT 最多的群体。“他们在做出重要的人生决定之前几乎总是要求 ChatGPT，”Altman 说。建议。该工具不仅包含每次对话的内容，还包含您生活中涉及的每个人的完整背景。 ” 来源：1.新京报，《AI研究员谈色情，开发者被判刑：中国首个AI2.胡秀云婷律师《如果人工智能开始“参与”，开发者会受到不公平的惩罚吗？沉迷色情？》，https://www.huxiu.com/article/4825975.html
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注：以上内容（包括图片和视频，如有）由您上传并发布。网易号的用户，这是一个仅提供仓储服务信息的社交媒体平台。