美国加利福尼亚州总检察长罗布·邦塔16日通报，已于当天向美国企业家埃隆·马斯克旗下人工智能企业xAI发送禁止令，要求其开发的人工智能聊天机器人“格罗克”立即停止在未经当事人同意情况下生成和散播女性和儿童色情内容的行为，同时限期提交整改措施。

近几周，马斯克旗下社交媒体平台和人工智能企业因涉及AI生成色情内容遭到国际多方强烈谴责，加州这一禁止令使其所受压力继续加码。

据美国科技新闻媒体TechCrunch报道，加州总检察长办公室还在声明中说，有迹象显示xAI“未经当事人同意、为大规模生成裸露内容提供便利”，相关内容被用于“在互联网上骚扰成年和未成年女性”。该办公室要求xAI在今后5天内提供材料证明该公司正采取整改措施。

本周早些时候，加州州长加文·纽森指责xAI“居心险恶”，纵容深度伪造的性剥削内容在网上泛滥，他已敦促加州检察机关就xAI是否违反加州法律展开调查，若经查属实必追究其法律责任。

“格罗克”由xAI公司开发，并内置于马斯克拥有的社交媒体X平台，可供用户直接调用。最近数周，X平台出现部分用户利用“格罗克”的所谓“热辣模式”，篡改真人图像、生成深度伪造的裸露内容，并在X平台上散播，受害者包括数百名女性与未成年人。

欧盟以及英国、法国、印度、巴西、澳大利亚等国强烈谴责“格罗克”涉嫌生成色情内容，部分国家的监管机构已介入调查或要求整改。印度尼西亚、马来西亚和菲律宾则已限制本国用户访问“格罗克”。

另据美联社报道，马斯克曾经的伴侣阿什莉·圣克莱尔15日在美国纽约市起诉xAI公司，指控该公司允许用户利用“格罗克”伪造其裸露图像。圣克莱尔是X平台一名活跃“网红”，有100万“粉丝”。她说，自己去年发现那些伪造图像后就报告X平台并要求删除，而平台一开始回复说那些图像不违反平台政策，后来承诺未经她同意不会允许他人使用或篡改相关图像，但却撤销了她的X平台高级会员认证资格，不许她借账号营利，同时继续纵容散播伪造图像。

X平台和xAI暂时未就加州禁止令置评。在外界舆论压力下，这两家公司近来收紧了针对“格罗克”的管控措施，但其方式引发争议。

上周，xAI公司将“格罗克”的图像生成和编辑功能更改为仅对付费用户开放，舆论指责该公司将问题“金钱化”，而非真正解决问题。本周早些时候，X平台宣布将禁止所有用户利用“格罗克”生成基于真人的伪造裸露图像。然而，路透社记者测试后发现，截至美国东部时间16日中午，“格罗克”仍能够根据用户需要、私密地生成色情图片。

近年来，随着AI大模型快速发展，利用AI技术换脸换声、生成深度伪造内容并在网上传播的情况时有发生。业内专家学者认为，AI深度伪造治理涉及模型算法安全性评估、对利用AI工具生成有害内容行为的管理等多方面，需要建立“全链条式”治理体系。