2025 年，人工智能产生的儿童性虐待主题影片数量激增，加州对制作相关内容的人工智能聊天机器人Grok其母公司 xAI展开调查。
哥伦比亚广播新闻报道，互联网观察基金会（IWF）称，单在2025年发现了 3440 个由AI生成的视频，而前一年仅有 13 个，其中超过一半的视频属于"A级"，即包含极其露骨的画面和虐待内容。
由伊隆马斯克的 xAI 开发并与 X 平台整合的聊天机器人 Grok成为争议的焦点。抄袭和 AI 内容侦测工具 Copyleaks 估计，该机器人"平均每分钟产生一张未经同意的性化图片"。
对此，xAI 表示，在欧盟监管机构和美国消费者保护机构的审查之后，该公司已采取措施，防止用户透过 Grok 产生衣著暴露的人像，例如身著比基尼等暴露服装的真实人物照片。删除高优先级违规内容，包括儿童性虐待材料（CSAM）和非自愿裸露内容，更在必要时举报涉及儿童性剥削材料的账户。
美国反性剥削中心(National Center on Sexual Exploitation, NCOSE)指Grok在经女性和儿童同意的情况下，制作了数万张将她们性化的图片，呼吁政府尽快监管人工智能工具。最高法律主管Dani Pinter说："性暗示的深度伪造图像被用来骚扰、贬低和噤声他人，尤其是女性。"
她又说："如果人工智能技术在缺乏问责的情况下被允许发展，它将不会成为创新工具，而会成为骚扰和羞辱的廉价武器。"
NCOSE表示，Grok 是一系列案例中的最新一起，这些案例表明科技公司如何利用大规模生产剥削性图像的工具牟利，而现有的法律却未能保护美国用户。他们支持联邦通过规范滥用生成式AI的法案，包括上周在参议院获得通过的美国联邦 DEFIANCE Act 全称为《2024年打击露骨伪造图像及未经同意编辑法案》（Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024），该法案将允许受害人提起民事诉讼。
该组织还敦促通过《儿童线上安全法案》和废除美国《通讯端正法》对用户生成内容免责的《日落法案》(Sunset Section 230 Act)，加强对人工智能科技平台法律义务，以减少对未成年人的伤害，及削弱科技公司对用户生成内容享有的豁免权。
