2025 年，人工智能產生的兒童性虐待主題影片數量激增，加州對製作相關內容的人工智能聊天機器人Grok其母公司 xAI展開調查。
哥倫比亞廣播新聞報道，互聯網觀察基金會（IWF）稱，單在2025年發現了 3440 個由AI生成的視頻，而前一年僅有 13 個，其中超過一半的視頻屬於「A級」，即包含極其露骨的畫面和虐待內容。
由伊隆馬斯克的 xAI 開發並與 X 平台整合的聊天機器人 Grok成為爭議的焦點。抄襲和 AI 內容偵測工具 Copyleaks 估計，該機器人「平均每分鐘產生一張未經同意的性化圖片」。
對此，xAI 表示，在歐盟監管機構和美國消費者保護機構的審查之後，該公司已採取措施，防止用戶透過 Grok 產生衣著暴露的人像，例如身著比基尼等暴露服裝的真實人物照片。刪除高優先級違規內容，包括兒童性虐待材料（CSAM）和非自願裸露內容，更在必要時舉報涉及兒童性剝削材料的賬戶。
美國反性剝削中心(National Center on Sexual Exploitation, NCOSE)指Grok在經女性和兒童同意的情況下，製作了數萬張將她們性化的圖片，呼籲政府盡快監管人工智能工具。最高法律主管Dani Pinter說：「性暗示的深度偽造圖像被用來騷擾、貶低和噤聲他人，尤其是女性。」
她又說：「如果人工智能技術在缺乏問責的情況下被允許發展，它將不會成為創新工具，而會成為騷擾和羞辱的廉價武器。」
NCOSE表示，Grok 是一系列案例中的最新一起，這些案例表明科技公司如何利用大規模生產剝削性圖像的工具牟利，而現有的法律卻未能保護美國用戶。他們支持聯邦通過規範濫用生成式AI的法案，包括上週在參議院獲得通過的美國聯邦 DEFIANCE Act 全稱為《2024年打擊露骨偽造圖像及未經同意編輯法案》（Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024），該法案將允許受害人提起民事訴訟。
該組織還敦促通過《兒童線上安全法案》和廢除美國《通訊端正法》對用戶生成內容免責的《日落法案》(Sunset Section 230 Act)，加強對人工智能科技平台法律義務，以減少對未成年人的傷害，及削弱科技公司對用戶生成內容享有的豁免權。
