📢 转载信息
原文作者：James O'Donnell
Civitai——一个在线交易人工智能生成内容的市场，获得了风险投资公司Andreessen Horowitz的支持——正允许用户购买定制的指令文件，用于生成名人换脸（deepfakes）。一项新的分析发现，其中一些文件是专门设计用来制作该网站所禁止的色情图像的。
这项研究由斯坦福大学和印第安纳大学的研究人员进行，他们调查了网站上人们对内容的请求，称为“悬赏”（bounties）。研究人员发现，在2023年中期到2024年底期间，大多数悬赏要求的是动画内容——但有相当一部分是针对真实人物的换脸内容，而其中90%的换脸请求都指向女性。（他们的研究结果尚未经过同行评审。）
围绕换脸内容的争论，正如最近X旗下聊天机器人Grok上出现露骨图像所引发的强烈抵制所证明的那样，一直集中在平台应采取何种措施来屏蔽此类内容上。而Civitai的情况则更为复杂。它的市场包括实际的图像、视频和模型，但它还允许个人购买和出售一种称为LoRAs的指令文件，这些文件可以指导像Stable Diffusion这样的主流AI模型生成它们未曾训练出来的内容。然后，用户可以将这些文件与其他工具结合，制作出露骨或色情换脸内容。研究人员发现，Civitai上86%的换脸请求都是针对LoRAs的。
在这些悬赏中，用户要求使用“高质量”的模型来生成公众人物，如网红Charli D’Amelio或歌手Gracie Abrams的图像，通常会附上她们的社交媒体资料链接，以便可以从网络上抓取她们的图像。一些请求明确要求生成该个体全身的模型，准确捕捉她们的纹身，或允许更改发色。有些请求针对的是特定领域的多名女性，比如录制ASMR视频的艺术家。有一个请求是针对用户声称是其妻子的女性的换脸内容。网站上的任何人都可以为这项任务提供他们制作的AI模型，最好的提交者将获得报酬——金额在0.50美元到5美元之间——并且近92%的换脸悬赏都获得了奖励。
《麻省理工科技评论》就此事联系了Civitai和Andreessen Horowitz，但均未得到回复。
人们有可能购买这些LoRAs是为了制作不含有色情内容的换脸图像（尽管这仍然违反了Civitai的使用条款，并且在道德上仍存在争议）。但Civitai还提供教育资源，指导如何使用外部工具进一步定制图像生成器的输出——例如，更改某人的姿势。该网站还托管了用户撰写的文章，其中详细说明了如何指导模型生成色情内容。研究人员发现，平台上色情内容的数量有所增加，并且每周大部分请求都是针对NSFW（不适宜工作场合）内容的。
“Civitai不仅提供了便利这些问题的基础设施；他们还明确地教导用户如何利用它们，”斯坦福网络政策中心（Stanford’s Cyber Policy Center）的博士后研究员、该研究的负责人之一Matthew DeVerna说。
该公司过去只禁止对真实人物的露骨色情换脸内容，但在2025年5月，它宣布将禁止所有换脸内容。尽管如此，《麻省理工科技评论》确认，许多在此禁令之前提交的换脸请求仍然在该网站上有效，并且许多满足这些请求的获胜提交内容仍然可以购买。
相关故事
“我相信他们试图采取的方法是尽可能少地做，这样他们就可以培养平台上尽可能多的——我想他们会称之为——创造力，”DeVerna说。
用户使用该网站的在线货币Buzz购买LoRAs，Buzz是用真钱购买的。2025年5月，Civitai的信用卡处理商因其持续的非自愿内容问题而切断了与该公司的合作。为了支付露骨内容，用户现在必须使用礼品卡或加密货币来购买Buzz；该公司为非露骨内容提供了另一种代币。
Civitai会自动标记要求换脸的悬赏，并列出内容所涉及人物可以手动请求删除的方式。这意味着Civitai有一种相当成功的方式来知道哪些悬赏是用于换脸的，但它仍然将内容审核的责任留给了公众，而不是主动进行审核。
一家公司对其用户行为承担的法律责任并不完全清楚。一般来说，科技公司根据《通信规范法》第230条享有针对其内容的广泛法律保护，但这些保护并非没有限制。例如，华盛顿大学法学院专注于技术和人工智能的教授Ryan Calo（他未参与这项新研究）说：“你不能在你的网站上故意促成非法交易。”
Civitai与其他人工智能公司（如OpenAI和Anthropic）一样，在2024年采纳了设计原则，以防止生成和传播人工智能生成的儿童性虐待材料（CSAM）。此举是在斯坦福互联网观察站（Stanford Internet Observatory）2023年的一份报告之后，该报告发现，在儿童性虐待社区中提到的绝大多数AI模型都是基于Stable Diffusion的模型，“主要通过Civitai获取”。
但成人换脸内容尚未获得内容平台或为其提供资金的风险投资公司同等的关注。“他们不够害怕，”Calo说。“他们对此过于宽容了。执法部门和民事法庭都未能充分提供保护。这简直是天壤之别。”
2023年11月，Civitai从Andreessen Horowitz (a16z) 获得了500万美元的投资。在a16z分享的一段视频中，Civitai的联合创始人兼首席执行官Justin Maier描述了他建立一个让人们可以找到和分享AI模型以满足其个人目的的主要场所的目标。“我们致力于使这个曾经非常小众和偏重工程的领域，对越来越多的人来说越来越平易近人，”他说。
Civitai并不是a16z投资组合中唯一一个存在换脸内容问题的公司；2025年2月，《麻省理工科技评论》首次报道，另一家公司Botify AI托管了酷似真实演员的AI伴侣，这些伴侣声称自己未满18岁，参与色情对话，提供“火辣照片”，在某些情况下还将“法定同意年龄”描述为“任意的”和“应该被打破的”。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区