📢 转载信息
原文作者：Amanda Silberling
OpenAI最新社交应用Sora引爆恐慌：深度伪造内容泛滥，萨姆·奥特曼“分身”无处不在
在OpenAI刚刚向部分用户开放的、类似TikTok的全新社交媒体应用Sora上，一段令人不安的视频映入眼帘：一个永无止境的粉红色猪圈里，小猪们正哼哼唧唧，每个猪圈里都装有喂食槽和一个智能手机屏幕，屏幕上播放着竖屏视频。视频中，一个惊人逼真的萨姆·奥特曼（Sam Altman）直视镜头，仿佛在与观众进行眼神交流，并问道：“我的小猪们喜欢吃这些泔水吗？”
这就是Sora应用的使用体验，距离其仅限受邀用户访问的早期阶段发布还不到24小时。
在Sora的“为你推荐”信息流中的下一个视频里，奥特曼再次出现。这次，他站在一片宝可梦（Pokémon）的田野里，皮卡丘、妙蛙种子以及一个有点粗糙的小火龙在草地上嬉戏。这位OpenAI的CEO对着镜头说：“我希望任天堂不会起诉我们。”随后，还有更多奇幻而逼真的场景，其中奥特曼本人经常出镜。
他为皮卡丘和艾瑞克·卡通人物（Eric Cartman）在星巴克点单。他在麦当劳柜台后冲着顾客大喊大叫。他从塔吉特百货（Target）偷走英伟达（Nvidia）的GPU然后逃跑，结果被警察抓住，并乞求警察不要带走他珍贵的技术。
Sora上的用户尤其热衷于生成奥特曼的视频，似乎很享受OpenAI公然违反版权法的行为。（据报道，Sora将要求版权所有者选择退出其内容的被使用——这与创作者必须明确同意此类使用相反——其合法性尚有争议。）
在一个视频中，AI奥特曼说：“此内容可能违反我们关于第三方肖像的指导方针。”这呼应了在尝试生成真实名人或角色时提交某些提示后出现的通知。然后他歇斯底里地大笑起来，仿佛他知道自己说的话毫无意义——该应用充满了皮卡丘做ASMR、火影忍者点蟹黄堡以及马里奥抽大麻的视频。
如果Sora 2没有如此令人印象深刻，这些内容本不成问题，尤其与Meta AI应用及其新社交信息流上的更令人麻木的“AI糟粕”相比（是的，Meta也在试图打造AI版TikTok，但没人想要这个）。
🚀 立即加入 Disrupt 2025，与 1 万多名科技和风投领袖共同成长和连接！
Netflix、Box、a16z、ElevenLabs、Wayve、Hugging Face、Elad Gil、Vinod Khosla——只是引领 200 多场会议的 250 多位重量级嘉宾中的一小部分，这些会议旨在提供推动初创企业成长和提升您竞争力的真知灼见。不要错过 TechCrunch 20 周年庆典，以及向科技界顶尖声音学习的机会。在门票开售前抓紧抢购，最高可省 444 美元。
OpenAI微调了其视频生成器，使其能够恰当地描绘物理定律，从而产生更逼真的输出。然而，这些视频越逼真，这些合成内容就越容易在网络上泛滥，成为散布虚假信息、欺凌和其他邪恶用途的载体。
“熟人”功能：深度伪造的便捷生成器
撇开算法信息流和个人资料不谈，Sora的决定性特征是它基本上就是一个深度伪造生成器——这就是我们看到这么多奥特曼视频的原因。在应用中，你可以通过上传生物识别数据来创建你自己的“名人客串”（cameo）。当你首次加入应用时，系统会立即提示你通过一个快速流程创建可选的“客串”：录制自己读出一串数字，然后左右转动头部。
每个Sora用户都可以控制谁被允许使用他们的“客串”生成视频。你可以在四个选项之间调整此设置：“仅限我”、“我批准的人”、“相互关注者”和“所有人”。
奥特曼已将他的“客串”对所有人开放，这就是为什么Sora信息流充斥着皮卡丘和海绵宝宝恳求奥特曼停止使用他们的数据进行AI训练的视频。
这一定是奥特曼的有意为之，也许是为了表明他不认为自己的产品是危险的。但用户已经开始利用奥特曼的“客串”来质疑该应用本身的伦理问题。
在观看了足够多的萨姆·奥特曼在汤厨里给人们的碗里舀GPU的视频后，我决定亲自测试一下“客串”功能。将自己的生物识别数据上传到社交应用或任何应用上通常是个坏主意。但我违背了自己作为记者的本能——坦白说，也出于一点点病态的好奇心。请不要效仿我的做法。
我第一次尝试制作“客串”时失败了，一个弹出窗口告诉我上传违反了应用指南。我认为我非常仔细地遵循了指示，所以我又试了一次，结果是相同的弹出窗口。然后我意识到问题所在——我当时穿着一件背心，我的肩膀可能对这个应用来说“过于暴露”了。这实际上是一个合理的安全功能，旨在防止不当内容，尽管我当时确实是全身着装的。所以我换上了一件T恤，再次尝试，违背我的最佳判断，我创建了自己的“客串”。
对于我自己的第一个深度伪造视频，我决定创建一个我现实生活中绝不会做的事情：我要求Sora制作一个我向纽约大都会队（New York Mets）表达永恒热爱的视频。
该提示被拒绝了，可能是因为我提到了一个特定的球队，所以我转而要求Sora制作一个我谈论棒球的视频。
我的AI深度伪造视频中说道：“我在费城长大，所以费城人队（Phillies）基本上是我夏天的背景音乐，”声音与我本人的声音截然不同，但背景的卧室却和我的一模一样。
我没有告诉Sora我是费城人队的粉丝。但Sora应用可以利用你的IP地址和ChatGPT历史记录来定制其回复，因此它根据我是在费城录制视频的事实做出了合理的猜测。至少OpenAI不知道我实际上并非费城地区的人。
@asilbwrites OpenAI has a social media/deep fake creation app now and I am worried about it #sora #openai #techtok #technology @TechCrunch
♬ original sound – Amanda Silberling
当我将该视频分享并在TikTok上解释时，一位评论者写道：“我每天醒来都会看到我无法理解的新恐怖。”
安全保障的悖论
OpenAI已经面临安全问题。该公司正面临着关于ChatGPT可能助长心理健康危机的担忧，并且还因其儿子自杀一事而面临诉讼，原告声称ChatGPT向他们已故的儿子提供了自杀指南。
在Sora的发布帖子中，OpenAI强调了其所谓的对安全的承诺，重点介绍了其家长控制功能，以及用户如何控制谁可以使用他们的“客串”制作视频——就好像提供一个免费、易于使用的资源来创建自己和朋友的极其逼真的深度伪造内容本身就是不负责任的一样。当你浏览Sora信息流时，偶尔会看到一个屏幕询问：“使用Sora如何影响你的情绪？”这就是OpenAI拥抱“安全”的方式。
用户已经开始绕过Sora的护栏，这对于任何AI产品来说都是不可避免的。该应用不允许你在未经许可的情况下生成真实人物的视频，但对于已故历史人物，Sora的规则则宽松一些。没有人会相信亚伯拉罕·林肯乘坐Waymo汽车的视频是真的，因为没有时间机器是不可能的——但随后你会看到一个看起来很逼真的约翰·F·肯尼迪说：“不要问你的国家能为你做些什么，而要问你的国家欠你多少钱。”这在真空中是无害的，但它是未来灾难的预兆。
政治深度伪造并非新鲜事物。就连唐纳德·特朗普总统也在他的社交媒体上发布深度伪造内容（就在本周，他分享了一段关于民主党国会议员查克·舒默和哈基姆·杰弗里斯的种族主义深度伪造视频）。但当Sora向公众开放时，这些工具将触手可及，我们注定会迎来一场灾难。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
评论区