📢 转载信息
原文作者：Andy Greenberg
本月初，约瑟夫·萨克（Joseph Thacker）的邻居告诉他，她为她的孩子们预订了两个毛绒恐龙玩具。她选择这些名为Bondu的玩具，是因为它们提供了一个AI聊天功能，可以像一个由机器学习驱动的想象中的朋友一样，让孩子们与玩具交谈。但她知道萨克这位安全研究人员曾对儿童AI风险做过研究，所以她想听听他的看法。
于是萨克进行了调查。仅用了几分钟时间，他和一位名叫乔尔·马戈利斯（Joel Margolis）的网络安全研究员朋友就取得了惊人的发现：Bondu的基于网络的门户网站，原本旨在允许父母查看孩子的谈话内容，并让Bondu的员工监控产品的使用情况和性能，却也让任何拥有Gmail账户的人都能访问Bondu儿童用户与玩具进行的几乎所有对话的文本记录。
两位研究人员没有进行任何实际的黑客攻击，仅仅是使用任意的谷歌账户登录，就立即看到了孩子们的私人对话、孩子们给Bondu起的外号、玩具的小主人喜欢的和不喜欢的零食以及他们的舞蹈动作。
马戈利斯和萨克发现，Bondu将数据暴露在外，任何人都可以使用他们的谷歌用户名登录到该公司面向公众的Web控制台进行访问，这些数据包括孩子们的姓名、出生日期、家庭成员姓名、父母为孩子选择的“目标”，以及最令人不安的是，孩子与Bondu——这个几乎是为引出亲密的、一对一对话而设计的玩具——之间每一次聊天的详细摘要和文本记录。Bondu在与研究人员的对话中确认，通过这个暴露的网站门户可以访问超过5万条聊天记录，基本上是玩具进行过的所有对话，除非这些对话被父母或员工手动删除。
“看到这些关于孩子们私人聊天和记录下的偏好的信息，感觉非常具有侵入性，而且真的很奇怪，”萨克谈到他所看到的内容时说道。“能够看到所有这些对话，是对孩子们隐私的巨大侵犯。”
当萨克和马戈利斯向Bondu报告其明显的**数据泄露**时，他们表示，公司在几分钟内采取行动关闭了该门户网站，然后在第二天重新启动了该门户网站，并加入了适当的身份验证措施。当WIRED联系该公司时，Bondu首席执行官法蒂恩·阿南·拉菲德（Fateen Anam Rafid）在一份声明中写道，该问题的安全修复“在几小时内完成，随后进行了更广泛的安全审查，并为所有用户实施了额外的预防措施。”他补充说，Bondu“没有发现除了所涉及的研究人员之外的访问证据。”（研究人员指出，他们没有下载或保留通过Bondu控制台访问的任何敏感数据的副本，除了几张截图和一个分享给WIRED的屏幕录像，以确认他们的发现。）
“我们认真对待用户隐私，并致力于保护用户数据，”阿南·拉菲德在声明中补充道。“我们已经与所有活跃用户沟通了我们的安全协议，并继续加强我们的系统，增加新的保护措施，”此外，公司还聘请了一家安全公司来验证其调查结果，并在未来监控其系统。
尽管Bondu对其存储的儿童数据几乎完全缺乏安全性的问题可能已得到修复，但研究人员认为，他们所看到的情况代表着一个更大的警告，关于为儿童设计的AI聊天玩具的危险性。他们对Bondu后端的一瞥显示了它对儿童信息的记录有多么详细，它保存了每一次聊天的历史记录，以便更好地为玩具与主人的下一次对话提供信息。（值得庆幸的是，Bondu没有存储这些对话的音频，而是在短时间后自动删除音频，只保留书面文本记录。）
即使现在数据已经安全了，马戈利斯和萨克也认为，这引发了关于制作AI玩具的公司内部有多少人可以访问他们收集的数据、如何监控他们的访问权限以及他们的凭证保护得有多好的问题。“这带来了连锁的隐私影响，”马戈利斯说。“只需要一个员工拥有一个糟糕的密码，我们就回到了原点，即所有数据都暴露在公共互联网上。”
马戈利斯补充说，关于孩子思想和感受的此类敏感信息可能会被用于形式可怕的儿童虐待或操纵。“坦率地说，这是绑架者的梦想，”他说。“我们谈论的是可以让某人引诱孩子进入非常危险境地的信息，而这些信息实际上是任何人都可以访问的。”
马戈利斯和萨克指出，除了意外的数据泄露之外，根据他们看到的情况，Bondu似乎还在其管理员控制台中使用了谷歌的Gemini和OpenAI的GPT5，因此可能会与这些公司共享有关儿童对话的信息。Bondu的阿南·拉菲德在邮件中回应了这一点，表示该公司确实使用“第三方企业AI服务来生成回复和运行某些安全检查，这涉及安全地传输相关的对话内容进行处理。”但他补充说，公司会采取预防措施，“最小化发送的内容，使用合同和技术控制，并在企业配置下运行，其中提供商声明提示/输出不会用于训练其模型。”
两位研究人员还警告说，AI玩具公司风险的一部分可能在于它们更有可能在产品的代码、工具和Web基础设施中使用AI。他们表示，他们怀疑他们发现的那个未受保护的Bondu控制台本身就是“氛围编码”（vibe-coded）的——即使用生成式AI编程工具创建的，这些工具通常会导致安全漏洞。Bondu没有回应WIRED关于该控制台是否使用AI工具编程的问题。
关于AI玩具对儿童风险的警告在最近几个月有所增加，但主要集中在玩具的对话可能引发不当话题，甚至可能导致危险行为或自残的威胁。例如，NBC新闻在12月报道称，其记者与之聊天的AI玩具提供了性术语的详细解释、如何磨刀的建议，甚至似乎在呼应中国政府的宣传，例如声称台湾是中国的一部分。
相比之下，Bondu似乎至少试图在其向儿童提供的AI聊天机器人中建立安全保障措施。该公司甚至为报告玩具“不当回应”提供500美元的赏金。公司网站上有一行写着：“我们运行这个计划已经一年多了，没有人能让它说出任何不当的话。”
然而，萨克和马戈利斯发现，Bondu同时却将所有用户的敏感数据完全暴露在外。“这是安全与安全的完美结合，”萨克说。“当所有数据都暴露在外时，‘AI安全’还有意义吗？”
萨克说，在研究Bondu的安全问题之前，他曾考虑给他自己的孩子也买AI玩具，就像他的邻居做的那样。亲眼目睹Bondu的数据泄露后，他改变了主意。
“我真的想让这个东西在我家里吗？不，我不想，”他说。“这简直是一场隐私噩梦。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区