📢 转载信息
原文链接：https://www.technologyreview.com/2026/03/16/1133979/nurturing-agentic-ai-beyond-the-toddler-stage/
原文作者：Lynn Comp
为人父母者，在孩子成长的各个阶段都会面临许多担忧，从婴儿期到成年期。孩子学会说话或走路所需的月数，常常被用作健康状况的基准，或表明需要进一步检查以诊断潜在健康问题。当孩子迈出第一步时，父母会欣喜若狂，但当孩子能够快速地在外面行走，而不是在室内安全区域内缓慢爬行时，他们会意识到变化有多大。突然之间，安全问题，包括儿童防护措施，需要完全不同的视角和方法。
生成式AI在2025年12月至2026年1月期间，随着多家供应商推出无代码工具以及GitHub上发布的开源个人代理OpenClaw的出现，进入了“蹒跚学步”阶段。它不再是的地板上爬行，生成式AI技术这个“婴儿”已经开始冲刺，而几乎没有多少治理原则为此做好准备。
责任挑战：不是它，是你
到目前为止，治理一直专注于模型输出的风险，在做出重大决策（如贷款审批或工作申请）之前，需要人工介入。模型行为，包括漂移、对齐、数据泄露和投毒，是关注的焦点。其节奏由用户通过聊天机器人格式提示模型来设定，机器与人类之间有大量的来回交互。
如今，随着自主代理在复杂工作流中运行，应用AI的愿景和优势所需要的“人工介入”大大减少。关键在于通过自动化具有明确架构和决策规则的手动任务，以机器的速度运行业务。从责任角度来看，目标是在机器运行工作流和人类运行工作流之间，企业或业务风险没有降低。CX Today 简洁地总结了这一情况：“AI 负责工作，人类承担风险”，而加州法律（AB 316）已于2026年1月1日生效，该法律取消了“是AI做的；我没有批准”的借口。这类似于育儿，当一个成年人要为孩子对更大社区造成的负面影响负责时。
挑战在于，如果不构建强制执行与整个工作流中不同风险和责任级别相符的运营治理的代码，自主AI代理的优势就会被抵消。过去，治理是静态的，并且与聊天机器人典型的交互节奏相匹配。然而，自主AI在设计上将人类从许多决策中移除，这会影响治理。
考虑权限
就像将一台视频游戏机交给一个三岁的孩子，这台游戏机可以远程控制一辆艾布拉姆斯坦克或一架武装无人机一样，让一个概率系统在没有实时护栏的情况下运行，而这些护栏可以更改关键的企业数据，这会带来巨大的风险。例如，集成和链接多个公司系统中操作的代理可能会超出单个用户应有的权限。为了成功地前进，治理必须从委员会设定的策略转移到从一开始就构建到工作流中的运营代码。
一个关于蹒跚学步儿童玩玩具行为的幽默段子是，孩子会列出所有理由说明你手中的玩具都是他的，最后却弄坏了玩具，而那个坏掉的玩具却是你的。例如，OpenClaw 提供了一种更接近与人类助理工作的用户体验；但随着 安全专家 意识到缺乏经验的用户很容易在使用它时受到攻击，这种兴奋感也随之转移。
几十年来，企业IT一直存在“影子IT”的问题，即需要技术娴熟的团队接管并清理他们并未架构或安装的资产，这就像蹒跚学步的孩子把损坏的玩具还回来一样。对于自主代理，风险更大：持久的服务账户凭据、长期有效的API令牌以及对核心文件系统进行决策的权限。为了应对这一挑战，必须提前分配足够的IT预算和劳动力，以支持对数千个由员工或部门创建的代理进行集中发现、监督和修复。
制定退役计划
最近，一位熟人提到她通过识别并终止一个“僵尸项目”——一个被遗忘或失败的AI试点项目，仍然在GPU云实例上运行——为客户节省了数十万美元。企业中可能存在数千个有变成“僵尸舰队”风险的代理。如今，许多高管鼓励员工使用AI——否则就等着吧——并被告知要创建自己的AI优先工作流或AI助手。考虑到OpenClaw之类的实用性和自上而下的指令，可以很容易地预测到，将有大量“自制”代理随同其人类员工进入办公室。由于AI代理是程序，属于公司拥有的知识产权范畴，当员工更换部门或公司时，这些代理可能会被遗弃。因此，需要有主动的政策和治理来终止和退役与特定员工ID和权限关联的任何代理。
从一开始的财务优化就是治理
虽然对一些高管来说，自主AI听起来是一种通过限制人力资本来提高运营利润的方法，但许多人发现，取代人力的投资回报率（ROI）是一个错误的出发点。在企业中增加AI能力，并不意味着购买一个新的软件工具，其定价模式是固定的每小时或每用户实例费用。2025年12月由Data Robot赞助的IDC调查显示，96%部署了生成式AI的组织和92%实施了代理AI的组织表示，成本高于或远高于预期。
该调查将治理和投资回报率分开讨论，但随着AI系统在大型企业中扩展，财务和责任治理应该从一开始就构建到工作流中。企业级治理的一部分源于预测和遵守分配的预算。与具有支持和维护费用的每用户成本的软件财务模型不同，AI的使用是按消费和使用成本计费的，随着工作流在企业中的扩展而扩展：用户越多，令牌越多，计算时间越多，账单就越高。可以将其视为账单未结，或者像蹒跚学步的孩子在家长的电子游戏设备上解锁了一个在线零售商的数字购物车按钮。
云FinOps（财务运营）是确定性的，而建立在生成式AI之上的生成式AI和代理AI系统是概率性的。一些 AI优先的创始人正意识到，单个代理的令牌成本可能高达每会话10万美元。如果没有从一开始就构建护栏，将复杂的自主代理链接在一起并长时间无人监督地运行，很容易就会超出聘请初级开发者的预算。
让AI代理保持人工介入仍然至关重要
自主AI代理的承诺在于加速业务运营、产品发布、客户体验和客户留存。在这些关键功能中，将决策速度转移到机器速度，而无需人工介入或监督，会显著改变治理格局。虽然许多关于主动权限、发现、审计、修复和财务运营/优化的原则是相同的，但其执行方式必须进行调整，以跟上自主AI代理的步伐。
此内容由Intel提供。并非由MIT Technology Review的编辑人员撰写。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区