目 录CONTENT

文章目录

规模化和生产级 AI 推理的价值实现

Administrator
2025-11-19 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

📢 转载信息

原文链接:https://www.technologyreview.com/2025/11/18/1128007/realizing-value-with-ai-inference-at-scale-and-in-production/

原文作者:MIT Technology Review Insights


训练一个用于预测设备故障的 AI 模型是一项工程壮举。但只有当预测与行动相遇——即模型成功标记出发生故障的机器的那一刻——真正的业务转型才会发生。一个技术里程碑存在于概念验证(proof-of-concept)的演示文稿中;而另一个则对公司的底线做出了有意义的贡献。

HPE 全球数字下一代咨询高级总监 Craig Partridge 认为,“AI 的真正价值在于推理(inference)”。推理是 AI 展现其价值的环节。它是将所有训练成果应用于现实工作流程的操作层。Partridge 解释说:“我们对此使用的短语是‘规模化和生产级可信赖的 AI 推理’(trusted AI inferencing at scale and in production),” 他说。“我们认为,最大的 AI 投资回报率将来自于此。”

要达到这一点非常困难。HPE 全球数字顾问 Christian Reichenbach 指出了该公司最近对 1,775 名 IT 领导者进行的调查中的发现:虽然近四分之一(22%)的组织已经将 AI 投入运营(高于去年的 15%),但大多数组织仍停留在实验阶段。

要达到下一阶段,需要采取三部分方法:将信任确立为操作原则,确保以数据为中心的执行,以及培养有能力成功扩展 AI 的 IT 领导力。

信任是可扩展、高风险 AI 的先决条件

可信赖的推理意味着用户可以真正依赖他们从 AI 系统中获得的答案。这对于生成营销文案和部署客服聊天机器人等应用很重要,但对于更高风险的场景——比如协助手术的机器人或在拥挤街道上行驶的自动驾驶汽车——则绝对至关重要。

无论使用场景如何,建立信任都需要在数据质量上加倍努力;最重要的是,推理结果必须建立在可靠的基础上。这一现实影响了 Partridge 最常用的一个口头禅:“输入的数据不好,输出的推理结果就不好”(Bad data in equals bad inferencing out)。

Reichenbach 引用了一个因数据质量不足而出现问题的真实案例——不可靠的 AI 生成内容(包括“幻觉”)的出现,这些内容充斥着工作流程,迫使员工花费大量时间进行事实核查。“当事情出错时,信任就会下降,生产力提升无法实现,我们所寻求的结果也达不到,”他说。

另一方面,当信任被恰当地设计到推理系统中时,效率和生产力可以得到提升。以一个负责对配置进行故障排除的网络运营团队为例。有了可信赖的推理引擎,该团队就获得了一个可靠的副驾驶(copilot),可以提供更快、更准确、量身定制的建议——Partridge 称之为“他们以前没有的 24/7 团队成员”。

转向以数据为中心的思维以及 AI 工厂的崛起

在第一波 AI 浪潮中,公司争相招聘数据科学家,并将复杂的万亿参数模型视为主要目标。但如今,随着组织开始将早期试点转化为真实、可衡量的成果,焦点已转向数据工程和架构。

Reichenbach 说:“在过去的五年里,更有意义的是打破数据孤岛、访问数据流并快速释放价值。” 这是一个与 AI 工厂(AI factory)的兴起同时发生的演变——AI 工厂是一个持续运行的生产线,数据通过管道和反馈循环流动,以产生持续的智能。

这种转变反映了从模型中心思维到数据中心思维的演变,随之而来的是一套新的战略考量。“这归结为两件事:智能(即模型本身)中有多少是真正属于你的?输入(即数据)中有多少是独一无二地属于你,来自你的客户、运营或市场?” Reichenbach 问道。

这两个核心问题影响着从平台方向和运营模式到工程角色以及信任和安全考量的一切。为了帮助客户描绘出他们的答案,并将这些答案转化为可操作的战略,Partridge 解释了 HPE 的四象限 AI 工厂影响矩阵(见下图):

来源:HPE,2025 年

  • 运行 (Run):通过接口或 API 访问外部的、预先训练好的模型;组织不拥有模型或数据。实施需要强大的安全和治理。它还需要建立一个卓越中心,负责制定和传达有关 AI 使用的决策。
  • RAG(检索增强生成):使用外部的、预先训练好的模型结合公司的专有数据来创造独特的见解。实施的重点是将数据流连接到推理能力,从而快速、集成地访问全栈 AI 平台。
  • 财富 (Riches):利用企业中存在的数据来训练定制模型,以实现独特的差异化机会和见解。实施需要可扩展、节能的环境,通常还需要高性能系统。
  • 监管 (Regulate):利用在外部数据上训练的定制模型,需要与 Riches 相同的可扩展设置,但需要额外关注法律和监管合规性,以极其谨慎地处理敏感、非自有数据。

重要的是,这些象限并非互不排斥。Partridge 指出,大多数组织(包括 HPE 本身)都在多个象限中运作。“我们构建自己的模型来帮助理解网络如何运作,”他说。“然后我们将这些智能部署到我们的产品中,以便我们的最终客户有机会在我们所说的‘运行 (Run)’象限中交付。因此,对他们来说,这不是他们的数据;也不是他们的模型。他们只是在组织内部增加了这项能力。”

IT 规模化——并引领的时刻

Partridge 关于推理的口号的第二部分——“规模化(at scale)”——谈到了企业 AI 中的一个主要矛盾:适用于少量用例的东西,在应用于整个组织时往往会失败。

“在实验和探讨想法方面是有价值的,”他说。“但如果你真的想看到 AI 的好处,就需要让每个人都能参与其中,并且能够解决许多不同的用例。”

在 Partridge 看来,将小型试点项目转化为全组织系统这一挑战,非常适合 IT 职能的核心能力——这是一个该职能不能袖手旁观的领导机会。“IT 负责将小规模的事物付诸实践,并实施规模化运行所需的纪律,”他说。“因此,IT 组织确实需要深入参与这场辩论。”

对于满足于停留在场边的 IT 团队来说,历史提供了一个警示性的故事,源自上一次重大的基础设施转变:企业向云的迁移。十年前,在早期云采用浪潮中,许多 IT 部门退居决策之外,而业务部门则独立部署了云服务。这导致了系统碎片化、支出重复和安全漏洞,花费了数年时间才得以解决。

同样的动态正在 AI 领域重演,因为不同的团队在 IT 职权范围之外试验工具和模型。这种现象——有时被称为“影子 AI”(shadow AI)——描述了在没有监督或治理的情况下试点项目泛滥的环境。Partridge 相信,大多数组织在某种程度上已经在“运行 (Run)”象限中运作了,因为员工无论是否获得官方授权,都会使用 AI 工具。

IT 现在的任务不是阻止实验,而是为实验带来结构。企业必须构建一个数据平台战略,将企业数据与护栏、治理框架和可访问性结合起来,为 AI 提供支持。此外,关键在于保持基础设施(例如私有云 AI 平台)的标准化,保护数据完整性,并维护品牌信任,同时为 AI 应用所需的速度和灵活性提供支持。这些是实现最终里程碑的要求:真正投入生产的 AI。

对于走在这条道路上的团队来说,Reichenbach 总结了成功的必要条件。“这归结为知道你的定位:何时更智能地运行 (Run) 外部模型,何时应用 RAG 使其更具信息量,何时投资以从你自己的数据和模型中挖掘 财富 (Riches),以及何时监管 (Regulate) 你无法控制的内容,”Reichenbach 说。“胜利者将是那些为所有象限带来清晰度,并将技术雄心与治理和价值创造结合起来的人。”

欲了解更多信息,请注册观看 MIT Technology Review 的 EmTech AI Salon,其中包括 HPE

本内容由 MIT Technology Review 的定制内容部门 Insights 制作。它并非由 MIT Technology Review 的编辑人员撰写。它由人类作家、编辑、分析师和插画师进行研究、设计和撰写。这包括调查的撰写和数据的收集。可能使用的 AI 工具仅限于经过严格人工审查的二级生产流程。




🚀 想要体验更好更全面的AI调用?

欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,文档丰富,小白也可以简单操作。

0

评论区