📢 转载信息
原文链接：https://blogs.nvidia.com/blog/telecom-ai-grids-inference/
原文作者：Kanika Atri
随着AI原生应用程序扩展到更多用户、代理和设备，电信网络正成为分布式AI的前沿阵地。
在2026年英伟达GTC大会上，美国和亚洲的领先运营商展示了这一转变的进展。他们宣布了AI网格——地理上分布式且相互连接的AI基础设施——利用其网络覆盖来赋能和变现跨分布式边缘的新AI服务。
不同的运营商正采取不同的路径。许多运营商首先将现有的有线边缘站点打造成可立即变现的AI网格。另一些则利用AI-RAN（一种支持AI与无线接入网络完全集成的技术），将其作为同一网格上的工作负载和边缘推理平台。
电信运营商和分布式云提供商运营着一些世界上最庞大的基础设施：全球约有10万个分布式网络数据中心，覆盖区域中心、移动交换局和中心局，拥有足够的备用电力，随着时间的推移可以提供超过100吉瓦的新AI容量。
AI网格将现有的地产、电力和连接能力转化为一个地理上分布式的计算平台，将AI推理部署在更靠近用户、设备和数据的地方，从而在响应速度和每token成本方面达到最佳平衡。这不仅仅是一次基础设施升级，更是AI交付方式的结构性变革，将电信网络置于扩展AI的中心，而不仅仅是承载其流量。
全球运营商将分布式网络转变为AI网格
在六家主要运营商的推动下，AI网格正从概念走向现实。
AT&T，一家在物联网连接领域处于领先地位的公司，拥有数千种设备类型的1亿多个连接，正与思科和英伟达合作构建一个用于物联网的AI网格。通过在专用物联网核心上运行AI并将AI推理移至更靠近数据创建点的地方，AT&T能够支持像Linker Vision这样的任务关键型、实时应用，实现更快的检测、警报和响应，同时帮助将敏感信息保留在客户控制之下，置于网络边缘。
“扩展既高度安全又对企业和开发者可访问的AI服务，是我们物联网连接战略的核心支柱，”AT&T Business产品高级副总裁Shawn Hakl表示。“通过结合AT&T的企业级连接、本地化AI计算和零信任安全，并与英伟达Inception计划的成员合作，利用思科的AI网格、英伟达基础设施和思科移动服务平台，我们将实时AI推理带到更靠近数据生成的地方——加速数字化转型并释放新的商业机遇。”
Comcast正将其全国最大的低延迟宽带网络之一开发成一个用于实时、超个性化体验的AI网格。Comcast与英伟达、Decart、Personal AI和HPE合作，已经验证了其AI网格能够即使在需求高峰期也能保持对话代理、交互媒体和英伟达GeForce NOW云游戏的响应性和经济性，同时显著提高了吞吐量并降低了每token成本。
Spectrum拥有支持AI网格的网络基础设施，该网格覆盖超过1000个边缘数据中心，拥有数亿瓦的容量，距离5亿台设备仅10毫秒。最初的部署专注于使用Spectrum的光纤低延迟网络中嵌入的远程GPU来渲染媒体制作的高分辨率图形。
Akamai正在构建一个全球分布式的AI网格，将其Akamai Inference Cloud扩展到超过4400个边缘站点，部署了数千个英伟达RTX PRO 6000 Blackwell服务器版GPU。Akamai的AI网格编排平台将每个请求匹配到合适的计算层，提高了推理的token经济性，同时为游戏、媒体、金融服务和零售等应用提供低延迟、实时的AI体验。
Indosat Ooredoo Hutchison正在将其主权AI工厂与印度尼西亚各地的分布式边缘和AI-RAN站点连接，构建一个用于本地创新的AI网格。通过在印度尼西亚境内运行基于巴哈萨印度尼西亚语的平台Sahabat-AI，Indosat可以将本地化AI服务带到数亿印度尼西亚人身边，遍布数千个岛屿，为本地开发者和初创公司提供一个主权平台，用于构建快速、具有文化相关性且设计合规的AI应用程序。
T‑Mobile正与英伟达合作，利用英伟达RTX PRO 6000 Blackwell服务器版GPU探索边缘AI应用，展示了分布式网络位置如何支持新兴的AI-RAN和边缘推理用例。包括LinkerVision、Levatas、Vaidio、Archetype AI和Serve Robotics在内的开发者已经在该网格上试点智慧城市、工业和零售应用，将摄像头、配送机器人和城市规模的代理连接到网络边缘的实时智能。这表明了基站和移动交换局如何在继续提供先进5G连接的同时，支持分布式边缘AI工作负载。
新的AI原生服务驱动电信AI网格发挥作用
AI网格正成为一类新的AI原生应用程序——实时、超个性化、并发且token密集型应用——的基础。
Personal AI正在利用英伟达Riva在AI网格上驱动类人对话代理。通过将小型语言模型部署在更靠近用户的地方，其端到端延迟降低到500毫秒以下，每token成本降低超过50%，从而实现自然流畅的语音体验，并且在大规模部署时仍然具有经济可行性。
Linker Vision正在通过在AI网格上运行实时视觉AI来改造城市运营。通过处理跨分布式边缘站点的数千个摄像头馈送，它为实时检测和即时警报提供可预测的延迟——能够更快地检测交通事故（高达10倍）、灾难响应（高达15倍）以及在亚分钟内发出不安全人群行为的警报，从而实现更安全、更智能的城市。
Decart正通过将实时视频生成引入AI网格，重新定义超个性化分布式媒体。通过在网络边缘运行其Lucy模型，它实现了低于12毫秒的网络延迟，从而实现可适应每个观看者的交互式视频流和叠加，即使在观看高峰期也能提供流畅、沉浸式的直播视频体验。
AI网格参考设计和生态系统
英伟达AI网格参考设计定义了部署和编排跨分布式站点的AI的构建块——包括英伟达加速计算、网络和软件平台。
一个不断增长的、包括思科在内的全栈合作伙伴生态系统，以及像HPE这样的基础设施合作伙伴，正在基于使用英伟达RTX PRO 6000 Blackwell服务器版的系统将AI网格解决方案推向市场。Armada、Rafay和Spectro Cloud等合作伙伴正在构建AI网格控制平面，以无缝地编排跨分布式AI基础设施的工作负载。
“物理AI正在加速从中心化智能向网络边缘分布式决策的转变，”思科提供商移动业务高级副总裁兼总经理Masum Mir表示。“我们与英伟达的合作结合了全栈技术——从英伟达GPU到思科的网络和移动能力——使运营商能够驱动任务关键型应用，提供实时推理，并参与AI价值链。”
总而言之，这个生态系统正在帮助电信运营商和分布式云提供商重新定义他们在AI价值链中的角色——将网络边缘转变为一个统一的智能层，用于运行、扩展和变现AI工作负载。
了解更多关于AI网格的信息。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区