📢 转载信息
原文链接：https://www.wired.com/story/microsoft-is-rewriting-windows-11-around-ai/
原文作者：Luke Larsen
在AI发展的第一阶段，微软将其最强大的工具留给了付费客户。现在，该公司宣布了一系列即将面向所有Windows 11 PC推出的Copilot功能，包括语音控制（Voice）、Copilot Vision（能理解屏幕上下文）和Copilot Actions。
伴随这次更新，微软启动了一轮广告宣传，旨在让更多人了解这些新功能。时机并非偶然：Windows 10的支持已于10月14日结束，一股向Windows 11升级的浪潮即将到来。微软似乎决心要将先进的Copilot功能送到尽可能多的用户指尖——并说服他们这些功能确实值得使用。
核心升级：全面拥抱语音交互
“嘿，Copilot”（Hey, Copilot）。这是AI助手语音模式的唤醒词，现已面向所有Windows 11电脑推出。无论用户是否喜欢，微软都希望大家开始对电脑说话。该公司正在所有Windows 11设备上引入新的Copilot功能，实现Copilot在应用程序内和整个操作系统中的直接语音交互。这项功能在智能手机上已经存在多年，效果好坏参半，微软自家的Copilot+笔记本电脑也已具备此能力。
微软消费者首席营销官Yusuf Mehdi表示：“距离PC改变您与其交互方式——主要是通过鼠标和键盘——已经快四十年了。但如果能超越这些，直接与它对话呢？在我们看来，语音将成为使用PC的第三种输入机制。”
推动直接与PC对话背后是有数据的。Mehdi引用了微软自己的观察数据，即人们如何通过语音与PC互动，例如听写、做笔记、语音输入和转录。Mehdi还提到，由于易用性，人们在使用语音时，使用Copilot应用的频率是打字的两倍。“人们只是通过电脑说话，他们并没有真正与电脑或对着电脑说话，”他说。“但我们认为这正是未来将发生巨大变化的地方。”
随着语音驱动的Copilot登陆所有Windows 11电脑，微软希望人们能开始更多地使用其AI功能。其目的并非完全取代鼠标和键盘，而是让语音成为“附加的”（additive）输入方式，正如Mehdi所言。
Mehdi似乎忘记在他的历史回顾中提到“触摸”也是一种输入机制。微软过去曾大力投资于Windows 8及其在Windows平板电脑（以及Windows Phone）上的推动，试图将PC转变为以触摸为先的操作系统，但最终在Surface Pro等特定设备之外被放弃了。也许这次语音会带来不同的结果。
Copilot Vision 和 Copilot Actions：看得更懂，做得更多
你给AI的提示和上下文越多，它能做的事情就越多。这并不完全是语音的直观优势，但这也是Copilot Vision发挥作用的地方。Copilot Vision允许AI查看你的屏幕，并根据这些上下文提供帮助。自今年6月以来，它一直是Copilot+ PC的一项功能，但现在它将在所有Windows 11电脑上广泛使用，即使是没有NPU（神经处理单元）的设备也能使用。谷歌最近也向Chrome浏览器添加了类似的功能。
Copilot Vision最突出的用例之一是应用程序中的教程。如果你在一个复杂软件中寻找某个操作或菜单，Copilot Vision可以迅速为你指明方向。它是一个浮动工具栏，可以跟随用户到任何应用或Windows的任何部分，根据屏幕上的内容（无论是整个桌面还是特定窗口）提供上下文帮助。
这意味着更少的提示输入，结合语音控制，这更像是身边站着一位知识渊博的朋友。微软称之为“高光”（Highlights）功能，只需要求Copilot“展示如何做”，无论是在编辑照片、查看日历还是撰写购物清单时都可以触发。在某些应用中，如Word、Excel和PowerPoint，Copilot Vision甚至可以“看到”屏幕以外的内容，例如演示文稿中的幻灯片或Word文档中未完全显示的页面。
Mehdi还谈到了Gaming Copilot，它将Copilot Vision带入游戏领域，无论是在PC上还是在ROG Xbox Ally等设备上。文章作者观看了演示，其中AI助手向玩家建议下一步应该执行哪些任务。
当Copilot Vision与Copilot Actions结合时，事情就变得有趣了。这是微软对AI智能体的（AI agents）看法。Copilot Actions可以通过自然语言指令，在本地对应用程序或操作系统执行操作。因此，与其让Copilot Vision告诉你去哪里找到Adobe Photoshop中那个晦涩的设置，Copilot Actions可以直接为你开启它。你可以让Copilot Actions对一文件夹照片进行相同的编辑，或者从大型PDF中提取信息。
微软还展示了Copilot Actions的未来方向，突显了“重写”Windows 11以适应AI的愿景。一个名为Connectors的功能现已对Windows Insiders开放，它允许用户直接从Copilot应用中对本地PC执行操作，例如打开OneDrive中的文件、打开电子邮件，甚至创建PowerPoint演示文稿。微软表示，Google Calendar或Gmail等第三方应用程序也将能在Copilot应用内协同工作。
例如，你可以要求Copilot查找牙医预约的详细信息或通过描述来查找特定文件。只要你授予了Copilot访问这些应用的权限，它不仅可以定位这些应用和文件，还可以在其中或对其执行操作。虽然这复制了Copilot+ PC独有的、曾引发隐私问题的Recall功能的部分能力，但微软表示它们将并存。其他Copilot+独有的功能，如“Click to Do”，仍将保留给配备更强劲片上NPU的设备。
Copilot Actions自2024年底以来一直是Microsoft 365 Copilot企业工具的一部分，但这是它们首次广泛推广到普通Windows用户。微软表示，这些功能将在“未来几个月内”推出，并且这次用户将能够使用文本提示（而不仅仅是语音）与Copilot Actions互动。
通过搜索界面在应用上执行操作的想法，与苹果在macOS Tahoe中通过Spotlight Actions和快捷方式所做的不尽相同。但微软的雄心似乎更为宏大。目前，Copilot仍需要通过语音或点击任务栏搜索框中的应用图标来激活。但很容易想象，Copilot将逐渐发展成为Windows的主要界面。
所有这些新功能是否真的能让人们更多地使用Copilot，这很难说。由于各种原因，Windows用户群体的行为改变通常比较缓慢，而从Windows 10迁移到Windows 11本身就已经证明是一项挑战。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区