📢 转载信息
原文链接：https://www.wired.com/story/microsoft-is-rewriting-windows-11-around-ai/
原文作者：Luke Larsen
在第一阶段的AI演进中，微软将其最强大的AI工具保留给了付费客户。但现在，该公司宣布了一系列将登陆所有Windows 11电脑的Copilot功能，包括语音（Voice）、Copilot Vision（视觉）以及Copilot Actions（智能体操作）。
伴随这次更新，微软正在启动广告宣传活动，旨在让更多人了解这些新功能。时机并非偶然。Windows 10的支持已于10月14日结束，我们即将迎来一股升级到Windows 11的浪潮；微软似乎决心让尽可能多的用户接触到先进的Copilot功能——并说服他们这些功能物有所值。
核心变革：语音交互的全面普及
“Hey, Copilot”（嘿，Copilot）。这是AI助手在所有Windows 11电脑上即将启用的语音模式唤醒词。无论用户是否喜欢，微软都希望大家开始与电脑对话。该公司正通过跨所有Windows 11设备引入新的Copilot功能，实现与Copilot在应用程序内和整个操作系统中的直接语音交互。这项能力在智能手机上已经存在多年（效果参差不齐），在微软自家的Copilot+笔记本电脑系列中也已实现。
微软首席消费者营销官Yusuf Mehdi表示：“距离PC改变人机交互方式——主要是通过鼠标和键盘——已经快四十个年头了。但如果我们可以超越这些，与它对话呢？在我们看来，语音将成为使用PC的第三种输入机制。”
推动直接与PC对话是有数据支撑的。Mehdi引用了微软自己的观察数据，即人们如何通过语音与PC进行交互，例如听写、记笔记、语音输入和转录。Mehdi还提到，由于易用性，当使用语音时，人们使用Copilot应用程序的频率是打字的两倍。“人们是‘对着’电脑说话，而不是‘和’电脑说话，”他说。“但我们认为，这才是即将发生巨大改变的地方。”
随着语音驱动的Copilot登陆所有Windows 11电脑，微软希望人们能开始更多地使用其AI功能。重点不是完全取代鼠标和键盘，而是让语音成为“附加的”输入方式，正如Mehdi所说。
Mehdi似乎忘记在他对PC历史的总结中提及“触摸”作为一种输入机制。微软曾大力投资于通过Windows 8及其对Windows平板电脑（以及Windows Phone）的推动，试图将PC转变为以触摸为先的操作系统，但最终这项努力在Surface Pro等特定设备之外被放弃了。也许这次语音会有不同的结果。
Copilot Vision与Copilot Actions：更进一步的智能
你给AI提供的提示和上下文越多，它能做的事情就越多。这用语音来说并不直观，但这就是Copilot Vision发挥作用的地方。Copilot Vision允许AI查看您的屏幕，并根据屏幕上下文提供帮助。它自6月起就已成为Copilot+ PC的一项功能，但现在它将在所有Windows 11电脑上广泛使用，即使是那些没有NPU（神经处理单元）的设备。谷歌最近也向其Chrome浏览器添加了类似的功能。
Copilot Vision最突出的用例之一是在应用程序中提供教程。如果你在一个复杂的软件中寻找某个特定的操作或菜单，Copilot Vision可以迅速为你指明方向。它是一个可以跟随你到任何应用或Windows部分的浮动工具栏，它会根据你屏幕上显示的内容（无论是整个桌面还是特定窗口）来提供上下文帮助。
这意味着更少的提示输入，结合语音控制，这感觉就像身边站着一位知识渊博的朋友。微软称之为“Highlights”（高亮显示）功能，只需询问Copilot“如何操作”，无论是在编辑照片、查看日历还是写购物清单时，都可以触发它。在某些应用中，如Word、Excel和PowerPoint，Copilot Vision甚至可以“看到”屏幕之外的内容，例如演示文稿中的其他幻灯片或Word文档中未完全显示的页面。
Mehdi还谈到了Gaming Copilot，它将Copilot Vision带入游戏领域，无论是在PC上还是在像新的ROG Xbox Ally这样的设备上。他展示了一个演示，AI助手向玩家提供了关于在开放世界冒险中下一步该执行哪些任务的指导。
当Copilot Vision与Copilot Actions结合时，事情就变得有趣了。这是微软对AI智能体的诠释。Copilot Actions可以通过自然语言指令，在本地的应用程序或操作系统中代表你执行操作。因此，与其让Copilot Vision向你展示如何在Adobe Photoshop中找到那个晦涩的设置，Copilot Actions可以直接为你打开它。你可以让Copilot Actions对一堆照片文件夹进行相同的编辑，或者从大型PDF中提取信息。
微软还展示了Copilot Actions的未来方向，这突显了“为AI重写Windows 11”的愿景。一项名为“Connectors”（连接器）的功能现已对Windows Insider用户开放，它允许你直接从Copilot应用中对本地PC执行操作，例如从OneDrive打开文件、打开电子邮件，甚至创建PowerPoint演示文稿。微软表示，像Google日历或Gmail这样的第三方应用程序也将能在Copilot应用内协同工作。
例如，你可以要求Copilot查找牙医预约的详细信息或通过描述来查找特定文件。只要你允许Copilot访问这些应用，Copilot不仅可以定位这些应用和文件，还可以在其中或对它们执行操作。虽然这复制了某些Copilot+独有功能（如安全受争议的Recall功能）的部分能力，但微软表示它们将并行存在。其他Copilot+独有功能，如“Click to Do”，仍将专属于配备更强劲片上NPU的设备，以实现更快的AI处理速度。
Copilot Actions自2024年底以来一直是微软365 Copilot企业工具的一部分，但这是它们首次向普通Windows用户广泛推出。微软表示将在“未来几个月内”可用，并且这一次，你将能够使用文本提示而不是仅用语音来使用Copilot Actions。
从搜索界面内对应用采取行动的想法，与苹果在macOS Tahoe中通过Spotlight Actions和快捷方式所做的有些相似。但微软的抱负似乎更为宏大。目前，Copilot仍然是你必须通过语音或点击（它内置在任务栏搜索栏中）才能调用的工具。但很容易想象Copilot将发展成为Windows的主要界面。
这些新功能是否真的能促使人们更多地使用Copilot？这一点很难说。由于种种原因，Windows用户群体的行为改变通常比较缓慢，而从Windows 10迁移到Windows 11本身就已经证明是一项挑战。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区