微软确认 Windows 11 正在转变为代理操作系统

Enda

微软今天向全世界表示,Windows 11 很快就会成为一款 Agentic 操作系统,由 Copilot Actions 和你的声音提供支持。从本质上讲,您将能够告诉您的电脑要做什么,而无需您费力,它就会执行此操作。

在过去的几天里,微软一直在宣传Windows,在X中引用诸如“你的手即将得到一些PTO”和“看'ma,没有手”之类的引言。当然,我们假设这是对微软发布的 Windows 2030 Vision 视频的认可,该公司在视频中表示传统的鼠标和键盘交互将变得过时。

考虑到 2030 年还有将近五年的时间,我们没想到微软会这么早就全力以赴。然而,该公司今天表示,“你可以与”你的 Windows 11 电脑交谈。

Windows 11 还获得了另一个带有“Copilot”标签的功能,但这一次,它可能是最强大、最深刻的功能,有可能改变我们使用 Windows PC 的方式。微软将其称为“Copilot Actions”。

Copilot Actions 实际上并不是什么新鲜事。微软早在五月份就宣布了这一功能,但它仅在 Copilot 的网络版本上可用。即便如此,它仍然可以通过与网络上的第三方服务集成,代表您进行预订、获取门票和订购商品。

在短短 5 个月内,Copilot Actions 就进入了 Windows 11,使后者成为了 Agentic 操作系统。

什么是代理操作系统?

代理操作系统仍然是一个操作系统,但它支持和协调可以代表用户思考、计划和执行任务的人工智能代理。这里的操作系统就像一个平台,为这些人工智能代理提供对我们使用的应用程序和服务的访问。

微软对此的实现是通过名为模型上下文协议(MCP)的开放标准来完成的,该标准由 Anthropic 于 2024 年 11 月正式推出。

该协议使 Windows 11 中的 AI 代理能够安全地发现、调用和计划本机应用程序中的任务,使它们能够编辑文件、启动自定义工作流程以及与系统功能进行交互,而无需我们通过“传统”键盘和鼠标进行输入。

Copilot Actions 是 Microsoft 适用于 Windows 11 的主要 AI 代理,但默认情况下处于关闭状态。当该功能最终向公众推出时,您需要在 Copilot 应用程序设置中启用实验代理功能。

微软在 Windows AI PC 上有三个主要目标:

  1. 让您能够使用文本或语音与电脑自然交互,这是通过 Copilot Voice 实现的。
  2. 让 PC 看到您所看到的内容,并能够通过 Copilot Vision 为您所做的任何事情提供支持。
  3. 让 PC 能够通过 Copilot Actions 代表您执行任务和处理工作流程。

是什么让 Windows 11 变得如此代理?

据微软称,它以“嘿副驾驶”开头,这是副驾驶语音的唤醒词,您可以在副驾驶设置中启用它。当然,我们习惯了“嘿 Google”和“嘿 Siri”,但与随机提出问题不同,微软在这里也希望我们能够完成任务。

一旦激活,Copilot Voice 就会倾听你的声音,理解你的意思,如果微软的“认识你可以交谈的计算机”活动可信的话,它可以启动应用程序、修改文件和执行任务。

您所要做的就是用自然的语言描述任务; Copilot Voice 会将其分解为具体指令,并在必要时使用 Copilot Vision 来了解屏幕上的内容,也可能访问文件,最后使用 Copilot Actions 与桌面和 Web 应用程序进行交互。 Copilot 连接器允许其连接到 Google 日历和 OneDrive 等云服务提供商。

假设您在 PC 上打开了一个网站,它就是您的作品集。您的任务是写下您自己并总结您的作品集以发送给潜在客户。只需说“嘿 Copilot,帮我把我的作品集变成简历”,如果一切按预期进行,首先启用的是 Copilot Voice,它了解您的需求。然后,根据这些要求,Copilot Vision 会在屏幕上扫描您的作品集网站,收集所有相关信息,然后 Copilot Actions 将执行其代理任务,打开 Word 并自动输入您的简历内容。如果出现提示,它也会使用连接器从您的 Google 云端硬盘获取更多信息。

最重要的是,包含您个人简介的新 Word 文件是通过您的声音创建的。不使用键盘或鼠标。这是一个正在运行的代理操作系统,并且是我们迄今为止最接近 Jarvis 的操作系统。

一旦任务完成,Copilot 会在几秒钟没有交互后自动关闭,或者你可以直接说“再见”,它就会结束对话。如果您想完全原始,可以使用鼠标指针点击 X 图标。

当 Copilot Actions 完成其工作时,您还可以在 PC 上执行其他任务。这是因为 Windows 11 中的所有 AI Agent 都有自己的桌面环境。您可以随时控制任务,并且 Copilot Action 将会持续实时跟踪 Copilot Action 正在执行的任何任务。

Windows 11 中代理模式的安全性如何

与人工智能的所有事物一样,隐私和安全始终是一个问题,而且这一点非常明显,因为您实际上是在授予软件对您的文件、桌面以及您在屏幕上所做的任何操作的完全访问权限。

幸运的是,微软对此非常谨慎。该公司表示,我们可以完全控制 Copilot Actions 的功能,包括随时暂停和禁用它。

尽管微软宣布了这些产品,但一切仍在内部测试中,并将开始在预览中缓慢推出。

所有 Windows 11 电脑都会获得 Copilot Actions 吗?

微软执行副总裁发布的关于Copilot Actions的博客标题为“让每台Windows 11 PC成为AI PC”。博客中从未提及 Copilot 语音、视觉或操作仅限于 Copilot+ PC。

这是相当令人惊讶的,因为如果您使用较旧的 CPU,Microsoft 视频演示中显示的某些任务可能会造成相当大的损失,因此同时执行其他任务可能不是一个好主意。

然而,对于具有至少 40 TOPS NPU 的现代 SoC 来说,这可能是小菜一碟。这一次,微软决定不再大力推广 Copilot+ PC,在我看来这是一件好事。不管怎样,很明显该公司希望 Copilot Voice 成为我们使用 PC 的自然组成部分。

截至目前,Hey Copilot 已全面上市,与 Copilot Vision 一起在全球范围内推广。所有其他功能将很快向 Windows Insiders 推出。

添加为首选来源


支持独立博客

支持 Ko-Fi
对 Patreon 的支持

提问(论坛)

另请阅读:微软确认 Windows 11 在 OOBE 期间需要 Microsoft 帐户和互联网(已测试)

WL通讯

WL通讯!

掌握最新的 Windows、IT 和 AI 更新。受到 50,000 多名订阅者的信赖。

姓名电子邮件免费加入