微軟確認 Windows 11 正在轉變為代理操作系統

Enda

微軟今天向全世界表示,Windows 11 很快就會成為一款 Agentic 操作系統,由 Copilot Actions 和你的聲音提供支持。從本質上講,您將能夠告訴您的電腦要做什麼,而無需您費力,它就會執行此操作。

在過去的幾天裡,微軟一直在宣傳Windows,在X中引用諸如“你的手即將得到一些PTO”和“看'ma,沒有手”之類的引言。當然,我們假設這是對微軟發布的 Windows 2030 Vision 視頻的認可,該公司在視頻中表示傳統的鼠標和鍵盤交互將變得過時。

考慮到 2030 年還有將近五年的時間,我們沒想到微軟會這麼早就全力以赴。然而,該公司今天表示,“你可以與”你的 Windows 11 電腦交談。

Windows 11 還獲得了另一個帶有“Copilot”標籤的功能,但這一次,它可能是最強大、最深刻的功能,有可能改變我們使用 Windows PC 的方式。微軟將其稱為“Copilot Actions”。

Copilot Actions 實際上並不是什麼新鮮事。微軟早在五月份就宣布了這一功能,但它僅在 Copilot 的網絡版本上可用。即便如此,它仍然可以通過與網絡上的第三方服務集成,代表您進行預訂、獲取門票和訂購商品。

在短短 5 個月內,Copilot Actions 就進入了 Windows 11,使後者成為了 Agentic 操作系統。

什麼是代理操作系統?

代理操作系統仍然是一個操作系統,但它支持和協調可以代表用戶思考、計劃和執行任務的人工智能代理。這裡的操作系統就像一個平台,為這些人工智能代理提供對我們使用的應用程序和服務的訪問。

微軟對此的實現是通過名為模型上下文協議(MCP)的開放標準來完成的,該標準由 Anthropic 於 2024 年 11 月正式推出。

該協議使 Windows 11 中的 AI 代理能夠安全地發現、調用和計劃本機應用程序中的任務,使它們能夠編輯文件、啟動自定義工作流程以及與系統功能進行交互,而無需我們通過“傳統”鍵盤和鼠標進行輸入。

Copilot Actions 是 Microsoft 適用於 Windows 11 的主要 AI 代理,但默認情況下處於關閉狀態。當該功能最終向公眾推出時,您需要在 Copilot 應用程序設置中啟用實驗代理功能。

微軟在 Windows AI PC 上有三個主要目標:

  1. 讓您能夠使用文本或語音與電腦自然交互,這是通過 Copilot Voice 實現的。
  2. 讓 PC 看到您所看到的內容,並能夠通過 Copilot Vision 為您所做的任何事情提供支持。
  3. 讓 PC 能夠通過 Copilot Actions 代表您執行任務和處理工作流程。

是什麼讓 Windows 11 變得如此代理?

據微軟稱,它以“嘿副駕駛”開頭,這是副駕駛語音的喚醒詞,您可以在副駕駛設置中啟用它。當然,我們習慣了“嘿 Google”和“嘿 Siri”,但與隨機提出問題不同,微軟在這裡也希望我們能夠完成任務。

一旦激活,Copilot Voice 就會傾聽你的聲音,理解你的意思,如果微軟的“認識你可以交談的計算機”活動可信的話,它可以啟動應用程序、修改文件和執行任務。

您所要做的就是用自然的語言描述任務; Copilot Voice 會將其分解為具體指令,並在必要時使用 Copilot Vision 來了解屏幕上的內容,也可能訪問文件,最後使用 Copilot Actions 與桌面和 Web 應用程序進行交互。 Copilot 連接器允許其連接到 Google 日曆和 OneDrive 等雲服務提供商。

假設您在 PC 上打開了一個網站,它就是您的作品集。您的任務是寫下您自己並總結您的作品集以發送給潛在客戶。只需說“嘿 Copilot,幫我把我的作品集變成簡歷”,如果一切按預期進行,首先啟用的是 Copilot Voice,它了解您的需求。然後,根據這些要求,Copilot Vision 會在屏幕上掃描您的作品集網站,收集所有相關信息,然後 Copilot Actions 將執行其代理任務,打開 Word 並自動輸入您的簡歷內容。如果出現提示,它也會使用連接器從您的 Google 雲端硬盤獲取更多信息。

最重要的是,包含您個人簡介的新 Word 文件是通過您的聲音創建的。不使用鍵盤或鼠標。這是一個正在運行的代理操作系統,並且是我們迄今為止最接近 Jarvis 的操作系統。

一旦任務完成,Copilot 會在幾秒鐘沒有交互後自動關閉,或者你可以直接說“再見”,它就會結束對話。如果您想完全原始,可以使用鼠標指針點擊 X 圖標。

當 Copilot Actions 完成其工作時,您還可以在 PC 上執行其他任務。這是因為 Windows 11 中的所有 AI Agent 都有自己的桌面環境。您可以隨時控制任務,並且 Copilot Action 將會持續實時跟踪 Copilot Action 正在執行的任何任務。

Windows 11 中代理模式的安全性如何

與人工智能的所有事物一樣,隱私和安全始終是一個問題,而且這一點非常明顯,因為您實際上是在授予軟件對您的文件、桌面以及您在屏幕上所做的任何操作的完全訪問權限。

幸運的是,微軟對此非常謹慎。該公司表示,我們可以完全控制 Copilot Actions 的功能,包括隨時暫停和禁用它。

儘管微軟宣布了這些產品,但一切仍在內部測試中,並將開始在預覽中緩慢推出。

所有 Windows 11 電腦都會獲得 Copilot Actions 嗎?

微軟執行副總裁發布的關於Copilot Actions的博客標題為“讓每台Windows 11 PC成為AI PC”。博客中從未提及 Copilot 語音、視覺或操作僅限於 Copilot+ PC。

這是相當令人驚訝的,因為如果您使用較舊的 CPU,Microsoft 視頻演示中顯示的某些任務可能會造成相當大的損失,因此同時執行其他任務可能不是一個好主意。

然而,對於具有至少 40 TOPS NPU 的現代 SoC 來說,這可能是小菜一碟。這一次,微軟決定不再大力推廣 Copilot+ PC,在我看來這是一件好事。不管怎樣,很明顯該公司希望 Copilot Voice 成為我們使用 PC 的自然組成部分。

截至目前,Hey Copilot 已全面上市,與 Copilot Vision 一起在全球範圍內推廣。所有其他功能將很快向 Windows Insiders 推出。

添加為首選來源


支持獨立博客

支持 Ko-Fi
對 Patreon 的支持

提問(論壇)

另請閱讀:微軟確認 Windows 11 在 OOBE 期間需要 Microsoft 帳戶和互聯網(已測試)

WL通訊

WL通訊!

掌握最新的 Windows、IT 和 AI 更新。受到 50,000 多名訂閱者的信賴。

姓名電子郵件免費加入