Windows 11 的内置 Copilot Vision 可以看到您的屏幕,现在可以在任何地方免费使用(动手操作)

Enda

Copilot Vision 已经存在相当长一段时间了。几个月前我对其进行了测试,当时它只能在浏览器中运行,现在美国境外(欧盟地区除外)的所有人都可以通过 Windows 11 Copilot 应用程序使用它。我上次使用该工具的经历并不十分令人信服,但这个 Windows 实现更进一步。

当我在 Edge 浏览器中尝试 Vision 时,它在浏览器之外无法工作。因此,它只能访问当前打开的选项卡并对其执行一些操作。浏览器和桌面应用程序实现之间最大的区别是选择窗口的能力。

是的,您不再局限于单个浏览器选项卡,可以在任何打开的窗口上使用它。这为所有不能在浏览器内部工作的东西打开了大门。它可能是一个带有统计信息的应用程序窗口、一个带有命令的 shell 窗口或一个游戏窗口,尽管我没有尝试过。

我启动了该应用程序,单击 Vision 图标,它显示了一个菜单,可供选择任何打开的窗口。我从一篇关于构建媒体服务器的文章开始,结果与之前有点相似。与人工智能的对话非常流畅,当我要求它停止时,它立即停止。我询问作者在该项目中使用哪个操作系统,它被列出来比当前屏幕稍低一些。所以,Vision无法回答。

它无法访问当前所选窗口之外的任何内容,这意味着即使它是网页,它也只能看到您看到的部分。它无法向下滚动并找到网页上提到的任何其他内容。它无法单击任何按钮,但可以通过黑色大箭头的突出显示动画引导您找到该按钮。所以,AI与按钮的交互是不可能的,你必须点击它。

潜得更深一些

上次Vision无法在网络上搜索更多信息。但现在情况已不再是这样了。我在 Windows Latest 上打开了一个页面,询问有关作者(我们的 EIC)的详细信息。第一次尝试时只说了名字,但后来我询问了他在公司的职务。 Vision 回答说“不”,并请求我允许在网上搜索更多详细信息。

参见:Windows 11 的 Copilot 应用确认 GPT-5,微软准备 Microsoft 365 Copilot、Azure

之后,它正确地列出了我们 EIC 的名称,甚至描述了有关他的更多详细信息。显然,它从他的作者页面中选取了数据,并对其进行了一些改写,但响应是可以接受的。

我的下一步行动是呈现一些更具挑战性的东西。我使用了在 DietPi 上使用的 shell 命令脚本结果的屏幕截图。响应提到了命令的作用,所以 Vision 只是向我重申了这些命令。

我做的下一件事是仅显示命令,然后询问它们。

Vision 对此非常准确,甚至描述了命令中每个参数的作用。这让我相信它一定是它的知识库,因为它没有使用网络搜索来获取更多信息。

为了重新检查它,我使用了另一组我之前没有展示过的命令。因此,我创建了一个 Docker 命令列表并询问它。

它描述了每个命令的作用,但在第四个命令之后停止了。我不得不命令它几次才能继续并解释剩下的事情。它或多或少是准确的,但我不确定它是从网络获取数据还是自己生成数据。

这是 Windows 11 PC 上的 Copilot Vision 的概述。如果您觉得舒服副驾驶数据政策,尝试一下。您不需要做任何开箱即用的事情,因为它已内置到应用程序中。

WL通讯

WL通讯!

获取最新的 Windows 和计算新闻,了解系统管理员的变化,并了解 AI 如何改变 Windows!每日新闻综述、每周人工智能综述等等。加入 50,000 名订阅者!

姓名电子邮件免费加入