黑客利用隐藏文本欺骗 Google Gemini

安全研究人员发现了一种隐秘的新方法，可以通过在 Gemini 不知情的情况下遵循的电子邮件代码中隐藏恶意命令来操纵 Google 的 Gemini AI 助手。

这些间接提示注入 (IPI) 方法允许诈骗者在人工智能生成的摘要中植入虚假警报，使它们看起来像是来自 Google 本身的合法警告，最终导致用户直接陷入网络钓鱼陷阱。

该漏洞是如何运作的

与依赖可疑链接或附件的传统网络钓鱼诈骗不同，这种技术要微妙得多，因为诀窍在于电子邮件的代码。攻击者使用不可见文本（白色背景上的白色字体、零大小字体或屏幕外元素）隐藏电子邮件中的说明。尽管肉眼看不到它们，但双子座确实能看到它们并完全处理它们。

收件人在 Google Workspace 中点击“摘要此电子邮件”后，Gemini 就会扫描整封邮件，包括隐藏部分。如果这些隐藏部分包含恶意提示，它们也会包含在摘要输出中。

这会导致虚假但令人信服的安全警报，敦促用户拨打支持电话号码或采取紧急行动。由于警报似乎来自 Gemini 本身，用户可能会信任它，从而使攻击变得特别危险。

通过漏洞赏金计划发现的漏洞

Google Gemini for Workspace 中的提示注入漏洞已被披露给Mozilla 的 0din 错误赏金计划Mozilla GenAI Bug Bounty 项目经理、研究员 Marco Figueroa 提供的生成式 AI 工具。他的演示展示了攻击者如何使用样式指令嵌入隐藏指令，例如<Admin>标签或 CSS 代码，旨在隐藏人眼无法看到的内容，以欺骗 Gemini。

由于 Gemini 将此类指令视为提示的一部分，因此最终会重复这些指令，就好像它们是摘要输出中原始消息的一部分一样，而没有意识到它们是恶意的。

Figueroa 提供了一个概念验证示例，演示如何欺骗 Gemini 显示虚假安全警报，警告用户其 Gmail 密码已被泄露，并提供欺诈性的支持电话号码。

为什么这很重要

这种攻击是间接提示注入的一种形式，其中恶意输入被隐藏在人工智能应该总结的内容中。随着生成式人工智能融入日常工作流程，这已成为越来越令人担忧的问题。由于 Gemini 集成在 Google Workspace（Gmail、文档、幻灯片和云端硬盘）中，因此助手分析用户内容的任何系统都可能容易受到攻击。

更危险的是，这些总结看起来非常有说服力。如果 Gemini 包含虚假安全警告，用户可能会认真对待，因为他们相信 Gemini 是 Google Workspace 的一部分，但没有意识到这实际上是隐藏的恶意消息。

谷歌的多层防御策略

作为回应，谷歌为 Gemini 推出了分层防御系统，旨在使这些攻击更难实施。措施包括：

• 机器学习分类器检测恶意提示
• Markdown 清理删除危险的格式
• 可疑 URL 编辑
• 一个用户确认框架在执行敏感任务之前添加额外的检查点。
• 通知当检测到提示注入时提醒用户

谷歌表示，它还在与外部研究人员和红队合作，完善其防御措施，并在未来的 Gemini 版本中实施额外的保护。

谷歌发言人在一份声明中告诉 BleepingComputer：“我们正在通过红队演习不断强化我们本已强大的防御能力，训练我们的模型抵御此类对抗性攻击。”

虽然谷歌表示，目前还没有证据表明这种技术被用于现实世界的攻击，但这一发现是一个明确的警告，即即使是人工智能生成的内容，无论多么无缝，仍然可以被操纵。

更多阅读：谷歌确认在 Windows 11 上推出适用于 Chrome 的 Gemini，并预告人工智能重大升级