黑客使用隱藏的文字欺騙Google Gemini
安全研究人員發現了一種隱秘的新方法來操縱Google的雙子座AI助手，通過隱藏了Gemini在不知不覺中遵循的電子郵件代碼中的惡意命令。
這些間接的及時注入（IPI）方法使騙子可以在AI生成的摘要中種植虛假的警報，從而使它們看起來像Google本身的合法警告，最終使用戶直接進入網絡釣魚陷阱。
利用如何工作
與依靠陰暗鏈接或附件的傳統網絡釣魚騙局不同，此技術更加微妙，因為竅門在於電子郵件的代碼。攻擊者使用隱形文本將說明隱藏在電子郵件中 - 白色背景上的白字體，零尺寸的字體或屏幕外元素。儘管它們仍然被人眼看不見，但雙子座確實看到了它們並充分處理它們。
收件人在Google Workspace中單擊“總結此電子郵件”後，雙子座會掃描整個消息，包括隱藏的部分。如果這些隱藏的部分包含惡意提示，則它們也包含在摘要輸出中。
這導致了一個虛假但令人信服的安全警報，敦促用戶撥打支持電話號碼或採取緊急行動。由於警報似乎來自雙子座本身，因此用戶可以信任它，從而使攻擊特別危險。
通過錯誤賞金程序發現的利用
Google Gemini在工作空間中的及時注射漏洞已被披露給Mozilla的0din Bug Bounty計劃對於Mozilla的Genai Bug Bounty計劃經理Marco Figueroa的生成AI工具。他的示威表明，攻擊者如何使用諸如樣式指令嵌入隱藏的說明<Admin>標籤或CSS代碼旨在隱藏人眼的內容，以欺騙雙子座。
當Gemini將這些說明視為提示的一部分時，它最終將它們重複，好像它們是摘要輸出中原始信息的一部分一樣，而沒有意識到它們是惡意的。
Figueroa提供了一個概念驗證示例，以說明如何欺騙雙子座以顯示虛假的安全警報，警告用戶他們的Gmail密碼已被妥協並提供欺詐性支持號碼。
為什麼這很重要
攻擊是一種間接提示注射的一種形式，其中AI應該總結的內容中埋葬了惡意輸入。隨著生成AI融入日常工作流程，這已成為一個日益嚴重的關注點。隨著Gemini在Google工作空間中集成在一起（GMAIL，文檔，幻燈片和驅動器），助手分析用戶內容可能會脆弱的任何系統。
使其更加危險的是這些摘要似乎非常令人信服。如果Gemini包含虛假的安全警告，則用戶可能會認真對待它，因為他們相信雙子座是Google Workspace的一部分，而沒有意識到它實際上是一個隱藏的惡意消息。
Google的多層防禦策略
作為回應，Google推出了Gemini的分層防禦系統，該系統旨在使這些攻擊更難實現。措施包括：
- 機器學習分類器檢測惡意提示
- 降價消毒剝離危險格式
- 可疑的URL修訂
- 一個用戶確認框架在執行敏感任務之前，這增加了一個額外的檢查點。
- 通知在檢測到提示注射時提醒用戶
Google表示，它還與外部研究人員和紅色團隊合作，以完善其防禦能力並在未來的雙子座版本中實施其他保護措施。
Google發言人在一份聲明中告訴BleepingComputer：“我們不斷地通過訓練模型來防禦這些類型的對抗性攻擊來加強本已強大的防禦能力。”
儘管Google曾表示，尚無證據表明這種技術在現實世界攻擊中使用，但該發現明確警告說，即使是AI生成的內容，無論多麼無縫，仍然可以操縱。
