侧边栏壁纸
博主头像
Stars

「网络急诊科大夫 🚑
主治:
✓ 路由器间歇性癫痫
✓ 服务器半夜诈尸
✓ 防火墙老年痴呆
——挂号请摇交换机铃铛

  • 累计撰写 16 篇文章
  • 累计收到 0 条评论

研究人员在Microsoft Copilot中发现漏洞 利用AI代理提示词注入窃取企业内部信息

2025-6-13 / 0 评论 / 18 阅读

人工智能 研究人员利用 Microsoft Copilot (企业版) 中的逻辑漏洞让 AI 代理帮忙窃取企业中的敏感数据,整个过程不需要用户点击,只需要向目标企业员工发送一封普通的文本邮件即可。这封邮件包含提示词,邮件会被 RAG 收集并按照指令进行操作,AI 代理未经用户同意的情况下会将数据发送给攻击者。查看全文:https://ourl.co/109353

在人工智能时代各种 AI 代理层出不穷,但这些 AI 代理的安全性存在非常大的隐患,借助这些 AI 代理攻击者可以利用人工智能模型的逻辑漏洞实现远程窃取数据。

Microsoft 365 Copilot 是微软推出的人工智能工具,该工具被集成到 Microsoft 365 应用中,而企业部署的 Microsoft 365 Copilot 通常还会使用 RAG 进行跨用户内容语义检索。

例如企业可以将内部数据共享给人工智能以便所有员工都可以通过人工智能获得更有相关性、准确性更高、真实性更高的回答,从而直接提高员工的工作效率。

适用于企业的 Microsoft 365 Copilot 会查询 Microsoft Graph,并从企业内部环境中检索信息,涵盖邮箱、OneDrive、Office 文件、内部 SharePoint 网站以及 Microsoft Teams 聊天记录等。

研究人员在Microsoft Copilot中发现漏洞 利用AI代理提示词注入窃取企业内部信息

研究人员在Microsoft Copilot中发现漏洞 利用AI代理提示词注入窃取企业内部信息

LLM 范围违规漏洞:

安全公司 AIM 在 2025 年 1 月发现微软的人工智能应用存在漏洞,随后漏洞并通报给微软并得到确认,不过微软花费很长时间才完成修复,因为在修复过程中还发现其他相关或类似的漏洞。

研究人员将该漏洞命名为 LLM 范围违规 (LLM Scope Violation),该术语指的是攻击者向 LLM 发出特定指令 (源于不受信任的输入) 让 LLM 在未经用户明确同意的情况下处理模型上下文中受信任的数据。

在攻击实例中,研究人员向特定企业员工的 Microsoft Outlook 邮箱发送一封比较普通的电子邮件,该邮件里既没有传统的钓鱼链接,也不需要用户执行任何操作,只要将邮件发送出去即可。

邮件抵达收件箱后人工智能会自动读取邮件并开始按照邮件中的指令进行处理,然后人工智能会将收集到的所有信息都发送给攻击者,整个过程不需要进行任何交互。

钓鱼邮件中的提示词也非传统的 LLM 提示词,只需要将包含恶意指令的措辞模拟的类似针对收件人 (人类) 即可,这样可以绕过微软部署的主要防护措施之一 XPIA 跨提示注入攻击,本来 XPIA 可以用来拦截抵达 Copilot 的提示注入攻击。

当然以上描述比较简单,实际攻击过程非常复杂且步骤比较多,有兴趣的用户可以查看 AIM 的博客原文:https://www.aim.security/lp/aim-labs-echoleak-blogpost

微软进行修复:

在发布最终更新将所有已知漏洞都修复后,微软发布声明感谢 AIM 负责任地披露该问题并给微软预留时间进行修复,目前这些漏洞已经完全修复,微软通过自动化系统部署修复程序,企业不需要采取任何措施。

AIM 将这种攻击方式命名为 EchoLeak,目前还没有证据表明已经有黑客利用漏洞窃取数据,不过对企业来说,AI 代理加速企业效率的同时,也存在非常明显的安全隐患。

评论一下?

OωO
取消