利用间接提示注入技术从 Writer.com 窃取数据 [译]

这一漏洞可能导致攻击者利用内容生成时用到的语言模型，窃取用户私密文件。尽管已经向 Writer.com 报告了这一问题，但截至目前为止，由于 Writer.com 在披露后并未将其分类为安全漏洞，因此漏洞尚未得到修复（具体详情见文末“负责任披露”部分）。

Writer.com 是一个企业和普通消费者都可使用的应用。用户可以上传数据文件、分享链接并提出问题，以生成满足其业务需求的定制内容。考虑到用户上传的信息极为敏感，Writer.com 在其网站上特别强调了数据安全性：https://writer.com/product/data-security-privacy/

1. 漏洞介绍：

在 Writer 应用中，用户可以通过与 ChatGPT 类似的会话界面来编辑或创建文档。在这种对话模式中，大语言模型 (LLM) 能够利用网络上的信息资源，辅助用户进行文档创作。我们发现，攻击者可以设计特殊网站，当用户将这些网站作为参考资料添加进来时，就能诱使大语言模型向攻击者传输私人信息或执行其他恶意操作。

这种数据泄露可能涉及用户上传的文件、他们的聊天记录，甚至是一些特定的私人信息——这些信息是在攻击者的策划下，由聊天模型诱导用户透露的。

这类攻击被称作间接提示注入，最早由 Kai Greshake 提出概念。

为了验证这种攻击的实际可行性，我们上传了一个含有模拟敏感数据（如社会安全号码、营收数字、薪资信息）的文件，并成功提取了所有这些信息：

存放恶意代码的网站表面上与普通网站无异，恶意代码对普通访客是隐藏的。在下面的截图中，我们标出了隐藏的恶意代码文本（它采用白色字体，但还有其他手段来隐藏或在诸如社交媒体平台上嵌入恶意代码）：

值得注意的是，*.cloudfront.net 是受到内容安全策略 (CSP) 许可的网络地址之一。

以下是一个典型用户的使用案例：

但实际上，在幕后发生的是这样一个带有注入过程的操作：

A) 用户会要求 Writer 根据他们上传的一些资料和数据为他们撰写报告。

B) 用户在网上找到了一个包含必要信息的优质来源。

C) 用户上传了一些敏感数据。

D) 用户让 Writer 完成这份报告。

E) 作者浏览了一个网页，但网页中隐藏着一段用小号白色字体编写的注入代码：

F) 作者按照这些指示操作，不仅忽视了用户的最初请求，也绕过了 Writer.com 所设置的安全防护。用户并未要求显示这张图片，它原本也不在他们最初浏览的网页上。然而，Writer.com 自动用 markdown 格式显示了这张由黑客控制的图片，并且从网络活动中可以看到，它根据指示把上传的客户端数据文件内容添加到了 HTTP 参数里：

下面是上传的客户端数据文件与上述截图中 HTTP 参数的放大图像的并排比较：

G) 在用户毫不知情的情况下，他们的数据被秘密发送到了攻击者的服务器。Markdown 格式下的图像渲染自动触发了一个 GET 请求，该请求的 HTTP 参数中包含了文件的内容。攻击者可以通过检查日志来提取文件中的敏感客户数据。

利用图像渲染来进行数据泄露只是众多数据泄露技巧中的一种。值得一提的是，据我们了解，Writer 在文本生成中并未使用 OpenAI 技术，而且OpenAI 也曾明确表示他们系统中的同类问题不会被修复。

以下是利用其他方式（例如链接）进行数据泄露的其他一些攻击示例。

利用间接提示注入技术从 Writer.com 窃取数据 [译]

1. 漏洞介绍：

更多示例：

示例 1: 上传文件泄露

示例 2: 聊天记录泄露

放入背景：