提示輸入成為數據泄露新通道的原因分析

生成式AI現已成為我們日常使用的搜索引擎、操作系統和商業應用程序中不可或缺的功能。雖然其價值不容置疑，但便利性和可訪問性使得"影子AI"成為默認的采用模式，而非例外。當員工可以輕松將敏感、專有數據上傳到日益增長的未受監控的公共第三方工具中時，這就成為了主要的數據泄露載體。

與任何第三方軟件一樣，了解供應商如何處理安全和隱私至關重要。這些方面絕不應被視為理所當然，特別是因為許多生成式AI工具默認將您的輸入重新用作訓練數據，這意味著潛在敏感或專有信息可能會在稍后回應他人提示時重新出現。此外，許多公共生成式AI工具的使用政策授予供應商訪問對話進行人工審查的權限。這就是為什么保護敏感數據必須從提示開始，以避免以下情況：

直接粘貼敏感文本，如用戶憑據、合同語言、源代碼和其他可能用作訓練數據或對供應商員工可見的專有信息。

文件上傳，如電子表格、屏幕截圖、專有設計文檔甚至音頻，都可能包含可能被復制、歸檔或重新用于模型訓練的敏感信息。

連接器和API使副駕駛能夠訪問電子郵件、文檔、存儲庫和其他資產，可能導致過度的數據暴露并可能違反保密協議。

模型輸出可以重新包裝敏感輸入，然后粘貼到電子郵件、聊天消息或外部文檔中，大大擴大影響范圍。

提示注入攻擊發生在惡意用戶故意試圖覆蓋AI內置安全措施，強制其執行未經授權操作時。

除了本質上故意的提示注入攻擊外，大多數通過生成式AI的數據泄露實例都是完全意外的，源于未能理解這些工具固有的安全和隱私漏洞。

提示本質上是運動中的數據，因此應該像處理任何其他數據傳輸（如電子郵件或即時消息）一樣對待。然而，鑒于大多數供應商默認將用戶輸入重新用作訓練數據，而且大多數使用政策授予供應商員工訪問該數據進行人工審查的權限，生成式AI對話通常比其他渠道的隱私性要低得多。這在免費訂閱層級和集成的生成式AI工具中尤其如此，它們通常不提供商業數據保護并脫離IT監管范圍。

理想情況下，組織應該只允許使用經批準的商業級生成式AI工具，因為它們提供一些重要的內置保護。但僅憑這些也不應被視為理所當然，傳統的數據丟失防護政策和控制措施本身也不夠充分。畢竟，傳統的DLP解決方案通常無法大規模處理非結構化內容，如提示和附件。

禁用廣泛使用的工具也不是實用的替代方案，因為這會損害生產力并鼓勵人們使用不受監管的替代方案，如個人副駕駛賬戶。相反，企業必須明確定義團隊允許用于工作的生成式AI工具，然后應用覆蓋每次交互的通用、提示感知政策。

當然，彌合生成式AI安全差距不僅僅是施加限制。這同樣關乎實時培訓和意識提升，因此需要考慮用戶意圖、渠道和響應的三層政策模型。這樣的政策應該是什么樣的，以及支持生成式AI的DLP解決方案如何提供幫助：

警告：如果提示包含中低風險數據，如未發布的營銷宣傳材料，用戶可能會收到警告。這有助于在日常用例中進行實時用戶指導，持續建立意識。

說明：包含非公開信息的提示，如預發布產品信息或機密（但非監管）內部信息，應要求用戶提供額外背景來說明其行為。這在不過于限制的情況下塑造更安全的行為。

阻止：某些數據，如企業機密、憑據和受監管信息，絕不應允許出現在提示中。無論用戶意圖和渠道如何，都應始終對這些高影響場景實施硬性執行。

為了獲得最大效果，組織應該使用單一政策平面在所有批準的工具和渠道中執行這些政策。最終，安全AI啟用是一個治理程序，組織使用像Palo Alto網絡公司的Prisma SASE這樣的統一安全解決方案來主動監控和控制他們使用的渠道，而不是在事后被動地追查事件。

Q&A

Q1：為什么生成式AI成為數據泄露的主要渠道？

A：生成式AI的便利性和可訪問性使得"影子AI"成為默認采用模式，員工可以輕松將敏感數據上傳到未受監控的公共第三方工具。許多AI工具默認將用戶輸入作為訓練數據，且允許供應商員工審查對話內容，這些都增加了數據泄露風險。

Q2：提示注入攻擊是什么，如何預防？

A：提示注入攻擊是惡意用戶故意試圖覆蓋AI內置安全措施，強制其執行未經授權操作的行為。預防方法包括建立三層政策模型（警告、說明、阻止），對不同風險級別的數據采取相應措施，并使用統一安全解決方案進行主動監控。

Q3：企業應該如何安全地使用生成式AI工具？

A：企業應只允許使用經批準的商業級生成式AI工具，建立明確的使用政策，實施提示感知的數據丟失防護措施。同時需要進行實時培訓和意識提升，使用統一的政策平面覆蓋所有工具和渠道，確保在享受AI便利的同時保護數據安全。