微軟近日開源了兩款全新工具——Rampart與Clarity，旨在將AI安全檢測大幅提前至智能體開發(fā)生命周期的早期階段。

微軟AI紅隊(duì)創(chuàng)始人Ram Shankar Siva Kumar在一篇安全博客中表示："我們開發(fā)這些工具，是因?yàn)槲覀儓?jiān)信AI安全必須成為一項(xiàng)持續(xù)的工程學(xué)科，而非僅是定期進(jìn)行的檢查節(jié)點(diǎn)。我們認(rèn)為，實(shí)現(xiàn)這一目標(biāo)的最佳方式，就是將實(shí)用的開源工具交到實(shí)際構(gòu)建系統(tǒng)的人手中。"

此次發(fā)布的背景，是AI智能體正從聊天機(jī)器人式助手演變?yōu)閾碛袑?shí)際操作權(quán)限的系統(tǒng)。微軟指出，新一代智能體帶來了傳統(tǒng)應(yīng)用安全流程無法應(yīng)對的風(fēng)險(xiǎn)，包括提示注入、不安全的工具調(diào)用、權(quán)限升級以及意外的自主行為等。

Rampart是兩款工具中定位更偏向?qū)嶋H操作層面的一個(gè)。該框架旨在幫助開發(fā)者將紅隊(duì)發(fā)現(xiàn)的問題轉(zhuǎn)化為可重復(fù)執(zhí)行的測試用例，并將其嵌入開發(fā)和部署流水線中持續(xù)運(yùn)行。

Rampart基于微軟面向生成式AI系統(tǒng)紅隊(duì)測試的開源自動化框架PyRIT構(gòu)建，支持以結(jié)構(gòu)化、自動化的方式對AI智能體執(zhí)行對抗性與良性測試場景。其核心理念是打破一次性安全審查的局限，將持續(xù)檢測直接集成到CI/CD工作流中。Kumar解釋說："PyRIT針對的是系統(tǒng)構(gòu)建完成后由安全研究人員進(jìn)行的黑盒發(fā)現(xiàn)，而Rampart則是為工程師在系統(tǒng)構(gòu)建過程中所設(shè)計(jì)的。"

Rampart能夠在應(yīng)用上線之前發(fā)現(xiàn)跨提示注入、不安全數(shù)據(jù)處理、不安全工具執(zhí)行等智能體特有的攻擊路徑。此外，它還支持將AI紅隊(duì)發(fā)現(xiàn)轉(zhuǎn)化為可重復(fù)的自動化測試，幫助工程師隨著智能體的迭代持續(xù)檢測回歸問題。

與Rampart聚焦于系統(tǒng)構(gòu)建階段的測試不同，Clarity的介入時(shí)間更早，位于代碼編寫開始之前。

微軟將Clarity定位為一款用于審查和驗(yàn)證AI智能體設(shè)計(jì)決策背后假設(shè)前提的工具，涵蓋對智能體預(yù)期行為、權(quán)限范圍、與工具及外部系統(tǒng)的交互方式，以及信任邊界的評估。

Kumar介紹："Clarity可作為桌面應(yīng)用、網(wǎng)頁界面運(yùn)行，也可直接嵌入編碼智能體中。它通過結(jié)構(gòu)化對話引導(dǎo)工程師完成問題梳理、方案探索、故障分析和決策追蹤等環(huán)節(jié)。"他補(bǔ)充說，這些對話內(nèi)容將以Markdown文件形式寫入代碼倉庫中的".clarity-protocol/"目錄，可像源代碼一樣提交、在Pull Request中審查和進(jìn)行差異比較。

Rampart與Clarity是微軟過去數(shù)月來持續(xù)構(gòu)建開源"智能體治理"與安全技術(shù)棧這一整體戰(zhàn)略的組成部分，而非獨(dú)立發(fā)布的單一產(chǎn)品。上月，微軟已推出智能體治理工具包，重點(diǎn)面向常規(guī)控制、策略執(zhí)行以及針對AI智能體的OWASP對齊防護(hù)能力。

Q&A

Q1：Rampart是什么？它與PyRIT有什么區(qū)別？

A：Rampart是微軟開源的AI智能體安全測試框架，基于PyRIT構(gòu)建。兩者的核心區(qū)別在于：PyRIT面向安全研究人員，用于系統(tǒng)構(gòu)建完成后的黑盒發(fā)現(xiàn)；而Rampart面向工程師，在系統(tǒng)構(gòu)建過程中使用，支持將紅隊(duì)發(fā)現(xiàn)轉(zhuǎn)化為可重復(fù)的自動化測試，并集成到CI/CD流水線中，實(shí)現(xiàn)持續(xù)安全檢測。

Q2：Clarity工具的主要作用是什么？

A：Clarity是一款在代碼編寫之前介入的AI安全工具，用于審查和驗(yàn)證AI智能體設(shè)計(jì)決策背后的假設(shè)前提，包括智能體的預(yù)期行為、權(quán)限范圍、與外部系統(tǒng)的交互方式及信任邊界。它可以桌面應(yīng)用、網(wǎng)頁界面或嵌入編碼智能體等多種形式運(yùn)行，通過結(jié)構(gòu)化對話引導(dǎo)工程師進(jìn)行問題梳理與決策追蹤，并將結(jié)果以Markdown文件形式保存在代碼倉庫中。

Q3：微軟開源智能體安全工具是出于什么考慮？

A：隨著AI智能體從聊天助手演變?yōu)閾碛袑?shí)際操作權(quán)限的系統(tǒng)，傳統(tǒng)應(yīng)用安全流程已無法有效應(yīng)對提示注入、權(quán)限升級、不安全工具調(diào)用等新型風(fēng)險(xiǎn)。微軟希望通過開源Rampart和Clarity，推動AI安全從定期審查轉(zhuǎn)變?yōu)槌掷m(xù)的工程學(xué)科，并將實(shí)用工具直接交給開發(fā)者，使安全檢測貫穿整個(gè)智能體開發(fā)生命周期。