微新創想(idea2003.com) 8月8日 消息:周一，微軟透露了公司內部從2018 年就成立團隊來負責找出如何攻擊AI平臺，從而揭示AI弱點。

在成立的五年里，微軟的AI紅隊已經從一個實質上是實驗性的項目發展成為一個完整的跨學科團隊，由機器學習專家、網絡安全研究人員，甚至社會工程師組成。該團隊致力于使用傳統的數字安全術語在微軟內部和整個科技行業內傳播其發現，這樣這些想法就會更容易理解，而不需要許多人和組織還沒有的專門的AI知識。但事實上，該團隊已經得出結論，AI安全與傳統的數字防御有重要的概念差異，這需要AI紅隊在其工作方式上有所不同。

“當我們開始的時候，問題是，‘你到底要做什么不同的事情？為什么我們需要一個AI紅隊？’”微軟AI紅隊的創始人Ram Shankar Siva Kumar說。“但如果你把AI紅隊看作只是傳統的紅隊，如果你只考慮安全性的心態，那可能是不夠的。我們現在必須認識到負責任的AI方面，也就是AI系統失敗的責任——所以生成攻擊性內容、生成沒有根據的內容。這是AI紅隊的圣杯。不僅要看安全性的失敗，還要看負責任的AI失敗。”

Shankar Siva Kumar說，花了一些時間才能突出這種區別，并說明AI紅隊的使命確實會有這種雙重重點。早期的很多工作都與發布更傳統的安全工具有關，比如 2020 年與非營利研發組織MITRE和其他研究人員合作推出的對抗性機器學習威脅矩陣。那一年，該團隊還發布了開源的AI安全測試自動化工具，稱為微軟Counterfit。 2021 年，紅隊發布了一個額外的AI安全風險評估框架。

然而，隨著時間的推移，隨著解決機器學習缺陷和失敗的緊迫性變得更加明顯，AI紅隊也得以發展和擴展。

微軟的AI紅隊不僅僅研究目前正在野外使用的攻擊。Shankar Siva Kumar說，該團隊專注于預測攻擊趨勢可能會走向哪里。這通常涉及強調紅隊使命中較新的AI問責性部分。當該團隊在一個應用程序或軟件系統中發現一個傳統的漏洞時，他們經常與微軟內部的其他團隊合作來修復它，而不是花時間完全開發和提出自己的修復方案。 “在微軟內部還有其他紅隊和其他Windows基礎設施專家或者我們需要的任何東西。”Shankar Siva Kumar說。“對我來說，洞察力是AI紅隊現在不僅包括安全性失敗，還包括負責任的AI失敗。”