Google 擴展其漏洞獎勵計劃以增強生成式人工智能系統的安全性
微新創想(idea2003.com) 10 月 28 日消息: Google 宣布,將擴展其漏洞獎勵計劃(VRP),以獎勵研究人員尋找針對生成式人工智能(AI)系統的攻擊方案,以增強 AI 的安全性和安全性。
Google 的 Laurie Richardson 和 Royal Hansen 表示:「生成式 AI 帶來了與傳統數字安全不同的新問題,例如可能存在的不公平偏見、模型操作或數據誤解(幻覺)。」
適用范圍內的一些類別包括提示注入、訓練數據集中敏感數據的泄露、模型操縱、觸發誤分類的對抗性擾動攻擊和模型盜竊。
值得注意的是,Google 在今年 7 月早些時候成立了一個 AI 紅隊,以幫助解決 AI 系統的威脅,作為其安全 AI 框架(SAIF)的一部分。
同時,作為致力于保障 AI 的承諾的一部分,Google 還宣布了通過現有的開源安全倡議,如軟件的供應鏈級別(SLSA)和 Sigstore 來加強 AI 供應鏈的努力。
Google 表示:「數字簽名,如來自 Sigstore 的簽名,允許用戶驗證軟件是否被篡改或替換。」
「諸如 SLSA Provenance 之類的元數據告訴我們軟件中有什么以及它是如何構建的,允許消費者確保許可兼容性,識別已知的漏洞,并檢測更高級的威脅。」
此項發展是在 OpenAI 揭幕了一個新的內部準備團隊,以「跟蹤、評估、預測和保護」針對跨越網絡安全、化學、生物、放射性和核(CBRN)威脅的生成式 AI 的災難性風險之際發生的。
兩家公司,連同 Anthropic 和微軟,還宣布了創建一個 1000 萬美元的 AI 安全基金,專注于推動 AI 安全領域的研究。