微軟數(shù)據(jù)安全、隱私和合規(guī)總經(jīng)理Herain Oberoi稱，圍繞AI和安全開展的工作“對于合作伙伴來說是一個(gè)巨大的機(jī)會(huì)”——尤其是在幫助客戶了解AI風(fēng)險(xiǎn)、構(gòu)建解決這些風(fēng)險(xiǎn)的應(yīng)用、以及圍繞新攻擊面構(gòu)建儀表板和報(bào)告等領(lǐng)域。

Oberoi在接受采訪時(shí)強(qiáng)調(diào)了這些方法，認(rèn)為這些方法可以幫助首席信息安全官(CISO)和類似的領(lǐng)導(dǎo)角色與公司董事會(huì)和CEO進(jìn)行溝通，從而快速推動(dòng)AI創(chuàng)新。

對于那些客戶不太愿意采用AI產(chǎn)品的解決方案提供商，Oberoi的建議是關(guān)注在客戶競爭之后進(jìn)入AI實(shí)驗(yàn)階段并進(jìn)一步落后的風(fēng)險(xiǎn)。

“我們承認(rèn)這(AI)具有極大的破壞性，”O(jiān)beroi說。“而降低風(fēng)險(xiǎn)的一個(gè)簡單方法就是，你不需要在生產(chǎn)中推廣。但如果你不嘗試，你就沒有學(xué)習(xí)。如果你坐在場邊看著別人做實(shí)驗(yàn)，你的學(xué)習(xí)機(jī)會(huì)只會(huì)更少。通過觀察別人，你能學(xué)到的東西是有限的。真正的學(xué)習(xí)來自于實(shí)踐。”

總部位于紐約的解決方案提供商Troinet公司首席執(zhí)行官Wayne Roye在最近的一次采訪中表示，最近他和客戶探討了安全和AI策略是專注于數(shù)據(jù)治理。

對于Roye來說，數(shù)據(jù)治理更具主動(dòng)性，解決了“AI可能接觸和看到我(客戶)可能不知道的信息。”

Oberoi談到了微軟幾個(gè)值得信賴的AI計(jì)劃所涉及的領(lǐng)域，對于這家位于華盛頓州雷德蒙德的科技巨頭擁有40萬成員的生態(tài)系統(tǒng)解決方案提供商來說，這些領(lǐng)域尤為重要。

微軟最近幾天宣布推出了AI產(chǎn)品組合的各種安全更新，包括針對Copilot+ PC Recall功能的新安全架構(gòu)、Azure AI Content Safety中用于實(shí)時(shí)修復(fù)幻覺問題的校正功能。

值得注意的是，去年Oberoi重返微軟，擔(dān)任了目前的職務(wù)。此前，他在競爭對手Okta公司擔(dān)任營銷和戰(zhàn)略高級(jí)副總裁約一年時(shí)間，在云計(jì)算競爭對手AWS擔(dān)任數(shù)據(jù)庫、分析和區(qū)塊鏈營銷總經(jīng)理約四年時(shí)間。

根據(jù)Oberoi在微軟旗下社交媒體網(wǎng)絡(luò)LinkedIn的賬戶顯示，之前他在微軟任職約12年，2017年離職時(shí)擔(dān)任的是微軟大數(shù)據(jù)和機(jī)器學(xué)習(xí)產(chǎn)品組合(包括Azure機(jī)器學(xué)習(xí))產(chǎn)品營銷高級(jí)總監(jiān)。

以下是Oberoi關(guān)于給AI數(shù)據(jù)安全合作伙伴帶來機(jī)會(huì)的更多觀點(diǎn)。

您給微軟安全解決方案提供商在AI安全方面的建議是什么?

我們和我們的合作伙伴共同都有巨大的機(jī)會(huì)為這個(gè)領(lǐng)域的客戶提供幫助。這是一個(gè)相對較新的領(lǐng)域，每周都在發(fā)生變化。……我會(huì)說，在某種程度上，我們感到有責(zé)任盡可能地提供框架和最佳實(shí)踐。

在某些情況下，我們還需要提供工具和功能來幫助合作伙伴和客戶。……目前，大家都在部署或至少在評估AI。因此，AI在組織中發(fā)揮作用的方式是，董事會(huì)會(huì)問CEO，“你的AI策略是什么?你將如何顛覆或者重塑?”

然后CEO會(huì)關(guān)注高管層。在我的領(lǐng)域，在高管層中，我們會(huì)與首席安全官進(jìn)行交談。

在某些情況下，他們還要為更廣泛的風(fēng)險(xiǎn)負(fù)責(zé)。因此，他們試圖理解……我該如何界定風(fēng)險(xiǎn)?他們不想被視為說“不”的人，他們想成為推動(dòng)者。

因此，我們一直在嘗試通過這項(xiàng)“值得信賴的AI”計(jì)劃，開始幫助CISO以及風(fēng)險(xiǎn)領(lǐng)導(dǎo)者理解，我們?nèi)绾慰创L(fēng)險(xiǎn)?

關(guān)于可信賴的AI計(jì)劃，合作伙伴應(yīng)該了解哪些信息?

這個(gè)計(jì)劃實(shí)際上包含兩個(gè)部分，包含了我們作為一家公司在構(gòu)建AI系統(tǒng)時(shí)做出的承諾，這是我們的AI系統(tǒng)是安全的、私密的原因。

這些承諾包括了我們在“Secure Future Initiative”中所討論的內(nèi)容，例如我們的隱私原則，我們說，您的數(shù)據(jù)是您的數(shù)據(jù)，我們永遠(yuǎn)不會(huì)使用您的數(shù)據(jù)來訓(xùn)練我們的基礎(chǔ)模型——諸如此類。

然后還有負(fù)責(zé)任的AI原則，其中包括安全、防止有害內(nèi)容、偏見等。

因此，我們做出的承諾和我們?yōu)榭蛻籼峁┑墓δ埽谶@個(gè)背景下思考問題，以便他們可以對他們構(gòu)建的應(yīng)用做同樣的事情——這很有幫助。

聽起來這項(xiàng)計(jì)劃對合作伙伴來說是一個(gè)機(jī)會(huì)?

在(該計(jì)劃的)所有領(lǐng)域，我們的合作伙伴都有機(jī)會(huì)，幫助客戶了解風(fēng)險(xiǎn)，然后開發(fā)應(yīng)用幫助客戶以非常非常具體的方式處理這些風(fēng)險(xiǎn)，這些方面都是有機(jī)會(huì)的。

接下來談?wù)劙踩浴?dāng)我們考慮組織必須考慮的一些安全風(fēng)險(xiǎn)時(shí)——顯然，數(shù)據(jù)安全、治理、合規(guī)性等問題經(jīng)常出現(xiàn)——AI應(yīng)用本質(zhì)上是非常以數(shù)據(jù)為中心的。

我喜歡幫助客戶構(gòu)建框架，是因?yàn)槿绻憧紤]安全方面，現(xiàn)有的攻擊面包括你的應(yīng)用、你的數(shù)據(jù)、你的端點(diǎn)、你的網(wǎng)絡(luò)、你的云。

因此，你有產(chǎn)品和功能可以提供針對這些不同攻擊面的安全性。隨著AI系統(tǒng)的出現(xiàn)，就有了新的攻擊面是你須考慮到的。

比如AI模型本身、實(shí)際的提示和響應(yīng)，內(nèi)容中是否包含敏感信息，都必須考慮……像LangChain這樣的編排框架。

因此，如果是安全態(tài)勢管理方面，你的LangChain版本中是否包含任何漏洞?我怎么知道呢?

然后是數(shù)據(jù)本身。你用來訓(xùn)練模型的數(shù)據(jù)、用來微調(diào)模型的數(shù)據(jù)、用來為模型打下基礎(chǔ)以防止幻覺的數(shù)據(jù)，所有這些數(shù)據(jù)都是你必須保護(hù)的。

因此，你看到新型的攻擊是提示和響應(yīng)中的提示注入攻擊、越獄嘗試或數(shù)據(jù)中毒……這些例子都是我們正在考慮的風(fēng)險(xiǎn)類型。

合作伙伴應(yīng)該如何看待AI監(jiān)管環(huán)境?

很多新法規(guī)即將出臺(tái)，例如在EMEA(歐洲、中東和非洲)實(shí)施的歐盟AI法案。

在美國，有更多的NIST(美國國家標(biāo)準(zhǔn)與技術(shù)研究所，隸屬于美國商務(wù)部)AI風(fēng)險(xiǎn)管理框架。……然后，正如我之前所說，這些法規(guī)正在發(fā)生變化。

因此，客戶會(huì)說，幫我跟上法規(guī)的變化。我怎么知道我今天構(gòu)建的系統(tǒng)將來是否符合法規(guī)?……我們(微軟)承認(rèn)，這就是關(guān)于如何考慮風(fēng)險(xiǎn)的問題。

這就是關(guān)于如何將其分類，以便你可以掌握它。然后說，我們想要采取方法解決這個(gè)問題……我們試圖在這方面進(jìn)行規(guī)范。

你必須考慮——有一個(gè)準(zhǔn)備階段，然后是圍繞風(fēng)險(xiǎn)的發(fā)現(xiàn)階段，然后是保護(hù)和治理階段。我想說準(zhǔn)備和發(fā)現(xiàn)是連續(xù)的，但保護(hù)和治理是相輔相成的。

有所準(zhǔn)備，意味著，你是否已經(jīng)完成了全面的身份和身份治理方面的工作和控制。像Entra(以前稱為Microsoft Azure Active Directory或Azure AD)這樣的產(chǎn)品就是我們用來解決這個(gè)問題的功能之一。

或者我們經(jīng)常看到的一個(gè)問題，你是否已經(jīng)考慮過數(shù)據(jù)分類和標(biāo)記?元數(shù)據(jù)管理呢?血統(tǒng)，所有這些。...這就是微軟數(shù)據(jù)丟失預(yù)防工具Purview所實(shí)現(xiàn)的功能。

合作伙伴在發(fā)現(xiàn)、保護(hù)和治理階段發(fā)揮怎樣的作用?

發(fā)現(xiàn)意味著，我是否可以看到組織中使用的AI應(yīng)用?我是否可以看到通過組織中這些AI應(yīng)用的提示和響應(yīng)共享的敏感數(shù)據(jù)?然后誰可以訪問什么?

因此，即使只是了解共享了多少數(shù)據(jù)并具有這種可見性。……這對合作伙伴來說是一個(gè)巨大的機(jī)會(huì)，因?yàn)楹献骰锇檎业轿覀冋f，我們一直在為客戶構(gòu)建儀表板，以便他們能夠發(fā)現(xiàn)和了解哪些敏感數(shù)據(jù)處于危險(xiǎn)之中，或者哪些應(yīng)用正在使用中。

一旦我們向他們展示這種儀表板，他們就會(huì)看到風(fēng)險(xiǎn)，就無法忽視風(fēng)險(xiǎn)，必須采取行動(dòng)。因此，一旦你必須采取行動(dòng)，就可以開始分解問題并真正取得進(jìn)展。

合作伙伴在這里發(fā)揮著關(guān)鍵作用，因?yàn)槟憧梢酝ㄟ^多種不同方式構(gòu)建特定領(lǐng)域或特定行業(yè)的自定義報(bào)告或自定義儀表板，幫助組織內(nèi)的領(lǐng)導(dǎo)者了解：我所關(guān)注的風(fēng)險(xiǎn)面有多大?

然后是保護(hù)和治理階段。保護(hù)包括以下內(nèi)容：現(xiàn)在你正在制定數(shù)據(jù)丟失預(yù)防、策略和控制等政策，正在為數(shù)據(jù)安全態(tài)勢管理設(shè)置控制，以了解我的配置中是否存在漏洞。

你正在采取威脅防護(hù)等措施，但會(huì)把威脅防護(hù)擴(kuò)展到AI工作負(fù)載，以防范諸如提示注入、越獄等問題。

最后，在治理方面，例如，我們在Purview中提供了我們稱為合規(guī)管理器的功能，你可以在其中根據(jù)特定法規(guī)進(jìn)行自我評估，查看自己在特定法規(guī)方便的合規(guī)性如何。

然后它會(huì)給你提供一些建議，以及你需要采取的后續(xù)步驟，以改善你的合規(guī)性分?jǐn)?shù)。因此，引入歐盟AI法案、NIST AI風(fēng)險(xiǎn)管理框架等法規(guī)，都是我們一直在做的事情，為了確保產(chǎn)品中的監(jiān)管支持包括了AI領(lǐng)域正在發(fā)生的所有最新的和最大的變化。

能告訴我一些關(guān)于儀表板的更多信息嗎?

儀表板實(shí)際上是……我們對安全態(tài)勢管理和數(shù)據(jù)安全態(tài)勢管理看法的一種延伸。

因此，數(shù)據(jù)安全態(tài)勢管理不僅限于AI。……但你可以深入研究，好的，告訴我生成式AI應(yīng)用的具體提示和響應(yīng)。

告訴我，里面有害內(nèi)容嗎?或者里面有敏感數(shù)據(jù)嗎?像Defender for Cloud(微軟的云安全態(tài)勢管理(CSPM)、云工作負(fù)載保護(hù)(CWP)和開發(fā)運(yùn)營(DevOps)安全工具)這樣的工具讓客戶能夠看到我的任何應(yīng)用的風(fēng)險(xiǎn)。

它不一定是AI應(yīng)用程序。但是現(xiàn)在你可以具體深入研究，例如對于生成式AI應(yīng)用，我可能還有其他風(fēng)險(xiǎn)因素，我認(rèn)為這些因素可能會(huì)改變這些應(yīng)用的風(fēng)險(xiǎn)評分。...我們可以將現(xiàn)有產(chǎn)品擴(kuò)展到AI工作負(fù)載，因?yàn)檫@樣做很容易。

但是，回到我之前的觀點(diǎn)，在某些情況下，你會(huì)遇到新的攻擊面，針對這些新的威脅載體，我們正在構(gòu)建全新的功能。...在過去的一年里，我們推出了大量功能，首先就是針對Microsoft 365的Copilot。

從合作伙伴的角度來看，很多與Purview相關(guān)的M365 Copilot，現(xiàn)在擴(kuò)展到了自定義AI應(yīng)用上比如Azure、Azure AI、Azure OpenAI。

這兩個(gè)領(lǐng)域都是我們擴(kuò)展現(xiàn)有控件、構(gòu)建更多控件的方面，然后可見性部分實(shí)際上是給了他們一個(gè)起點(diǎn)。

如果客戶表示采用AI還為時(shí)過早，他們希望先看到變化速度穩(wěn)定下來，那么對于解決方案提供商，您有什么建議嗎?

在微軟，我們有強(qiáng)大的成長心態(tài)企業(yè)文化，這意味著，如果你不進(jìn)行試驗(yàn)和失敗，就無法從中學(xué)習(xí)。...我們承認(rèn)這(AI)具有極大的顛覆性。

降低風(fēng)險(xiǎn)的一種簡單方法是，你不需要在生產(chǎn)中推廣。但是，如果你不進(jìn)行試驗(yàn)，就無法從中學(xué)習(xí)。如果你坐在場邊看著別人試驗(yàn)，你學(xué)習(xí)機(jī)會(huì)就越來越少。通過觀察別人，你只能學(xué)到這么多。真正的學(xué)習(xí)來自實(shí)踐。

坦率地說，我不知道我是否遇到過沒有進(jìn)行某種試驗(yàn)的客戶。其中一部分原因是，當(dāng)你進(jìn)行試驗(yàn)時(shí)，你會(huì)了解它，你也會(huì)更好地控制風(fēng)險(xiǎn)。

這更像是一個(gè)功能——你想以多快的速度行動(dòng)起來?在你所在的行業(yè)中，即使這個(gè)行業(yè)在歷史上可能不是一個(gè)技術(shù)領(lǐng)先的行業(yè)。

我曾與一家礦業(yè)公司的CISO進(jìn)行了溝通……他面臨的挑戰(zhàn)之一是，我們開發(fā)的技術(shù)應(yīng)該在那些重型機(jī)械中使用50年，所以這些技術(shù)的發(fā)展速度不會(huì)那么快。

但即使在這種情況下，他們也在研究AI，他們會(huì)問，我如何超越我今天所做的事情?我肯定會(huì)鼓勵(lì)他們進(jìn)行試驗(yàn)，主要是從這樣的角度來看，如果你不做，你就不會(huì)學(xué)到東西。失敗是這個(gè)過程的其中一部分。

鑒于技術(shù)和監(jiān)管環(huán)境變化如此之快，您會(huì)猶豫是否要使用“面向未來”一詞來形容AI嗎?

我實(shí)際上并不使用面向未來這個(gè)詞，其中一部分原因是我們不知道未來會(huì)是什么樣子。……你可以對整個(gè)事情持樂觀態(tài)度，也可以持悲觀態(tài)度。

顯然，在微軟，我們是非常樂觀的。而且……我們認(rèn)為這可以真正地推動(dòng)以前沒有變革的領(lǐng)域發(fā)生變革，甚至可以增加國家的國內(nèi)生產(chǎn)總值。

但為了實(shí)現(xiàn)這一點(diǎn)，我們的心態(tài)應(yīng)該更多的是學(xué)習(xí)、試驗(yàn)和創(chuàng)造，而不是恐懼和冒險(xiǎn)。降低風(fēng)險(xiǎn)這個(gè)部分極其重要，這是我們在芯片和安全方面的工作重點(diǎn)。但真的……我們?nèi)绾卧谶@種可能改變游戲規(guī)則的推動(dòng)力方面成為推動(dòng)者?其中一種方法就是開始使用它并從中學(xué)習(xí)。