在這種創(chuàng)新的方法中，AI模型不僅可以提供見(jiàn)解，而且還可以作為決策者。他們分析，反應(yīng)并偶爾獨(dú)立運(yùn)作。這種過(guò)渡需要完全重新評(píng)估我們?nèi)绾慰创L(fēng)險(xiǎn)，建立信任和屏蔽數(shù)字基礎(chǔ)架構(gòu)。

從邏輯到學(xué)習(xí)：框架發(fā)生了變化

傳統(tǒng)上，企業(yè)軟件是通過(guò)層次構(gòu)建的：基礎(chǔ)架構(gòu)，數(shù)據(jù)，邏輯和演示文稿?，F(xiàn)在，在體系結(jié)構(gòu)（模型層）中出現(xiàn)了一個(gè)新圖層。它是動(dòng)態(tài)的，概率的，并且對(duì)應(yīng)用程序的執(zhí)行方式逐漸至關(guān)重要。

Cisco安全與協(xié)作的EVP和總經(jīng)理Jeetu Patel在最近的討論中解釋了這一轉(zhuǎn)變：“我們正在努力在堆棧上創(chuàng)建高度可預(yù)測(cè)的企業(yè)應(yīng)用程序，該應(yīng)用程序本質(zhì)上是不可預(yù)測(cè)的?！?/p>

這種不可預(yù)測(cè)性不是缺陷，它是大語(yǔ)言模型和生成AI的特征。但是，它使常規(guī)的安全性假設(shè)復(fù)雜化。模型不會(huì)始終從同一輸入中產(chǎn)生相同的輸出。他們的行動(dòng)可能會(huì)隨著新數(shù)據(jù)，微調(diào)或環(huán)境刺激而變化。這種可變性使他們更具挑戰(zhàn)性保護(hù)。

人工智能是新漏洞

由于AI在應(yīng)用程序過(guò)程中扮演了更大的作用，因此它也成為一個(gè)更具吸引力的目標(biāo)。威脅行為者已經(jīng)通過(guò)迅速注射，越獄和系統(tǒng)及時(shí)提取來(lái)利用弱點(diǎn)。隨著模型的訓(xùn)練，共享和以空前的速度進(jìn)行了微調(diào)，安全措施很難保持步伐。

帕特爾（Patel）強(qiáng)調(diào)，大多數(shù)企業(yè)需要六到九個(gè)月才能驗(yàn)證模型，但模型本身可能僅適用于三到六個(gè)月。計(jì)算不會(huì)加起來(lái)。

此外，模型的擴(kuò)散會(huì)導(dǎo)致不一致的不一致 - 與安全閾值不同，行為和保障措施不同。這種保護(hù)的被子留出了差距。帕特爾（Patel）認(rèn)為，唯一的前進(jìn)道路是“在所有型號(hào)，代理，應(yīng)用程序和云層中安全和安全性的統(tǒng)一基板”。

運(yùn)行時(shí)約束和算法驗(yàn)證

考慮到當(dāng)代威脅的速度和復(fù)雜性，傳統(tǒng)的質(zhì)量檢查實(shí)踐不足。帕特爾（Patel）強(qiáng)調(diào)，紅色團(tuán)隊(duì)必須演變成自動(dòng)化和算法的東西。安全必須從零星評(píng)估過(guò)渡到正在進(jìn)行的行為驗(yàn)證。

他將一種方法描述為“ 1000個(gè)問(wèn)題的游戲”，這是一種自動(dòng)查詢技術(shù)，可以仔細(xì)檢查模型的妥協(xié)指示。這種自適應(yīng)紅色組合揭示了如何通過(guò)間接或欺騙性提示將模型操縱到不安全的行為中。他提到：“我們?cè)谇?0個(gè)基準(zhǔn)提示中成功違反了DeepSeek的時(shí)間，而Openai則設(shè)法打破了26％的時(shí)間?！?/p>

這種差異風(fēng)險(xiǎn)強(qiáng)調(diào)了用于運(yùn)行時(shí)執(zhí)行的標(biāo)準(zhǔn)化跨模型框架的必要性。不能將模型視為黑匣子，必須實(shí)時(shí)觀察，驗(yàn)證和定向。

代理AI：?jiǎn)为?dú)操作時(shí)

危害超出了輸出。隨著代理AI的出現(xiàn)，AI模型自主完成任務(wù)，調(diào)用API并與其他代理人進(jìn)行交互 - 復(fù)雜性放大。安全現(xiàn)在必須考慮在沒(méi)有人類(lèi)監(jiān)督的情況下做出選擇，交流和執(zhí)行代碼的自主系統(tǒng)。

帕特爾（Patel）警告說(shuō)，隨著模型交換數(shù)據(jù)和指示，機(jī)構(gòu)間通信會(huì)引入新的威脅途徑。在沒(méi)有監(jiān)督的情況下，這些交流可能會(huì)升級(jí)漏洞或掩蓋惡意活動(dòng)。

這種進(jìn)展正在加速。到明年，我們可能會(huì)見(jiàn)證代理商的廣泛部署，以最少的人類(lèi)投入執(zhí)行多步工作流程。確保這些系統(tǒng)將要求可見(jiàn)性，行為啟發(fā)式方法和實(shí)時(shí)執(zhí)法組合，這是該行業(yè)以前從未遇到的規(guī)模。

“隨著人工智能變得更加聰明和自力更生，維持其安全性的賭注大大提高。我們必須改變對(duì)風(fēng)險(xiǎn)的看法，并比以前更快地采取行動(dòng)。 ” “這涉及密切關(guān)注數(shù)據(jù)譜系 - 確保我們對(duì)用于微調(diào)和重新訓(xùn)練模型的數(shù)據(jù)的清晰度，保護(hù)和信仰，以及通過(guò)追蹤和確保整個(gè)“信任鏈”來(lái)推動(dòng)實(shí)時(shí)推斷的信息，我們可以降低與SubPar代理的響應(yīng)相關(guān)的風(fēng)險(xiǎn)，并避免使用日益增加的攻擊攻擊者?！?/p>

統(tǒng)一基礎(chǔ)架構(gòu)和公開(kāi)協(xié)作的案例

帕特爾警告說(shuō)，如果每個(gè)模型，平臺(tái)和業(yè)務(wù)部署其獨(dú)特的安全框架，我們將朝著混亂發(fā)展。需要的是統(tǒng)一的基礎(chǔ)架構(gòu) - 跨越云，供應(yīng)商和模型的中性，可互操作的基礎(chǔ)。

認(rèn)識(shí)到這一點(diǎn)，思科在RSAC 2025上推出了AI基金會(huì)的引入，這是使AI安全民主化的重大行動(dòng)。

Foundation AI被銷(xiāo)售為第一個(gè)明確制作以促進(jìn)安全應(yīng)用程序的開(kāi)源推理模型。通過(guò)使該模型公開(kāi)訪問(wèn)，思科打算培養(yǎng)以社區(qū)驅(qū)動(dòng)的策略來(lái)確保AI系統(tǒng)，激發(fā)整個(gè)行業(yè)的合作，以應(yīng)對(duì)AI集成帶來(lái)的復(fù)雜挑戰(zhàn)。

AI基金會(huì)的啟動(dòng)象征著更廣泛的行業(yè)傾向于在AI安全方面開(kāi)放協(xié)作。通過(guò)參與開(kāi)源社區(qū)，思科不僅在解決與AI相關(guān)的直接安全問(wèn)題，而且還為其他實(shí)體建立了一個(gè)先例，以促進(jìn)AI時(shí)代的透明度和共同解決問(wèn)題。

人類(lèi)因素：判斷仍然至關(guān)重要

即使有AI的實(shí)力，它也無(wú)法取代人類(lèi)的直覺(jué)。帕特爾強(qiáng)調(diào)，即使是高級(jí)模型也很難模仿本能，微妙和非語(yǔ)言推理。他說(shuō)：“您和我參與的大多數(shù)事情都涉及一定程度的數(shù)據(jù)，但隨后做出了很多判斷?！?/p>

最好的系統(tǒng)將是那些補(bǔ)充人類(lèi)專業(yè)知識(shí)的系統(tǒng)，而不是取代它。我們?nèi)匀灰髠€(gè)人提出正確的問(wèn)題，解釋正確的信號(hào)并做出正確的決定，尤其是當(dāng)AI的建議冒險(xiǎn)進(jìn)入模棱兩可的領(lǐng)土?xí)r。

就像在您已經(jīng)知道的城市中使用GP一樣，人類(lèi)必須保留確認(rèn)，覆蓋和完善機(jī)器生成的建議的能力。 AI應(yīng)該是副駕駛，而不是自動(dòng)駕駛儀。

重新定義智力時(shí)代的信任

隨著組織將情報(bào)進(jìn)一步整合到他們的系統(tǒng)中，他們還必須灌輸信任。這需要構(gòu)建負(fù)責(zé)任的模型。這意味著始終如一地驗(yàn)證行為，而不僅僅是啟動(dòng)。這意味著合作 - 企業(yè)，學(xué)科和平臺(tái)，以確保AI加強(qiáng)安全性而不會(huì)成為其自身責(zé)任。

Fishman總結(jié)說(shuō)：“實(shí)時(shí)監(jiān)控，更智能的護(hù)欄和跨部門(mén)的合作（在每個(gè)階段都具有透明度）對(duì)于建立對(duì)AI的信任并維護(hù)我們的數(shù)字領(lǐng)域至關(guān)重要?！?/p>

AI已經(jīng)重塑了網(wǎng)絡(luò)安全景觀。查詢是我們是否可以及時(shí)加強(qiáng)這種轉(zhuǎn)變。智能層在這里。這很有效。而且很容易受到影響。

現(xiàn)在是重新想象智能無(wú)所不在時(shí)的安全性的時(shí)刻。

以上是為什么AI是新的網(wǎng)絡(luò)安全戰(zhàn)場(chǎng)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！