在這種創(chuàng)新的方法中，AI模型不僅可以提供見解，而且還可以作為決策者。他們分析，反應(yīng)並偶爾獨立運作。這種過渡需要完全重新評估我們?nèi)绾慰创L險，建立信任和屏蔽數(shù)字基礎(chǔ)架構(gòu)。

從邏輯到學(xué)習：框架發(fā)生了變化

傳統(tǒng)上，企業(yè)軟件是通過層次構(gòu)建的：基礎(chǔ)架構(gòu)，數(shù)據(jù)，邏輯和演示文稿?，F(xiàn)在，在體系結(jié)構(gòu)（模型層）中出現(xiàn)了一個新圖層。它是動態(tài)的，概率的，並且對應(yīng)用程序的執(zhí)行方式逐漸至關(guān)重要。

Cisco安全與協(xié)作的EVP和總經(jīng)理Jeetu Patel在最近的討論中解釋了這一轉(zhuǎn)變：“我們正在努力在堆棧上創(chuàng)建高度可預(yù)測的企業(yè)應(yīng)用程序，該應(yīng)用程序本質(zhì)上是不可預(yù)測的?！?/p>

這種不可預(yù)測性不是缺陷，它是大語言模型和生成AI的特徵。但是，它使常規(guī)的安全性假設(shè)複雜化。模型不會始終從同一輸入中產(chǎn)生相同的輸出。他們的行動可能會隨著新數(shù)據(jù)，微調(diào)或環(huán)境刺激而變化。這種可變性使他們更具挑戰(zhàn)性保護。

人工智能是新漏洞

由於AI在應(yīng)用程序過程中扮演了更大的作用，因此它也成為一個更具吸引力的目標。威脅行為者已經(jīng)通過迅速注射，越獄和系統(tǒng)及時提取來利用弱點。隨著模型的訓(xùn)練，共享和以空前的速度進行了微調(diào)，安全措施很難保持步伐。

帕特爾（Patel）強調(diào)，大多數(shù)企業(yè)需要六到九個月才能驗證模型，但模型本身可能僅適用於三到六個月。計算不會加起來。

此外，模型的擴散會導(dǎo)致不一致的不一致 - 與安全閾值不同，行為和保障措施不同。這種保護的被子留出了差距。帕特爾（Patel）認為，唯一的前進道路是“在所有型號，代理，應(yīng)用程序和雲(yún)層中安全和安全性的統(tǒng)一基板”。

運行時約束和算法驗證

考慮到當代威脅的速度和復(fù)雜性，傳統(tǒng)的質(zhì)量檢查實踐不足。帕特爾（Patel）強調(diào)，紅色團隊必須演變成自動化和算法的東西。安全必須從零星評估過渡到正在進行的行為驗證。

他將一種方法描述為“ 1000個問題的遊戲”，這是一種自動查詢技術(shù)，可以仔細檢查模型的妥協(xié)指示。這種自適應(yīng)紅色組合揭示瞭如何通過間接或欺騙性提示將模型操縱到不安全的行為中。他提到：“我們在前50個基準提示中成功違反了DeepSeek的時間，而Openai則設(shè)法贏得了26％的時間?！?/p>

這種差異風險強調(diào)了用於運行時執(zhí)行的標準化跨模型框架的必要性。不能將模型視為黑匣子，必須實時觀察，驗證和定向。

代理AI：單獨操作時

危害超出了輸出。隨著代理AI的出現(xiàn)，AI模型自主完成任務(wù)，調(diào)用API並與其他代理人進行交互 - 複雜性放大。安全現(xiàn)在必須考慮在沒有人類監(jiān)督的情況下做出選擇，交流和執(zhí)行代碼的自主系統(tǒng)。

帕特爾（Patel）警告說，隨著模型交換數(shù)據(jù)和指示，機構(gòu)間通信會引入新的威脅途徑。在沒有監(jiān)督的情況下，這些交流可能會升級漏洞或掩蓋惡意活動。

這種進展正在加速。到明年，我們可能會見證代理商的廣泛部署，以最少的人類投入執(zhí)行多步工作流程。確保這些系統(tǒng)將要求可見性，行為啟發(fā)式方法和實時執(zhí)法組合，這是該行業(yè)以前從未遇到的規(guī)模。

“隨著人工智能變得更加聰明和自力更生，維持其安全性的賭注大大提高。我們必須改變對風險的看法，並比以前更快地採取行動。 ” “這涉及密切關(guān)注數(shù)據(jù)譜系 - 確保我們對用於微調(diào)和重新訓(xùn)練模型的數(shù)據(jù)的清晰度，保護和信仰，以及通過追蹤和確保整個“信任鏈”來推動實時推斷的信息，我們可以降低與SubPar代理的響應(yīng)相關(guān)的風險，並避免使用日益增加的攻擊攻擊者?！?/p>

統(tǒng)一基礎(chǔ)架構(gòu)和公開協(xié)作的案例

帕特爾警告說，如果每個模型，平臺和業(yè)務(wù)部署其獨特的安全框架，我們將朝著混亂發(fā)展。需要的是統(tǒng)一的基礎(chǔ)架構(gòu) - 跨越雲(yún)，供應(yīng)商和模型的中性，可互操作的基礎(chǔ)。

認識到這一點，思科在RSAC 2025上推出了AI基金會的引入，這是使AI安全民主化的重大行動。

Foundation AI被銷售為第一個明確製作以促進安全應(yīng)用程序的開源推理模型。通過使該模型公開訪問，思科打算培養(yǎng)以社區(qū)驅(qū)動的策略來確保AI系統(tǒng)，激發(fā)整個行業(yè)的合作，以應(yīng)對AI集成帶來的複雜挑戰(zhàn)。

AI基金會的啟動象徵著更廣泛的行業(yè)傾向於在AI安全方面開放協(xié)作。通過參與開源社區(qū)，思科不僅在解決與AI相關(guān)的直接安全問題，而且還為其他實體建立了一個先例，以促進AI時代的透明度和共同解決問題。

人類因素：判斷仍然至關(guān)重要

即使有AI的實力，它也無法取代人類的直覺。帕特爾強調(diào)，即使是高級模型也很難模仿本能，微妙和非語言推理。他說：“您和我參與的大多數(shù)事情都涉及一定程度的數(shù)據(jù)，但隨後做出了很多判斷。”

最好的系統(tǒng)將是那些補充人類專業(yè)知識的系統(tǒng)，而不是取代它。我們?nèi)匀灰髠€人提出正確的問題，解釋正確的信號並做出正確的決定，尤其是當AI的建議冒險進入模棱兩可的領(lǐng)土時。

就像在您已經(jīng)知道的城市中使用GP一樣，人類必須保留確認，覆蓋和完善機器生成的建議的能力。 AI應(yīng)該是副駕駛，而不是自動駕駛儀。

重新定義智力時代的信任

隨著組織將情報進一步整合到他們的系統(tǒng)中，他們還必須灌輸信任。這需要構(gòu)建負責任的模型。這意味著始終如一地驗證行為，而不僅僅是啟動。這意味著合作 - 企業(yè)，學(xué)科和平臺，以確保AI加強安全性而不會成為其自身責任。

Fishman總結(jié)說：“實時監(jiān)控，更智能的護欄和跨部門的合作（在每個階段都具有透明度）對於建立對AI的信任並維護我們的數(shù)字領(lǐng)域至關(guān)重要。”

AI已經(jīng)重塑了網(wǎng)絡(luò)安全景觀。查詢是我們是否可以及時加強這種轉(zhuǎn)變。智能層在這裡。這很有效。而且很容易受到影響。

現(xiàn)在是重新想像智能無所不在時的安全性的時刻。

以上是為什麼AI是新的網(wǎng)絡(luò)安全戰(zhàn)場的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！