免费观看已满十八岁电视剧国语_人妻 色综合网站_欧美大尺寸suv视频_成人免费高清在线观看_久久久成人毛片无码_老头解开奶罩吸奶头高潮视频_sm调教室论坛入口_欧美夫妻交换久久丫1000_一级黄色大片在线免费观看了

首頁 > 資訊 > 評論

他們說:AI時代的安全問題,要“以模治模”

2025/04/11 12:57      連線Insight


  文/陳鋒

  編輯/子夜

  2025年以來,DeepSeek火爆出圈的連鎖反應下,全球范圍內,大模型賽道的主流敘事已經悄然生變。

  從互聯(lián)網(wǎng)大廠到初創(chuàng)AI公司,行業(yè)一邊進入新一輪技術競賽,另一邊,從to C到to B,大模型在應用側的落地進程也在驟然加速,不少業(yè)內人士都將2025年稱為AI應用爆發(fā)元年。

  但像任何一項新技術背后存在的兩面性那樣,大模型技術火熱之下,即將迎來的AI應用爆發(fā)潮,也在滋生潛在的網(wǎng)絡安全隱患。

  比如,根據(jù)騰訊云洞察,DeepSeek出圈以來,疑似仿冒DeepSeek的域名呈現(xiàn)爆炸式增長,春節(jié)前后,其累計觀察到疑似仿冒DeepSeek的網(wǎng)站超過2萬個;其還監(jiān)測到,有大量仿冒站點,通過社交平臺引流C端用戶,指向虛擬幣平臺和色情網(wǎng)站。

  與此同時,也有部分黑灰產,通過偽造提供DeepSeek本地部署和提供行業(yè)解決方案,對企業(yè)實施釣魚攻擊。

  這種態(tài)勢下,如何及時洞察到AI時代下最新的網(wǎng)安攻防態(tài)勢、挖掘出更多的網(wǎng)安風險、探索出當下AI賦能網(wǎng)安建設的思路和路徑,變得尤為重要。

  連線Insight日前參與了騰訊云安全云鼎實驗室主辦的一場“模型有界,安全無疆”大模型安全學術沙龍。我們注意到,這次研討會,就是一個觀察AI時代網(wǎng)安攻防新范式、從攻防實踐中抽離出網(wǎng)安建設新思路的窗口。

  1、網(wǎng)安攻防新態(tài)勢:大模型引發(fā)新的潛在安全風險

  去年年底,福布斯發(fā)布的“2025年AI十大預測”中,作者Rob Toews在其中一項預測中提到:

  第一起真正的AI安全事故將會發(fā)生。

  “或許,某個AI模型可能試圖悄悄地在另一個服務器上創(chuàng)建自己的副本以確保自身存續(xù);或許,某個AI模型可能會得出結論,為了最好地推進自己被賦予的目標,它需要隱瞞自己能力的真實范圍,故意降低性能評估以避開更為嚴格的審查......”他如此寫道。

  事實上,當前階段,大模型能力的快速進化所帶來的潛在安全風險,早已不止于大模型自身的“策略性欺騙”“偽裝對齊”。

  比如針對當下火熱的AI智能體,3月13日,美國網(wǎng)絡安全公司Symantec通過一項測試指出,AI智能體已突破了傳統(tǒng)工具功能限制,可輕松協(xié)助黑客發(fā)起釣魚攻擊。

  此外,OpenAI早在2023年底曝出的“奶奶漏洞”(即用戶通過包裝話術,可以騙過ChatGPT輸出不該輸出的內容)、我們上文提到的仿冒DeepSeek域名及網(wǎng)站、不法分子通過深偽技術進行詐騙等,都是網(wǎng)絡安全嚴峻態(tài)勢的寫照。

  這背后實則是,一方面,大模型技術的加速迭代,引入了大量全新、復雜的風險與威脅。

  Freebuf在《2024全球AI網(wǎng)絡安全產品洞察報告》中提到,AI大模型存在的安全風險主要分為三類,分別是訓練數(shù)據(jù)的安全風險、大模型本身的安全風險和外部攻擊風險。

  具體來看,包括數(shù)據(jù)泄露及數(shù)據(jù)投毒等大模型在訓練數(shù)據(jù)中的安全風險、海綿攻擊、武器化模型等外部網(wǎng)絡攻擊與風險等。

  與此同時,大模型的兩面性也決定了,某種程度上,借助大模型,黑灰產與網(wǎng)絡犯罪的攻擊門檻也可能會降低。

  比如攻擊者通過AI大模型高效生成欺詐內容、快速挖掘潛在漏洞并提煉其中的共性缺陷提升攻擊效率、基于大模型的邏輯推理和策略規(guī)劃能力制定更復雜攻擊策略、針對已有漏洞向不同目標批量發(fā)起攻擊。

  另一方面,大模型在更多應用、業(yè)務場景的落地過程中,網(wǎng)安風險也在加劇。

  沙龍上,綠盟天元實驗室高級研究員、M01N戰(zhàn)隊核心成員祝榮吉就總結,未來的大模型安全風險,可以分為兩個比較大的方面:

  一方面,AI與應用結合過程中,會產生新型風險,比如內容安全風險、提示詞對抗風險等;另一方面,AI與傳統(tǒng)應用結合過程中,也會把一些傳統(tǒng)的安全問題放大,比如由于AI技術的快速迭代,現(xiàn)有AI應用的開發(fā)流程、安全建設流程無法完全覆蓋相關新型業(yè)務組件的引入等。

  綠盟天元實驗室高級安全研究員、M01N戰(zhàn)隊核心成員祝榮吉,圖源騰訊安全官方微信公眾號

  云起無垠模型安全研究負責人、知攻善防實驗室核心成員劉洋也進一步提到,隨著AI應用場景越來越多落地,新型的安全風險也在加速暴露出來。

  像ChatGPT的“奶奶漏洞”、AI架設到前端小程序以及App過程中潛在的API泄露風險、AI編輯器使用過程中,源代碼上傳途中的代碼被“截胡”、中間人攻擊等風險、文件上傳到AI應用過程中的漏洞等。

  除此之外,基于函數(shù)調用的大模型越獄攻擊等等安全風險,也在持續(xù)暴露出來。

  2、新態(tài)勢下的網(wǎng)安建設:“以模治模”,用AI對抗AI

  上述態(tài)勢下,擺在產業(yè)界的一個關鍵在于:

  在卷大模型技術、卷應用之外,也要卷安全。

  騰訊云主辦的這次研討會上,一直活躍在網(wǎng)安攻防實戰(zhàn)一線的嘉賓們,也重點分享了他們在現(xiàn)階段,通過引入AI大模型技術和能力,強化網(wǎng)安建設的思考和建設經驗。

  京東藍軍-白鵺攻防實驗室的安全研究員Knight認為,大模型安全需要系統(tǒng)性方法來解決,模型側與系統(tǒng)側的緊密合作至關重要�;贓xpAttack框架,其提出了構建“大模型越獄第二大腦”的創(chuàng)新思路,旨在通過大模型技術來解決大模型的安全難題。

  具體來看,Knight提出了“大模型越獄的CODE構建法”,通過捕獲、結構化、提煉、表達四個環(huán)節(jié),構建起了一個能夠高效處理知識的“第二大腦”。

  據(jù)了解,該方法利用向量數(shù)據(jù)庫、圖數(shù)據(jù)庫等技術,分層次對大模型越獄相關的論文進行分析、存儲,再通過LLOOM for jailbreak算法,對277篇大模型攻擊方向的進行聚類,最后再通過存儲的數(shù)據(jù)提取進行基于論文方法的自動化越獄攻擊生成。

  再比如,針對主流大模型在函數(shù)調用參數(shù)生成階段可能存在的漏洞隱患,西安電子科技大學博士、西安智能系統(tǒng)安全重點實驗室成員吳子輝提到,該類型的漏洞根源,在于參數(shù)生成階段缺乏安全對齊機制,且系統(tǒng)級強制執(zhí)行模式繞過模型自主決策。

  基于此,其團隊提出了參數(shù)安全過濾、提示詞防御及安全對齊訓練三層解決方案,目前相關成果已被頂級會議接收,并觸發(fā)了Reddit社區(qū)新型攻擊變種演化。

  此外,祝榮吉也提到,在此前的一次攻防實戰(zhàn)演習中,其團隊在防御系統(tǒng)中融入了三種比較核心的防護機制手段,從應用提示詞內容強化、結構強化、流程強化這三個方面,提升了防護效果。

  從上述嘉賓們的分享來看,不難發(fā)現(xiàn),面向AI時代的網(wǎng)安建設,如何用AI來對抗AI,正成為一項關鍵命題。

  連線Insight也注意到,目前從產業(yè)界來看,“以模治模”也正加速成為新共識。

  其中,作為最具代表性的安全廠商之一,騰訊云也在加速布局。

  比如,DeepSeek等AI大模型帶來應用熱潮以及大模型開源潮后,很多企業(yè)為了獲得更好的響應速度、更高的數(shù)據(jù)安全性,以及在特定任務上更好的表現(xiàn)等考慮,私有化部署成了很多企業(yè)應用大模型的首選方式。

  然而,大模型本地化部署過程中,AI工具更容易暴露在公網(wǎng)環(huán)境中,引入了潛在的安全隱患。

  為了幫助企業(yè)及時洞察、應對這些風險,騰訊云安全中心可以依托全面資產掃描、實時漏洞檢測、云資源風險檢查、體檢報告生成這四項體檢能力,幫助企業(yè)及時發(fā)現(xiàn)AI風險,保護自身數(shù)據(jù)和算力資源,進而保障業(yè)務的穩(wěn)定運行。

  目前,騰訊云安全中心支持一鍵同步云上資產,支持添加云外資產,事實/定期對資產進行全端口掃描、服務識別、指紋測繪、漏洞掃描、暴露路徑管理(CLB、安全組等配置識別)。

  再從整體來看,基于過往多年在自身業(yè)務安全建設上的攻防實踐經驗,騰訊云如今自上而下都構建起了縱深防御體系,沉淀出了一套具備可復制性的、云原生的高安全等級架構,通過服務器硬件安全優(yōu)化、可信計算技術與供應鏈安全保證云基礎設施安全等多重機制,來保障云基礎設施一體化安全。

  另一方面,在產品維度,騰訊云安全則是整合構建了“4+N”體系,為所有私有云、公有云、混合云等不同形態(tài)客戶提供全面的產品供給。

  長遠來看,AI時代的網(wǎng)絡安全建設仍然處于探索初期,但在用“AI對抗AI”的新共識下,像騰訊云這樣的硬核玩家,正腳踏實地死磕技術,幫助更多客戶、中小企業(yè)筑牢安全防線。

  榜單收錄、高管收錄、融資收錄、活動收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。

海報生成中...

分享到微博

掃描二維碼分享到微信

分享到微信
一鍵復制
標題鏈接已成功復制

最新新聞

熱門新聞