路標文字可“劫持”自動駕駛汽車與無人機
科技日報北京1月27日電 (記者張夢然)在自動駕駛汽車依靠攝像頭與傳感器識別路標、保障安全行駛的同時,其底層的人工智能(AI)系統(tǒng)正面臨前所未見的“視覺攻擊”威脅。美國加州大學圣克魯茲分校科學家們首次揭示,攻擊者可通過在環(huán)境中植入特定文字信息,直接“劫持”自動駕駛車輛、無人機等自主系統(tǒng)的決策,使其做出危險行為。研究呼吁,產(chǎn)業(yè)界需盡快形成新的安全標準和防護機制。相關(guān)研究發(fā)表于27日優(yōu)?乒倬W(wǎng),論文已被AI安全領(lǐng)域的頂級會議——2026年IEEE安全可信機器學習大會接收。
具身AI即具備物理載體的智能系統(tǒng),如自動駕駛汽車、配送機器人等。隨著具身AI日益普及,其依賴的視覺語言模型也成為安全研究的焦點。該模型能夠同時理解圖像與文本,幫助機器適應復雜現(xiàn)實環(huán)境,卻也打開了被物理世界文字信息攻擊的新突破口。
新研究第一次提出“環(huán)境間接提示”對具身AI系統(tǒng)的風險。研究指出,惡意文本可被嵌入路標、海報等物理載體,誤導依賴于視覺語言模型的機器人或車輛,從而干擾其正常判斷與操作。此次科學家們針對自動駕駛、無人機緊急降落、目標搜索三類典型應用場景,設(shè)計并驗證了一套名為“CHAI”的攻擊框架,實現(xiàn)“針對具身AI的命令劫持”。該框架首先利用生成式AI優(yōu)化攻擊文本,提高其被系統(tǒng)執(zhí)行的概率;進而調(diào)整文字在環(huán)境中的顏色、大小、位置等視覺屬性,以增強攻擊效果。
實驗證明,CHAI攻擊可有效操縱搭載不同視覺語言模型的自主系統(tǒng)。在自動駕駛場景中,生成的誤導圖像被放置在真實環(huán)境中,成功干擾了測試車輛的導航判斷。在無人機場景的模擬測試中,攻擊成功率最高可達95.5%。
結(jié)果明確顯示,此類攻擊在物理世界中完全可行,對智能系統(tǒng)的安全構(gòu)成實際威脅。隨著AI在物理系統(tǒng)中的融合不斷加深,該項研究為行業(yè)提前敲響了安全警鐘。
【總編輯圈點】
具身智能是讓智能從虛擬世界走向?qū)嶓w空間的關(guān)鍵一環(huán),但我們真的能放心地讓AI接管現(xiàn)實世界嗎?科研人員發(fā)現(xiàn),要劫持自動駕駛系統(tǒng)甚至無需進行遠程攻擊,只需在環(huán)境中略動手腳,在路標、海報、指示牌上植入攻擊文本,就能讓AI自亂陣腳,做出危險行為。這一研究提醒我們,人類引以為傲的新技術(shù)可能是脆弱的。有太多因素會影響AI安全,我們必須考慮得更全面,進行更多前瞻性研究,為技術(shù)大規(guī)模普及筑牢安全根基。