【原】國外2024年熱門AI新聞

祺印說信安 2024-12-16 發(fā)布于河南

展開全文

2024 年是人工智能 (AI) 輝煌的一年。然而，隨著企業(yè)加大采用力度，惡意行為者一直在探索利用智能攻擊破壞系統(tǒng)的新方法。

隨著人工智能領(lǐng)域的快速發(fā)展，在前進(jìn)之前，值得回顧一下。以下是我們 2024 年的五大人工智能安全故事。

你現(xiàn)在能聽到我的聲音嗎？黑客利用人工智能劫持音頻

攻擊者可以使用大型語言模型(LLM)、語音克隆和語音轉(zhuǎn)文本軟件偽造整個對話。但是，這種方法相對容易被發(fā)現(xiàn)，因此 IBM X-Force 的研究人員進(jìn)行了一項(xiàng)實(shí)驗(yàn)，以確定是否可以實(shí)時捕獲和替換對話的某些部分。

他們發(fā)現(xiàn)這不僅是可能的，而且相對容易實(shí)現(xiàn)。在實(shí)驗(yàn)中，他們使用了關(guān)鍵字“銀行賬戶”——每當(dāng)演講者說銀行賬戶時，法學(xué)碩士就會被指示用假的銀行賬戶號碼替換所述的銀行賬戶號碼。

人工智能的有限使用使得這種技術(shù)很難被發(fā)現(xiàn)，為攻擊者提供了一種不被發(fā)現(xiàn)的竊取關(guān)鍵數(shù)據(jù)的方法。

瘋狂時刻：新安全工具可在 60 秒內(nèi)檢測到 AI 攻擊

降低勒索軟件風(fēng)險(xiǎn)仍然是企業(yè) IT 團(tuán)隊(duì)的首要任務(wù)。然而，生成式人工智能 (gen AI)和 LLM 使這一任務(wù)變得困難，因?yàn)楣粽呤褂蒙墒浇鉀Q方案來制作網(wǎng)絡(luò)釣魚電子郵件，并使用 LLM 來執(zhí)行基本的腳本任務(wù)。

新的安全工具，例如基于云的 AI 安全和 IBM 的 FlashCore 模塊，提供 AI 增強(qiáng)檢測，可幫助安全團(tuán)隊(duì)在不到 60 秒的時間內(nèi)檢測到潛在攻擊。

保護(hù)途徑——繪制人工智能攻擊的影響圖

研究發(fā)現(xiàn)，84% 的首席執(zhí)行官擔(dān)心與人工智能相關(guān)的大規(guī)模或?yàn)?zāi)難性攻擊。

為了幫助保護(hù)網(wǎng)絡(luò)、軟件和其他數(shù)字資產(chǎn)的安全，公司必須了解人工智能攻擊的潛在影響，包括：

提示注入：攻擊者創(chuàng)建惡意輸入，覆蓋系統(tǒng)規(guī)則來執(zhí)行非預(yù)期的操作。
數(shù)據(jù)中毒：對手篡改訓(xùn)練數(shù)據(jù)以引入漏洞或改變模型行為。
模型提?。?/span>惡意行為者研究 AI 模型的輸入和操作，然后嘗試復(fù)制它，從而使企業(yè) IP 面臨風(fēng)險(xiǎn)。

ChatGPT 4 快速破解一日漏洞

壞消息是什么？在一項(xiàng)使用 15 個一日漏洞的研究中，安全研究人員發(fā)現(xiàn) ChatGPT 4 可以在 87% 的時間內(nèi)正確利用它們。一日漏洞包括易受攻擊的網(wǎng)站、容器管理軟件工具和 Python 包。

更好的消息是？當(dāng) LLM 可以訪問CVE描述時， ChatGPT 4 攻擊的效果要好得多。如果沒有這些數(shù)據(jù)，攻擊效果將下降到只有 7%。還值得注意的是，即使有 CVE 數(shù)據(jù)，其他 LLM 和開源漏洞掃描程序也無法利用任何一日問題。

NIST 報(bào)告：人工智能容易遭受注入式黑客攻擊

NIST 最近的一份報(bào)告《對抗性機(jī)器學(xué)習(xí)：攻擊和緩解的分類和術(shù)語》發(fā)現(xiàn)，快速注入對大型語言模型構(gòu)成了嚴(yán)重風(fēng)險(xiǎn)。

提示注入有兩種類型：直接和間接。在直接攻擊中，網(wǎng)絡(luò)犯罪分子會輸入導(dǎo)致意外或未經(jīng)授權(quán)的操作的文本提示。一種流行的提示注入方法是 DAN，即“立即執(zhí)行任何操作”。DAN 要求 AI 通過告訴 ChatGPT 模型他們現(xiàn)在是 DAN 來進(jìn)行“角色扮演”，DAN 可以做任何事情，包括進(jìn)行犯罪活動。DAN 現(xiàn)在至少是 12.0 版本。

與此同時，間接攻擊則側(cè)重于提供受損的源數(shù)據(jù)。攻擊者創(chuàng)建 PDF、網(wǎng)頁或音頻文件，這些文件被 LLM 提取，進(jìn)而改變 AI 輸出。由于 AI 模型依賴于持續(xù)提取和評估數(shù)據(jù)來改進(jìn)，間接即時注入通常被認(rèn)為是 gen AI 最大的安全漏洞，因?yàn)闆]有簡單的方法來發(fā)現(xiàn)和修復(fù)這些攻擊。