研究人員最近完成了迄今為止對(duì)使用AI模型開發(fā)軟件的潛在風(fēng)險(xiǎn)最全面的研究之一。在一篇新論文中，他們展示了特定類型的錯(cuò)誤如何對(duì)使用AI幫助編寫代碼的軟件開發(fā)工程師構(gòu)成嚴(yán)重威脅。

喬·斯普拉肯（Joe Spracklen）是德克薩斯大學(xué)圣安東尼奧分校（UTSA）計(jì)算機(jī)科學(xué)專業(yè)的博士生，他領(lǐng)導(dǎo)了一項(xiàng)關(guān)于大型語言模型（LLMs）頻繁生成不安全代碼的研究。他的團(tuán)隊(duì)論文已被2025年USENIX安全研討會(huì)接受發(fā)表，該研討會(huì)是網(wǎng)絡(luò)安全和隱私領(lǐng)域的頂級(jí)會(huì)議。

這一多機(jī)構(gòu)合作包括來自德克薩斯大學(xué)圣安東尼奧分校的三名額外研究人員：博士生A.H.M. Nazmus Sakib，博士后研究員Raveen Wijewickrama，以及SPr軟件ELab（計(jì)算機(jī)研究實(shí)驗(yàn)室，致力于研究安全、隱私、信任和倫理）的副教授Murtuza Jadliwala博士。其他合作者有俄克拉荷馬大學(xué)的Anindya Ma軟件a（前德克薩斯大學(xué)圣安東尼奧分校博士后研究員）和弗吉尼亞理工大學(xué)的Bimal Viswanath。

LLM中的幻覺是指模型生成的內(nèi)容與事實(shí)不符、沒有意義或與輸入任務(wù)完全無關(guān)。到目前為止，大多數(shù)現(xiàn)有研究主要集中在經(jīng)典自然語言生成和預(yù)測(cè)任務(wù)（如機(jī)器翻譯、摘要和對(duì)話AI）中的幻覺。

研究團(tuán)隊(duì)專注于包幻覺現(xiàn)象，即當(dāng)LLM生成或推薦使用一個(gè)實(shí)際上并不存在的第三方軟件庫(kù)時(shí)發(fā)生的情況。

使包幻覺成為一個(gè)引人入勝的研究領(lǐng)域的是，如此簡(jiǎn)單的事情——一個(gè)單一的日常命令——如何導(dǎo)致嚴(yán)重的安全風(fēng)險(xiǎn)。

“不需要復(fù)雜的條件或某些晦澀的事情發(fā)生，”Spracklen 說?！爸恍枰斎胍粋€(gè)命令，這個(gè)命令是每天使用那些編程語言的人們都會(huì)輸入的。僅此而已。這非常直接和簡(jiǎn)單。”

“它也無處不在，”他補(bǔ)充道?！澳阒荒苡没镜?Python 編程語言做很少的事情。自己編寫代碼需要很長(zhǎng)時(shí)間，因此在擴(kuò)展編程語言的功能以完成特定任務(wù)時(shí)，依賴開源軟件是普遍的做法?！?/p>

LLMs在開發(fā)者中變得越來越受歡迎，他們使用AI模型來協(xié)助程序組裝。根據(jù)研究，高達(dá)97%的軟件開發(fā)人員將生成型AI整合到他們的工作流程中，今天30%的代碼是AI生成的。此外，許多流行的編程語言，如Python的PyPI和JavaScript的npm，依賴于集中式包庫(kù)的使用。由于這些庫(kù)通常是開源的，惡意行為者可以上傳偽裝成合法包的惡意代碼。

多年來，攻擊者一直使用各種技巧讓用戶安裝他們的惡意軟件。軟件包幻覺是最新的策略。

“所以，假設(shè)我讓ChatGPT幫我寫一些代碼，它也寫了。現(xiàn)在，假設(shè)在生成的代碼中它包含了一個(gè)某個(gè)包的鏈接，我信任它并運(yùn)行了代碼，但這個(gè)包不存在，是一個(gè)虛構(gòu)的包。一個(gè)精明的對(duì)手/黑客可以發(fā)現(xiàn)這種行為（LLM的行為），并意識(shí)到LLM在告訴人們使用這個(gè)不存在的包，這個(gè)虛構(gòu)的包。然后，對(duì)手可以輕松地創(chuàng)建一個(gè)新的與虛構(gòu)包同名的包，并注入一些惡意代碼?，F(xiàn)在，下次LLM在生成的代碼中推薦相同的包，一個(gè)不知情的用戶執(zhí)行了代碼，這個(gè)惡意包就會(huì)被下載并執(zhí)行在用戶的機(jī)器上，”Jadliwala解釋道。

UTSA 研究人員評(píng)估了在不同編程語言、環(huán)境和參數(shù)下包幻覺的發(fā)生情況，探索了錯(cuò)誤的包推薦的可能性并確定了根本原因。

UTSA研究人員進(jìn)行了30項(xiàng)不同的測(cè)試，他們?cè)赑ython和JavaScript中使用LLM模型生成了223萬代碼樣本，其中440,445個(gè)代碼樣本引用了虛構(gòu)的軟件包。研究指出：“與開源模型相比，GPT系列模型生成虛構(gòu)軟件包的可能性低四倍，虛構(gòu)率為5.2%，而開源模型的虛構(gòu)率為21.7%。”研究人員發(fā)現(xiàn)，Python代碼比JavaScript更不易產(chǎn)生虛構(gòu)。

這些攻擊通常涉及將惡意軟件包命名為合法軟件包，以使其看起來合法，這種策略被稱為軟件包混淆攻擊。在軟件包幻覺攻擊中，不警惕的LLM用戶會(huì)在其生成的代碼中被推薦該軟件包，相信LLM后下載了由adversary-1創(chuàng)建的惡意軟件包，從而導(dǎo)致被攻破。

這個(gè)漏洞的 insidious 元素在于它利用了對(duì) LLMs 的日益信任。隨著它們?cè)诰幋a任務(wù)中變得越來越熟練，用戶將更有可能盲目信任它們的輸出，并可能成為這種攻擊的受害者。

“如果你經(jīng)常編碼，很容易明白為什么會(huì)發(fā)生這種情況。我們與很多人交談過，幾乎所有人都表示他們注意到在編碼時(shí)曾遇到過包的幻覺，但他們從未考慮過這如何被惡意利用，”Spracklen 解釋道?！澳阍诰幋a時(shí)對(duì)包發(fā)布者有很大的隱含信任，認(rèn)為他們分享的代碼是合法的且沒有惡意。但每次你下載一個(gè)包時(shí)，你都在下載可能有惡意的代碼，并賦予它對(duì)機(jī)器的完全訪問權(quán)限?！?/p>

在將生成的軟件包與主列表進(jìn)行交叉引用可能會(huì)有助于減輕幻覺，UTSA 研究人員表示，解決 LLM 基礎(chǔ)的最佳方法是在其自身開發(fā)過程中解決 LLM 的基礎(chǔ)。該團(tuán)隊(duì)已將研究結(jié)果告知包括 OpenAI、Meta、DeepSeek 和 Mistral AI 在內(nèi)的模型提供商。