欧美成人免费做真爱,久久综合色鬼综合色,久久久久亚洲av成人网电影,女人与牲囗牲交视频免费,欧美不卡视频二区三区

電話

18600577194

當(dāng)前位置: 首頁 > 資訊觀點(diǎn) > 軟件開發(fā)

北京軟件開發(fā)公司揭示軟件開發(fā)中的AI威脅

標(biāo)簽: 北京軟件開發(fā)公司 2025-05-21 

研究人員最近完成了迄今為止對(duì)使用AI模型開發(fā)軟件的潛在風(fēng)險(xiǎn)最全面的研究之一。在一篇新論文中,他們展示了特定類型的錯(cuò)誤如何對(duì)使用AI幫助編寫代碼的軟件開發(fā)工程師構(gòu)成嚴(yán)重威脅。

喬·斯普拉肯(Joe Spracklen)是德克薩斯大學(xué)圣安東尼奧分校(UTSA)計(jì)算機(jī)科學(xué)專業(yè)的博士生,他領(lǐng)導(dǎo)了一項(xiàng)關(guān)于大型語言模型(LLMs)頻繁生成不安全代碼的研究。他的團(tuán)隊(duì)論文已被2025年USENIX安全研討會(huì)接受發(fā)表,該研討會(huì)是網(wǎng)絡(luò)安全和隱私領(lǐng)域的頂級(jí)會(huì)議。

北京軟件開發(fā)公司揭示軟件開發(fā)中的AI威脅

這一多機(jī)構(gòu)合作包括來自德克薩斯大學(xué)圣安東尼奧分校的三名額外研究人員:博士生A.H.M. Nazmus Sakib,博士后研究員Raveen Wijewickrama,以及SPr軟件ELab(計(jì)算機(jī)研究實(shí)驗(yàn)室,致力于研究安全、隱私、信任和倫理)的副教授Murtuza Jadliwala博士。其他合作者有俄克拉荷馬大學(xué)的Anindya Ma軟件a(前德克薩斯大學(xué)圣安東尼奧分校博士后研究員)和弗吉尼亞理工大學(xué)的Bimal Viswanath。

LLM中的幻覺是指模型生成的內(nèi)容與事實(shí)不符、沒有意義或與輸入任務(wù)完全無關(guān)。到目前為止,大多數(shù)現(xiàn)有研究主要集中在經(jīng)典自然語言生成和預(yù)測(cè)任務(wù)(如機(jī)器翻譯、摘要和對(duì)話AI)中的幻覺。

研究團(tuán)隊(duì)專注于包幻覺現(xiàn)象,即當(dāng)LLM生成或推薦使用一個(gè)實(shí)際上并不存在的第三方軟件庫時(shí)發(fā)生的情況。

使包幻覺成為一個(gè)引人入勝的研究領(lǐng)域的是,如此簡(jiǎn)單的事情——一個(gè)單一的日常命令——如何導(dǎo)致嚴(yán)重的安全風(fēng)險(xiǎn)。

“不需要復(fù)雜的條件或某些晦澀的事情發(fā)生,”Spracklen 說。“只需要輸入一個(gè)命令,這個(gè)命令是每天使用那些編程語言的人們都會(huì)輸入的。僅此而已。這非常直接和簡(jiǎn)單。”

“它也無處不在,”他補(bǔ)充道。“你只能用基本的 Python 編程語言做很少的事情。自己編寫代碼需要很長時(shí)間,因此在擴(kuò)展編程語言的功能以完成特定任務(wù)時(shí),依賴開源軟件是普遍的做法?!?/p>

LLMs在開發(fā)者中變得越來越受歡迎,他們使用AI模型來協(xié)助程序組裝。根據(jù)研究,高達(dá)97%的軟件開發(fā)人員將生成型AI整合到他們的工作流程中,今天30%的代碼是AI生成的。此外,許多流行的編程語言,如Python的PyPI和JavaScript的npm,依賴于集中式包庫的使用。由于這些庫通常是開源的,惡意行為者可以上傳偽裝成合法包的惡意代碼。

多年來,攻擊者一直使用各種技巧讓用戶安裝他們的惡意軟件。軟件包幻覺是最新的策略。

“所以,假設(shè)我讓ChatGPT幫我寫一些代碼,它也寫了?,F(xiàn)在,假設(shè)在生成的代碼中它包含了一個(gè)某個(gè)包的鏈接,我信任它并運(yùn)行了代碼,但這個(gè)包不存在,是一個(gè)虛構(gòu)的包。一個(gè)精明的對(duì)手/黑客可以發(fā)現(xiàn)這種行為(LLM的行為),并意識(shí)到LLM在告訴人們使用這個(gè)不存在的包,這個(gè)虛構(gòu)的包。然后,對(duì)手可以輕松地創(chuàng)建一個(gè)新的與虛構(gòu)包同名的包,并注入一些惡意代碼?,F(xiàn)在,下次LLM在生成的代碼中推薦相同的包,一個(gè)不知情的用戶執(zhí)行了代碼,這個(gè)惡意包就會(huì)被下載并執(zhí)行在用戶的機(jī)器上,”Jadliwala解釋道。

UTSA 研究人員評(píng)估了在不同編程語言、環(huán)境和參數(shù)下包幻覺的發(fā)生情況,探索了錯(cuò)誤的包推薦的可能性并確定了根本原因。

UTSA研究人員進(jìn)行了30項(xiàng)不同的測(cè)試,他們?cè)赑ython和JavaScript中使用LLM模型生成了223萬代碼樣本,其中440,445個(gè)代碼樣本引用了虛構(gòu)的軟件包。研究指出:“與開源模型相比,GPT系列模型生成虛構(gòu)軟件包的可能性低四倍,虛構(gòu)率為5.2%,而開源模型的虛構(gòu)率為21.7%?!毖芯咳藛T發(fā)現(xiàn),Python代碼比JavaScript更不易產(chǎn)生虛構(gòu)。

這些攻擊通常涉及將惡意軟件包命名為合法軟件包,以使其看起來合法,這種策略被稱為軟件包混淆攻擊。在軟件包幻覺攻擊中,不警惕的LLM用戶會(huì)在其生成的代碼中被推薦該軟件包,相信LLM后下載了由adversary-1創(chuàng)建的惡意軟件包,從而導(dǎo)致被攻破。

這個(gè)漏洞的 insidious 元素在于它利用了對(duì) LLMs 的日益信任。隨著它們?cè)诰幋a任務(wù)中變得越來越熟練,用戶將更有可能盲目信任它們的輸出,并可能成為這種攻擊的受害者。

“如果你經(jīng)常編碼,很容易明白為什么會(huì)發(fā)生這種情況。我們與很多人交談過,幾乎所有人都表示他們注意到在編碼時(shí)曾遇到過包的幻覺,但他們從未考慮過這如何被惡意利用,”Spracklen 解釋道?!澳阍诰幋a時(shí)對(duì)包發(fā)布者有很大的隱含信任,認(rèn)為他們分享的代碼是合法的且沒有惡意。但每次你下載一個(gè)包時(shí),你都在下載可能有惡意的代碼,并賦予它對(duì)機(jī)器的完全訪問權(quán)限。”

在將生成的軟件包與主列表進(jìn)行交叉引用可能會(huì)有助于減輕幻覺,UTSA 研究人員表示,解決 LLM 基礎(chǔ)的最佳方法是在其自身開發(fā)過程中解決 LLM 的基礎(chǔ)。該團(tuán)隊(duì)已將研究結(jié)果告知包括 OpenAI、Meta、DeepSeek 和 Mistral AI 在內(nèi)的模型提供商。