標(biāo)簽: 北京軟件開發(fā)公司 2025-06-04 次
北京軟件開發(fā)公司的工程師發(fā)現(xiàn),如今可借助大型語言模型(LLMs)更快生成計(jì)算機(jī)代碼,但這需代碼遵循編程語言規(guī)則且不致使計(jì)算機(jī)崩潰,方能減輕軟件開發(fā)工程師工作負(fù)擔(dān)。確保大語言模型符合語言規(guī)則的一些方法存在弊端,要么扭曲原意,要么耗時(shí)久不適用于復(fù)雜任務(wù)。
經(jīng)查資料,麻省理工學(xué)院及其他研究人員開發(fā)出一種新方法,能自動(dòng)引導(dǎo)大語言模型生成符合特定語言規(guī)則(如編程語言)且無錯(cuò)誤的文本。該方法讓大語言模型聚焦于可能有效準(zhǔn)確的輸出,早期舍棄無前景輸出,這種概率方法提升了計(jì)算效率。
得益于效率提升,此架構(gòu)使小型LLM在生成準(zhǔn)確且結(jié)構(gòu)正確的輸出方面,超越眾多更大規(guī)模模型,應(yīng)用于分子生物學(xué)、機(jī)器人等多領(lǐng)域?qū)嶋H案例。長(zhǎng)遠(yuǎn)看,新架構(gòu)或助非專家控制AI生成內(nèi)容,如商人可通過自然語言提示編寫復(fù)雜SQL查詢。
“這項(xiàng)工作影響超出研究領(lǐng)域,有望改進(jìn)編程助手、AI驅(qū)動(dòng)的數(shù)據(jù)分析和科學(xué)發(fā)現(xiàn)工具?!甭槭±砉W(xué)院研究生、該框架論文共同主要作者若昂·洛拉表示。除Loula外,還有多人參與此項(xiàng)研究,成果將在國(guó)際學(xué)習(xí)表征會(huì)議上展示。
控制LLM生成結(jié)構(gòu)化文本的常見方法是檢查整個(gè)輸出,若無效則需重新開始,消耗資源。而逐步檢查中間結(jié)果雖可確保代碼結(jié)構(gòu)有效,但可能偏離用戶意圖,降低準(zhǔn)確性。
研究人員將工程知識(shí)注入LLM,引導(dǎo)其產(chǎn)生有前途的輸出,使其更可能遵循結(jié)構(gòu)和意義約束。他們運(yùn)用序列蒙特卡洛技術(shù),讓LLM并行生成相互競(jìng)爭(zhēng),模型根據(jù)輸出前景動(dòng)態(tài)分配資源,關(guān)注高權(quán)重輸出,舍棄其余。
為測(cè)試方法,他們將框架用于生成Python代碼、SQL數(shù)據(jù)庫(kù)查詢、分子結(jié)構(gòu)和機(jī)器人計(jì)劃四種類型輸出的LLM。與現(xiàn)有方法相比,該方法更準(zhǔn)確且計(jì)算量更少,如在Python代碼生成中,小型開源模型表現(xiàn)優(yōu)于大型專用商業(yè)閉源模型。
展望未來,研究人員希望用此技術(shù)控制生成文本大塊內(nèi)容,結(jié)合學(xué)習(xí)使模型輸出更準(zhǔn)確。長(zhǎng)遠(yuǎn)來看,項(xiàng)目或?qū)Ψ羌夹g(shù)用戶有廣泛應(yīng)用,如與自動(dòng)數(shù)據(jù)建模系統(tǒng)等結(jié)合,實(shí)現(xiàn)機(jī)器輔助的數(shù)據(jù)分析系統(tǒng)。
2025/07/10
2025/05/26
2025/06/06
2025/07/10
2025/07/10
2025/07/10
2025/07/10
2025/06/04