北京軟件開發(fā)公司的工程師發(fā)現(xiàn)，如今可借助大型語言模型（LLMs）更快生成計(jì)算機(jī)代碼，但這需代碼遵循編程語言規(guī)則且不致使計(jì)算機(jī)崩潰，方能減輕軟件開發(fā)工程師工作負(fù)擔(dān)。確保大語言模型符合語言規(guī)則的一些方法存在弊端，要么扭曲原意，要么耗時(shí)久不適用于復(fù)雜任務(wù)。

經(jīng)查資料，麻省理工學(xué)院及其他研究人員開發(fā)出一種新方法，能自動(dòng)引導(dǎo)大語言模型生成符合特定語言規(guī)則（如編程語言）且無錯(cuò)誤的文本。該方法讓大語言模型聚焦于可能有效準(zhǔn)確的輸出，早期舍棄無前景輸出，這種概率方法提升了計(jì)算效率。

得益于效率提升，此架構(gòu)使小型LLM在生成準(zhǔn)確且結(jié)構(gòu)正確的輸出方面，超越眾多更大規(guī)模模型，應(yīng)用于分子生物學(xué)、機(jī)器人等多領(lǐng)域?qū)嶋H案例。長(zhǎng)遠(yuǎn)看，新架構(gòu)或助非專家控制AI生成內(nèi)容，如商人可通過自然語言提示編寫復(fù)雜SQL查詢。

“這項(xiàng)工作影響超出研究領(lǐng)域，有望改進(jìn)編程助手、AI驅(qū)動(dòng)的數(shù)據(jù)分析和科學(xué)發(fā)現(xiàn)工具?！甭槭±砉W(xué)院研究生、該框架論文共同主要作者若昂·洛拉表示。除Loula外，還有多人參與此項(xiàng)研究，成果將在國(guó)際學(xué)習(xí)表征會(huì)議上展示。

控制LLM生成結(jié)構(gòu)化文本的常見方法是檢查整個(gè)輸出，若無效則需重新開始，消耗資源。而逐步檢查中間結(jié)果雖可確保代碼結(jié)構(gòu)有效，但可能偏離用戶意圖，降低準(zhǔn)確性。

研究人員將工程知識(shí)注入LLM，引導(dǎo)其產(chǎn)生有前途的輸出，使其更可能遵循結(jié)構(gòu)和意義約束。他們運(yùn)用序列蒙特卡洛技術(shù)，讓LLM并行生成相互競(jìng)爭(zhēng)，模型根據(jù)輸出前景動(dòng)態(tài)分配資源，關(guān)注高權(quán)重輸出，舍棄其余。

為測(cè)試方法，他們將框架用于生成Python代碼、SQL數(shù)據(jù)庫(kù)查詢、分子結(jié)構(gòu)和機(jī)器人計(jì)劃四種類型輸出的LLM。與現(xiàn)有方法相比，該方法更準(zhǔn)確且計(jì)算量更少，如在Python代碼生成中，小型開源模型表現(xiàn)優(yōu)于大型專用商業(yè)閉源模型。

展望未來，研究人員希望用此技術(shù)控制生成文本大塊內(nèi)容，結(jié)合學(xué)習(xí)使模型輸出更準(zhǔn)確。長(zhǎng)遠(yuǎn)來看，項(xiàng)目或?qū)Ψ羌夹g(shù)用戶有廣泛應(yīng)用，如與自動(dòng)數(shù)據(jù)建模系統(tǒng)等結(jié)合，實(shí)現(xiàn)機(jī)器輔助的數(shù)據(jù)分析系統(tǒng)。