AI大語言模型雖然是目前最熱門的話題，不過它們的數(shù)學(xué)能力一直存在短板。南京航空航天大學(xué)聯(lián)合南通大學(xué)、牛津大學(xué)組成的團隊發(fā)現(xiàn)，通過低成本地訓(xùn)練，對國產(chǎn)開源AI大模型DeepSeek的7B小版本和Qwen2.5-14B進(jìn)行推理指導(dǎo)，它們的數(shù)學(xué)推理能力就開始暴漲，甚至成功構(gòu)造出困擾全世界數(shù)學(xué)家的關(guān)鍵反例。

這項發(fā)表于2024年2月27日的研究由南京航空航天大學(xué)的研究者李可晨擔(dān)任第一作者，聯(lián)合南通大學(xué)的嵇天博，以及牛津大學(xué)的兩位研究者共同完成。研究聚焦于提升大語言模型（LLM）解決復(fù)雜數(shù)學(xué)問題的能力，其突破性成果直指著名的“希爾伯特第十七問題”——這個由德國數(shù)學(xué)大師大衛(wèi)·希爾伯特在1900年提出的世紀(jì)難題，涉及有理函數(shù)的多項式表示，其首個反例直到1927年才被發(fā)現(xiàn)，至今仍是一個重要的數(shù)學(xué)難題，在自動駕駛算法、量子計算驗證等前沿領(lǐng)域具有重要應(yīng)用價值。

研究團隊創(chuàng)新性地開發(fā)了“結(jié)構(gòu)化推理指導(dǎo)”訓(xùn)練法，僅用2張A100顯卡訓(xùn)練4小時的DeepSeek的7B小模型，不僅在準(zhǔn)確率上超越671B參數(shù)的DeepSeek-V3，響應(yīng)速度還提升50倍以上。

他們對另一個國產(chǎn)開源模型Qwen2.5-14B進(jìn)行這樣的訓(xùn)練，經(jīng)過優(yōu)化的模型自主構(gòu)建出一個全新多項式，成功挑戰(zhàn)了希爾伯特問題的現(xiàn)有理論邊界——這類關(guān)鍵反例的發(fā)現(xiàn)通常需要數(shù)學(xué)家數(shù)十年探索，而AI僅用數(shù)小時就實現(xiàn)了創(chuàng)造性突破。研究者預(yù)言，AI大語言模型離破解這類數(shù)學(xué)難題又近了一步。

揚子晚報/紫牛新聞 宋世鋒

校對 盛媛媛