相信很多大家對(duì)谷歌發(fā)布新RL方法，性能提升巨大，o1模型已證明還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

谷歌DeepMind的研究人員提出了一種創(chuàng)新多輪強(qiáng)化學(xué)習(xí)方法——SCoRe。

目前，多數(shù)大模型不具備自我糾錯(cuò)或能力較差，尤其是在數(shù)學(xué)和代碼領(lǐng)域在給出錯(cuò)誤答案后，會(huì)一直堅(jiān)持錯(cuò)誤答案，影響模型的準(zhǔn)確率。而SCoRe通過避免訓(xùn)練數(shù)據(jù)與模型實(shí)際響應(yīng)分布不匹配以及多輪反饋獎(jiǎng)勵(lì)機(jī)制，來幫助大模型及時(shí)糾正自己的錯(cuò)誤。

OpenAI最近發(fā)布的o1模型便使用了類似的技術(shù)，主要亮點(diǎn)之一便是模型的自我糾錯(cuò)能力，其數(shù)學(xué)和代碼能力也獲得了大幅度提升。也就是說，強(qiáng)化學(xué)習(xí)確實(shí)能幫助大模型提升輸出性能和準(zhǔn)確率。

在傳統(tǒng)的大模型訓(xùn)練過程中，模型通常通過監(jiān)督學(xué)習(xí)來優(yōu)化其對(duì)特定任務(wù)的性能。但這種方法主要依賴于大量的標(biāo)注數(shù)據(jù)，并且在訓(xùn)練和推理之間存在巨大的數(shù)據(jù)分布差異，導(dǎo)致模型在實(shí)際應(yīng)用中難以有效糾正錯(cuò)誤。

例如，在圖像識(shí)別任務(wù)中，模型在訓(xùn)練時(shí)主要使用的是風(fēng)景領(lǐng)域的圖像，并且對(duì)這些圖像的標(biāo)注信息進(jìn)行了學(xué)習(xí)。但在實(shí)際應(yīng)用中，遇到一些與訓(xùn)練數(shù)據(jù)差異較大的圖像，光照條件不同、拍攝角度不同以及具備不同物體特征的醫(yī)學(xué)圖像時(shí)。模型可能就會(huì)無法識(shí)別這些新圖像，并且難以通過自我糾正來改進(jìn)性能。

最重要的是，傳統(tǒng)的監(jiān)督學(xué)習(xí)方法在訓(xùn)練過程中，并沒有明確地教導(dǎo)模型如何自我糾正錯(cuò)誤。一旦模型在推理階段產(chǎn)生錯(cuò)誤的結(jié)果，只能依賴外部反饋或手動(dòng)干預(yù)來糾正這些錯(cuò)誤。這對(duì)于需要高度準(zhǔn)確率的法律、金融等應(yīng)用場(chǎng)景來說是一個(gè)重大缺陷。

而SCoRe則是在模型自己生成的數(shù)據(jù)上進(jìn)行多輪強(qiáng)化訓(xùn)練，使模型能夠?qū)W習(xí)到如何根據(jù)獎(jiǎng)勵(lì)信號(hào)來調(diào)整自己的輸出實(shí)現(xiàn)自我糾正。

在訓(xùn)練過程中，SCoRe 會(huì)鼓勵(lì)模型嘗試不同的輸出，并根據(jù)獎(jiǎng)勵(lì)信號(hào)來判斷哪些輸出是最準(zhǔn)確的。幫助模型就能夠逐漸學(xué)習(xí)到如何在不同的情況下做出正確的決策。

例如，在文本生成任務(wù)中，如果模型生成的句子不符合語(yǔ)法或是病句，SCoRe 會(huì)給予模型一個(gè)負(fù)面的獎(jiǎng)勵(lì)信號(hào)，促使模型調(diào)整自己的輸出直到生成符合要求的句子。

SCoRe的強(qiáng)化學(xué)習(xí)方法主要分為兩大階段:在第一階段，SCoRe通過強(qiáng)化學(xué)習(xí)對(duì)基礎(chǔ)模型進(jìn)行初始化訓(xùn)練。目標(biāo)是訓(xùn)練模型在第一次嘗試時(shí)產(chǎn)生高質(zhì)量的回答，并在第二次嘗試時(shí)能夠?qū)Φ谝淮蔚幕卮疬M(jìn)行有效的糾正。為了實(shí)現(xiàn)這一目標(biāo)，研究人員會(huì)在模型的輸出上施加一種正則化約束，以避免模型在第一次嘗試中產(chǎn)生與基礎(chǔ)模型差異過大的回答。

這種約束通過計(jì)算模型輸出與基礎(chǔ)模型輸出之間的KL散度來實(shí)現(xiàn)。通過調(diào)整KL散度的權(quán)重，可以在保持模型第一次嘗試質(zhì)量的同時(shí)，鼓勵(lì)模型在第二次嘗試中進(jìn)行更大膽的糾正。

在模型初始化訓(xùn)練完成后，SCoRe進(jìn)入第二階段多輪強(qiáng)化學(xué)習(xí)與獎(jiǎng)勵(lì)塑造。在這一階段，模型在每一輪嘗試中都會(huì)接收到一個(gè)獎(jiǎng)勵(lì)信號(hào)，該信號(hào)基于模型當(dāng)前嘗試與正確答案之間的匹配程度。通過最大化這些獎(jiǎng)勵(lì)信號(hào)，模型可以逐步學(xué)習(xí)如何改進(jìn)其答案。

為了進(jìn)一步引導(dǎo)模型學(xué)習(xí)有效的自我糾正能力，研究人員為模型在第二次嘗試中正確糾正錯(cuò)誤的行為提供了額外的獎(jiǎng)勵(lì)。

如果第二次嘗試的響應(yīng)從錯(cuò)誤變?yōu)檎_，那么這個(gè)獎(jiǎng)勵(lì)項(xiàng)會(huì)給模型較大的正獎(jiǎng)勵(lì);如果第二次嘗試將正確的響應(yīng)變?yōu)殄e(cuò)誤，那么會(huì)給予模型嚴(yán)重的負(fù)懲罰。

這樣的獎(jiǎng)勵(lì)塑造使得模型更傾向于學(xué)習(xí)到自我糾正的策略，因?yàn)槟切]有改變響應(yīng)正確性或?qū)е卤罎⒌能壽E對(duì)整體損失的貢獻(xiàn)較小。

為了驗(yàn)證SCoRe的性能，研究人員在谷歌自研的Gemini1.0Pro和Gemini1.5Flash兩款大模型進(jìn)行了數(shù)學(xué)和代碼測(cè)試。結(jié)果顯示，其自我糾正能力分別提升了15.6%和9.1%。

以上就是關(guān)于【谷歌發(fā)布新RL方法，性能提升巨大，o1模型已證明】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！