AI自學(xué)超越人工標(biāo)注訓(xùn)練,螞蟻數(shù)科2篇自監(jiān)督學(xué)習(xí)論文入選國際頂會
相信很多大家對AI自學(xué)超越人工標(biāo)注訓(xùn)練,螞蟻數(shù)科2篇自監(jiān)督學(xué)習(xí)論文入選國際頂會還不知道吧,今天菲菲就帶你們一起去了解一下~.~!
近日,螞蟻數(shù)科2項(xiàng)研究成果分別入選“歐洲計(jì)算機(jī)視覺會議(ECCV)”和“國際機(jī)器學(xué)習(xí)大會(ICML)”,可實(shí)現(xiàn)無需人工打標(biāo)數(shù)據(jù)的情況下,通過自監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方法訓(xùn)練模型輸出可信結(jié)果。據(jù)悉,兩項(xiàng)成果將被應(yīng)用于視頻版權(quán)保護(hù)和智能問答領(lǐng)域。作為人工智能領(lǐng)域的頂級國際學(xué)術(shù)會議,2024年ECCV、ICML的論文接收率分別為27.5%、27.9%。
入選2024年歐洲計(jì)算機(jī)視覺會議(ECCV)的論文《基于區(qū)域令牌表征的自監(jiān)督視頻抄襲定位》核心解決版權(quán)保護(hù)場景的行業(yè)難題——視頻抄襲定位,即判斷兩個(gè)視頻中是否存在抄襲片段,并確定對應(yīng)的起止時(shí)間。當(dāng)前常用的抄襲片段定位算法依賴大量的人工標(biāo)注數(shù)據(jù)訓(xùn)練模型。受視頻時(shí)間長、比對工作量大等因素影響,人工標(biāo)注的成本極高。螞蟻數(shù)科AI團(tuán)隊(duì)提出了一個(gè)自監(jiān)督學(xué)習(xí)的框架,通過算法自動生成豐富的訓(xùn)練樣本,對特征模型、定位模型進(jìn)行訓(xùn)練,實(shí)驗(yàn)結(jié)果表明,該?法無需使?任何??標(biāo)注數(shù)據(jù),即可超越當(dāng)前最先進(jìn)的標(biāo)注數(shù)據(jù)訓(xùn)練?法。同時(shí),論文還創(chuàng)新性地在視覺Transformer模型(ViT)上增加了一種區(qū)域令牌(Regional Token)結(jié)構(gòu),使得模型可以關(guān)注到“畫中畫”等局部區(qū)域,增強(qiáng)抄襲識別的準(zhǔn)確率和完整性。螞蟻數(shù)科早在2019年就開始探索AI技術(shù)在版權(quán)保護(hù)領(lǐng)域的落地應(yīng)用,這是團(tuán)隊(duì)研究成果第五次入選國際頂會。
圖說:國際頂級會議ECCV2024
此外,在智能對話領(lǐng)域的研究成果也取得突破性進(jìn)展。今年5月入選2024年國際機(jī)器學(xué)習(xí)大會(ICML)的論文《基于強(qiáng)化學(xué)習(xí)的檢索增強(qiáng)大語言模型可信對齊》由中國科技大學(xué)、合肥綜合性國家科學(xué)中心人工智能研究所、螞蟻數(shù)科聯(lián)合申報(bào)。論文針對大語言模型容易遭受幻覺困擾、制造無效內(nèi)容的問題,提出了基于強(qiáng)化學(xué)習(xí)的“可信對齊”策略,該策略的目標(biāo)不只是“滿足用戶偏好”,而希望激勵(lì)模型生成更可信的內(nèi)容。相比傳統(tǒng)基于專家標(biāo)注樣本的監(jiān)督訓(xùn)練方式,“可信對齊”訓(xùn)練的模型更注重基于給定的上下文和邏輯給出可信的判斷。實(shí)驗(yàn)結(jié)果表明,該方案比開源基礎(chǔ)模型的準(zhǔn)確率提升55%,與準(zhǔn)確答案的對齊成本降低83%。此外,“可信對齊”在生成文字的流暢度方面比傳統(tǒng)方法提升30%,良好的性能將有利于語言模型在TO B嚴(yán)謹(jǐn)行業(yè)的應(yīng)用落地。
圖說:國際頂級會議ICML2024
自監(jiān)督學(xué)習(xí)被認(rèn)為是機(jī)器智能達(dá)到人類水平的關(guān)鍵,其最大的特點(diǎn)是不依賴人工標(biāo)注的數(shù)據(jù)標(biāo)簽,可自主觀察和學(xué)習(xí)、提取有用的特征,并應(yīng)用于各種任務(wù),與人類學(xué)習(xí)的方式相似。自監(jiān)督學(xué)習(xí)在為模型訓(xùn)練降本提效的同時(shí),具備更好的知識泛化能力和持續(xù)學(xué)習(xí)能力,研究對推動AI發(fā)展有著深遠(yuǎn)意義。
以上就是關(guān)于【AI自學(xué)超越人工標(biāo)注訓(xùn)練,螞蟻數(shù)科2篇自監(jiān)督學(xué)習(xí)論文入選國際頂會】的相關(guān)內(nèi)容,希望對大家有幫助!