AI訓AI慘遭投毒9次大崩潰，牛津劍橋等驚天發(fā)現(xiàn)登Nature封面！
相信很多大家對AI訓AI慘遭投毒9次大崩潰，牛津劍橋等驚天發(fā)現(xiàn)登Nature封面！還不知道吧，今天菲菲就帶你們一起去了解一下~.~！
9次迭代后，模型開始出現(xiàn)詭異亂碼，直接原地崩潰!就在今天，牛津、劍橋等機構(gòu)的一篇論文登上了Nature封面，稱合成數(shù)據(jù)就像近親繁殖，效果無異于投毒。有無破解之法?那就是——更多使用人類數(shù)據(jù)!
用AI生成的數(shù)據(jù)訓練AI，模型會崩潰?
牛津、劍橋、帝國理工、多倫多大學等機構(gòu)的這篇論文，今天登上了Naure封面。
如今，LLM已經(jīng)強勢入侵了人類的互聯(lián)網(wǎng)，極大地改變了在線文本和圖像的生態(tài)系統(tǒng)。
如果網(wǎng)絡上的大部分文本都是AI生成的，我們用網(wǎng)絡數(shù)據(jù)訓練出的GPT-n，會發(fā)生什么?
論文地址:https://www.nature.com/articles/s41586-024-07566-y
研究者發(fā)現(xiàn)，如果在訓練中不加區(qū)別地使用AI產(chǎn)生的內(nèi)容，模型就會出現(xiàn)不可逆轉(zhuǎn)的缺陷——原始內(nèi)容分布的尾部（低概率事件）會消失!
這種效應，被稱為「模型崩潰」。
換句話說，合成數(shù)據(jù)就像是近親繁殖，會產(chǎn)生質(zhì)量低劣的后代。
模型崩潰在LLM、變分自編碼器VAEs和高斯混合模型GMM中，都可能會發(fā)生。
有網(wǎng)友認為，是時候敲響警鐘了!
「如果大模型真的在AI生內(nèi)容的重壓下崩潰，這對它們的可信度來說是一個末日場景。如果它們吃的是機器人的反芻的內(nèi)容，我們真的能相信LLM的輸出嗎」?
真實數(shù)據(jù)，價值連城
我們都知道，如今全球已陷入高質(zhì)量數(shù)據(jù)荒。
EpochAI預測，全球在今年就會陷入高質(zhì)量數(shù)據(jù)荒
當前的大模型（包括GPT-3）還是主要基于人類生成的文本進行訓練的，但是未來可就不一定了!
Meta研究員Thomas Scialom表示，Llama3在后訓練階段沒有使用任何人類編寫的答案，全是Llama2合成的數(shù)據(jù)
如果未來，大多數(shù)模型的訓練數(shù)據(jù)也是從網(wǎng)上抓取的，那它們不可避免地會用上前輩模型生成的數(shù)據(jù)。
如果當某個版本的GPT生成的大部分文本，成為了后續(xù)模型的訓練數(shù)據(jù)集，隨著版本號的增加，GPT-{n}會發(fā)生什么變化?
LLM迭代至第9代，完全胡言亂語
簡單講，LLM生成的數(shù)據(jù)最終污染了下一代模型的訓練集，就會出現(xiàn)「模型崩潰」（model collapse）的現(xiàn)象。
由于在被污染的數(shù)據(jù)上進行訓練，LLM隨后會錯誤地感知現(xiàn)實。
這樣一來，會導致多代AI生成模型的退化。
也就是那句經(jīng)典名言——垃圾進，垃圾出。
合成數(shù)據(jù)，無異于給數(shù)據(jù)集「投毒」。
研究中，作者們使用維基百科文章先訓練了模型OPT-125m，并在前一代模型生成的文本上，訓練了多代模型。
模型們被要求續(xù)寫一段來自wiki的關于「薩默塞特（Somerset）一級登錄建筑」條目的文本。
輸入的提示如下所示，這是關于設計14世紀教堂塔樓主題的文本:
在第0代模型中，輸入同樣的提示，得到的輸出是:
可以看到，Gen0的續(xù)寫已經(jīng)開始有點前言不搭后語了，而且還出現(xiàn)了詭異的符號「@-@」。
奇怪的事實錯誤是，圣約翰大教堂位于紐約，不在倫敦。
在Gen1中，雖沒有奇怪符號的輸出，但同樣出現(xiàn)了事實錯誤——
圣彼得大教堂（St. Peter's Basilica）真正位于梵蒂岡，而不是什么羅馬、布宜諾斯艾利斯。
而且建造于公元1506和1626年之間，由教皇朱利奧二世開始建造，直至教皇奧本八世。
以ism起句，講了一大堆語種，根本不是續(xù)寫的相關素材。
再到第9代，奇怪的@-@符號又出現(xiàn)了，而且還輸出了更加無關的內(nèi)容——tailed jackrabbits。
以下是所有迭代模型，完整輸出的過程。每一代新的模型都是在前一代生成的數(shù)據(jù)上進行訓練的。
看得出，模型在每一代次迭代中退化。研究人員發(fā)現(xiàn)，所有遞歸訓練后的模型，皆會輸出重復的短語。
另一個案例是，今天杜克大學助理教授Emily Wenger，發(fā)表在Nature上一篇社論文章中指出:
AI基于自身數(shù)據(jù)訓練，生成的圖像扭曲了狗的品種。
數(shù)據(jù)集中，不僅有金毛、柯基，還有法國斗牛犬、小體巴塞特雪橇犬等。
基于真實數(shù)據(jù)訓練后的模型，輸出的圖像中，常見品種如金毛尋回犬占大多數(shù)，而不太常見的品種斑點狗會消失。
然后，基于AI生成的數(shù)據(jù)訓練模型，生成的品種全是金毛了。
最終，經(jīng)過多次迭代，金毛的圖像就完全出現(xiàn)混亂，臉不是臉鼻子不是鼻子，LLM就此完全崩潰了。
此外，2023年來自斯坦福和UC伯克利的一項研究中，作者同樣發(fā)現(xiàn)了，LLM在少量自己生成數(shù)據(jù)內(nèi)容重新訓練時，就會輸出高度扭曲的圖像。
論文地址:https://arxiv.org/pdf/2311.12202
他們還在實驗中展示了，一旦數(shù)據(jù)集受到污染，即便LLM僅在真實圖像上重新訓練，模型崩潰現(xiàn)象無法逆轉(zhuǎn)。
作者警示道，為了模型不再被自己「降級」，AI需要能夠區(qū)分真實和虛假內(nèi)容。
這一觀點，與杜克Wenger不謀而合。
她認為，緩減LLM崩潰并不簡單，不過領先科技公司已經(jīng)部署了嵌入「水印」的技術，進而可以把標記AI生成內(nèi)容，從數(shù)據(jù)集中剔除。
此外，模型崩潰的另一個關鍵寓意是，那些早已構(gòu)建的AI模型，有著先發(fā)優(yōu)勢。
因為，從AI時代互聯(lián)網(wǎng)獲取訓練數(shù)據(jù)的公司，可能擁有更能代表真實世界的模型。
什么是模型崩潰?
最新研究中，作者表示，模型崩潰包含了兩種特殊的情況:早期模型崩潰、晚期模型崩潰。
在早期模型崩潰中，模型開始丟失關于數(shù)據(jù)分布尾部的信息;在晚期模型崩潰中，模型收斂到一個與原始分布幾乎沒有相似性的分布，通常方差顯著降低。
這一過程的發(fā)生，是由于三種特定誤差源，在多代模型中逐漸累積，最終導致模型偏離原始模型:
- 統(tǒng)計近似誤差
這是主要的誤差類型，由于樣本數(shù)量有限而產(chǎn)生，并且在樣本數(shù)量趨向無限時會消失。這是因為在每一步重采樣過程中，信息丟失的概率總是存在。
- 函數(shù)表達誤差
這是次要誤差類型，由于函數(shù)近似器（function approximator）的表達能力有限而產(chǎn)生。
特別是，神經(jīng)網(wǎng)絡只有在其規(guī)模無限大時，才能成為通用近似器。
因此，神經(jīng)網(wǎng)絡可能會在原始分布的支撐集（support）之外，引入「非零概率」，或在原始分布的支撐集內(nèi)引入「零概率」。
一個簡單的例子是，如果我們用單個高斯分布，來擬合兩個高斯分布的混合。即使有完美的數(shù)據(jù)分布信息（即無限數(shù)量的樣本），模型產(chǎn)生誤差也是不可避免的。
然而，在沒有其他兩種類型誤差的情況下，這種誤差只會在第一代發(fā)生。
- 函數(shù)近似誤差
這也是次要的誤差類型，主要由于學習過程的限制而產(chǎn)生，例如隨機梯度下降的結(jié)構(gòu)偏差或目標函數(shù)選擇的影響。
這種誤差可以看作，即便在理想條件下，即擁有無限數(shù)據(jù)且完美表達能力，仍在每一代模型中產(chǎn)生。
綜上所述，每種誤差都可能會導致模型崩潰變得愈加嚴重，或得到一些改善。
更強的近似能力甚至可能是一把「雙刃劍」。
因為更好的表達能力可能抵消統(tǒng)計噪聲，從而更好地逼近真實分布，但同樣也可能放大噪聲。
更常見的情況下，我們會得到一種級聯(lián)效應（cascading effect），其中個別的不準確性會結(jié)合起來，導致整體誤差的增長。
例如，過擬合密度模型會導致模型錯誤地外推，并將高密度區(qū)域分配給訓練集中未覆蓋的低密度區(qū)域。
這些錯誤分配的區(qū)域，隨后會被頻繁采樣。
值得注意的是，除上述內(nèi)容之外，還存在其他類型的誤差。比如，在實際操作中，計算機精度是有限的。
接下來，研究人員將通過「數(shù)學直覺」來解釋上述誤差是如何產(chǎn)生的，不同誤差來源如何復合（compound），以及我們?nèi)绾瘟炕骄Ｐ推睢?/p>
理論直覺
在所有基于前幾代生成數(shù)據(jù)進行遞歸訓練的生成模型，這種現(xiàn)象都是普遍存在的。
所以，到底是什么原因，導致了模型崩潰?
研究者提供了幾種理論解釋。
通過研究兩個數(shù)學模型，研究者量化了前一部分討論的誤差來源。
這兩個模型分別是一個在沒有函數(shù)表達能力和近似誤差情況下的離散分布模型，以及一個描繪聯(lián)合函數(shù)表達能力和統(tǒng)計誤差的多維高斯近似模型。
它們既足夠簡單，可以提供感興趣量的解析表達式，同時也能描繪模型崩潰的現(xiàn)象——
考慮的總體隨機過程，作者稱之為「代際數(shù)據(jù)學習」。
第i代的數(shù)據(jù)集D_i由具有分布p_i的獨立同分布隨機變量
組成。
其中，數(shù)據(jù)集的大小j∈{1，…，?M_i}。
從第i代到第i+1代，我們需要估計樣本在新數(shù)據(jù)集D_i中的分布，近似為
。
這一步稱之為函數(shù)近似，
。
然后通過從
中采樣，生成數(shù)據(jù)集
。
其中，非負參數(shù)α_i，?β_i，?γ_i的和為1，即它們表示來自不同代的數(shù)據(jù)的比例。
它們對應的混合數(shù)據(jù)，分別來自原始分布（γ_i）、上一代使用的數(shù)據(jù)(β_i)和新模型生成的數(shù)據(jù)(α_i)。
這一步，稱為采樣步驟。
對于即將討論的數(shù)學模型，我們考慮α_i=γ_i=0，即僅使用單步的數(shù)據(jù)，而數(shù)值實驗則在更現(xiàn)實的參數(shù)選擇上進行。
離散分布的精確近似在本小節(jié)中，我們討論一種沒有函數(shù)近似和表達誤差的離散概率分布，即
。
在這種情況下，模型崩潰的原因僅僅是采樣步驟中的統(tǒng)計誤差。
首先，由于低概率事件被采樣到的概率很低，它們的尾部（低概率事件）會逐漸消失，隨著時間的推移，分布的支持范圍也會縮小。
假設樣本量為M，如果我們考慮一個概率為q≤1/M的狀態(tài)i，那么來自這些事件的i值樣本的期望數(shù)量將小于1。
也就是說，我們會失去關于這些事件的信息。
如果更一般地考慮一個概率為q的狀態(tài)i，使用標準條件概率，我們可以證明失去信息的概率（即在某些代中沒有采樣到數(shù)據(jù)）等于1?q。
這也就意味著，分布最終會收斂到某個狀態(tài)處的δ函數(shù)，最終落在某個狀態(tài)的概率等于從原始分布中采樣該狀態(tài)的概率。
將
這個過程看作一個馬爾可夫鏈，我們就可以直接證明上述結(jié)論，因為X^（i+1）僅依賴于X^i。
此外，如果所有
的值都相同，那么在下一代，近似分布將完全是一個δ函數(shù)。因此所有
的值也將相同。
這就意味著，馬爾可夫鏈至少包含一個吸收態(tài)，因此它會以概率1收斂到其中一個吸收態(tài)。
對于這個鏈，唯一的吸收態(tài)是那些對應于δ函數(shù)的狀態(tài)。
因此，隨著我們跟蹤的模型逐漸崩潰，我們必然會陷入一個常數(shù)狀態(tài);當這條鏈被完全吸收時，原始分布的所有信息就都喪失了。
在一般情況下，這個論點也是成立的，因為浮點表征是離散的，因此使得模型參數(shù)的馬爾可夫鏈也是離散的。
因此，只要模型參數(shù)化允許使用δ函數(shù)，我們一定會到達這個結(jié)論，因為由于采樣誤差的原因，唯一可能的吸收態(tài)就是δ函數(shù)。
基于上述討論，我們可以看到，無論是早期模型崩潰（僅低概率事件被切斷）還是后期模型崩潰(過程開始收斂到單一模式)的現(xiàn)象，只要是在具有完美函數(shù)近似的離散分布下，都必然會出現(xiàn)。
多維高斯分布在討論了離散分布之后，我們就可以提出一個更通用的結(jié)果，它可以在高斯近似的背景下得到證明。
在這種情況下，每一代的數(shù)據(jù)都是通過上一代的均值和方差的無偏估計來近似的。
高斯模型崩潰假設原始數(shù)據(jù)是從分布D_0（不一定是高斯分布）中采樣的，且樣本方差不為零。假設X^n是遞歸地使用上一代的無偏樣本均值和方差估計來擬合的，其中
且樣本量是固定的。
此時就可以得到
。
其中，W_2表示第n代的真實分布和其近似之間的Wasserstein-2距離。
換句話說，這意味著不僅第n代的近似值會任意遠地偏離原始分布，而且隨著代數(shù)的增加，它也會以概率1收斂到零方差，從而發(fā)生崩潰。
這個定理展示了后期模型崩潰的效果，即過程開始收斂到零方差。這個過程，與離散情況非常相似。
語言模型中的模型崩潰
當模型發(fā)生崩潰，會對語言模型產(chǎn)生哪些影響?
模型崩潰在各種機器學習模型中都是普遍現(xiàn)象，然而像變分自編碼器（VAE）和高斯混合模型(GMM)這樣的小模型通常是從頭開始訓練的，而LLM則有所不同。
從頭訓練的成本非常高，因此通常使用預訓練模型（如BERT、RoBERTa或GPT-2）進行初始化，然后再對預訓練模型進行微調(diào)以適應各種下游任務。
那么，當LLM使用其他模型生成的數(shù)據(jù)進行微調(diào)會發(fā)生什么呢?
實驗評估了訓練大語言模型最常見的微調(diào)設置，其中每個訓練周期（epoch）都從一個預訓練模型開始，并使用最新數(shù)據(jù)。
這里的數(shù)據(jù)來自另一個已經(jīng)微調(diào)過的預訓練模型。
由于訓練范圍限制在生成接近原始預訓練模型的模型，由于這些模型生成的數(shù)據(jù)點通常只會產(chǎn)生非常小的梯度，因此實驗的預期是模型在微調(diào)后只會發(fā)生適度的變化。
實驗微調(diào)了Meta通過Hugging Face提供的OPT-125m因果語言模型，在wikitext2數(shù)據(jù)集上對模型進行微調(diào)。
為了生成訓練模型所需的數(shù)據(jù)，實驗使用五向集束搜索（beam search）。
將訓練序列限制為64個token，然后對于訓練集中的每個token序列，讓模型預測接下來的64個token。
用上面的方法調(diào)整所有原始訓練數(shù)據(jù)集，并生成一個大小相同的人工數(shù)據(jù)集。
由于范圍涉及所有原始數(shù)據(jù)集并預測了所有塊（Block），如果模型的誤差為0，它將生成原始的wikitext2數(shù)據(jù)集。
每一代的訓練都從原始訓練數(shù)據(jù)的生成開始，每個實驗運行五次，結(jié)果顯示為五次獨立運行，使用不同的隨機種子。
用wikitext2數(shù)據(jù)微調(diào)的原始模型，平均困惑度（perplexity）從零樣本基線的115下降到34，說明它成功地學習了任務。
最后，為了盡可能接近現(xiàn)實情況，實驗使用了在原始任務上表現(xiàn)最好的模型，使用原始wikitext2驗證集進行評估，作為后續(xù)幾代的基礎模型。
這意味著，實際上觀察到的模型崩潰可能更加明顯。
實驗還考慮了考慮兩種不同的設置:
-5個epoch，不保留原始訓練數(shù)據(jù)。
在這種情況下，模型在原始數(shù)據(jù)集上訓練五個周期，但在后續(xù)的訓練中不再使用原始數(shù)據(jù)。
整體的原始任務表現(xiàn)如圖所示。
實驗發(fā)現(xiàn)，使用生成的數(shù)據(jù)進行訓練雖然能適應基本任務，但性能有所下降，困惑度從20增加到28。
-10個epoch，保留10%的原始訓練數(shù)據(jù)。
在這種情況下，模型在原始數(shù)據(jù)集上訓練十個周期，并且每次新的訓練時，隨機保留10%的原始數(shù)據(jù)點。
整體的原始任務表現(xiàn)如圖所示。
實驗發(fā)現(xiàn)，保留部分原始數(shù)據(jù)可以更好地進行模型微調(diào)，并且僅導致性能的輕微下降。
雖然兩種訓練方式都導致了模型性能下降，但實驗發(fā)現(xiàn)使用生成數(shù)據(jù)進行學習是可行的，模型也能成功地學習一些基礎任務。
特別是，從圖下及其3D版本中可以看到，模型崩潰現(xiàn)象確實發(fā)生了，因為低困惑度樣本的密度隨著訓練代次的增加而開始累積。
這意味著，在多個訓練代次中，采樣數(shù)據(jù)可能會逐漸趨向于一個δ函數(shù)。
到這里，結(jié)論就和「理論直覺」中的一般直覺一致了。
可以看到，生成的數(shù)據(jù)有更長的尾部，這就表明某些數(shù)據(jù)是原始模型永遠不會生成的。而這些錯誤，就是來自代際數(shù)據(jù)學習的積累。
這也給我們敲響了警鐘——
如果沒有大規(guī)模采用AI泛濫之前從網(wǎng)上抓取的數(shù)據(jù)，或者直接使用人類生成的大規(guī)模數(shù)據(jù)，訓練新版本的LLM，恐怕會變得越來越困難!
有什么辦法嗎?
研究團隊認為，AI生成數(shù)據(jù)并非完全不可取，但一定要對數(shù)據(jù)進行嚴格過濾。
比如，在每一代模型的訓練數(shù)據(jù)中，保持10%或20%的原始數(shù)據(jù);使用多樣化數(shù)據(jù)，如人類產(chǎn)生的數(shù)據(jù);或者研究更魯棒的訓練算法。
沒想到吧，人類創(chuàng)造的數(shù)據(jù)，居然有一天會如此價值連城。
參考資料:
https://www.nature.com/articles/d41586-024-02420-7
https://www.nature.com/articles/s41586-024-07566-y
以上就是關于【AI訓AI慘遭投毒9次大崩潰，牛津劍橋等驚天發(fā)現(xiàn)登Nature封面！】的相關內(nèi)容，希望對大家有幫助！