相信很多大家對Scaling Law觸礁「數(shù)據(jù)墻」？Epoch AI發(fā)文預(yù)測LLM到2028年耗盡所有文本數(shù)據(jù)還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，對LLM性能的重要性已經(jīng)是不言自明的事實。然而，Epoch AI近期的一篇論文卻給正在瘋狂擴展的AI模型們潑了冷水，他們預(yù)測，互聯(lián)網(wǎng)上可用的人類文本數(shù)據(jù)將在四年后，即2028年耗盡。

數(shù)據(jù)和算力，是AI大模型最重要的兩把「鏟子」。

算力方面，英偉達的不斷創(chuàng)新和各家代工廠的產(chǎn)能提高，讓世界各處的數(shù)據(jù)中心拔地而起，研究人員暫時不用擔(dān)心計算資源。

然而，近些年來，數(shù)據(jù)成為愈發(fā)嚴(yán)峻的問題。

根據(jù)華爾街日報的報道，OpenAI在訓(xùn)練GPT-5時已經(jīng)遇到了文本數(shù)據(jù)不足的問題，正在考慮使用Youtube公開視頻轉(zhuǎn)錄出的文本。

關(guān)于「數(shù)據(jù)耗盡」這個問題，非營利研究機構(gòu)Epoch AI在6月4日發(fā)布了一篇最新論文。

根據(jù)他們的預(yù)測，未來10年內(nèi)，數(shù)據(jù)增長的速度無法支撐起大模型的擴展，LLM會在2028年耗盡互聯(lián)網(wǎng)上的所有文本數(shù)據(jù)。

論文地址:https://arxiv.org/abs/2211.04325

目前這篇論文已被ICML2024接收。著名的硅谷天才少年Alexandr Wang也轉(zhuǎn)發(fā)了這篇論文，并附上了自己的一番見解。

他創(chuàng)辦的Scale AI專門為AI模型提供訓(xùn)練數(shù)據(jù)，估值已經(jīng)飆升到138億，是當(dāng)下硅谷最炙手可熱的明星獨角獸。

估值飆至138億美元!27歲華裔天才少年再獲融資，數(shù)據(jù)標(biāo)注會是下一個風(fēng)口?

論文作者所屬的機構(gòu)Epoch AI則是一家非營利研究組織，成立于2022年4月，他們致力于調(diào)查人工智能的歷史趨勢，并幫助預(yù)測其未來發(fā)展。

雖然這個組織目前只有13名員工，且分布在世界各地，但他們的工作有非常廣泛的影響。

英國和荷蘭的政府報告都曾引用Epoch AI發(fā)表的論文。RAND智庫的研究員表示，Epoch的AI模型數(shù)據(jù)庫對于政策制定者來說是寶貴的資源，「世界上沒有其他數(shù)據(jù)庫如此詳盡和嚴(yán)謹(jǐn)」。

預(yù)測方法

Epoch AI憑什么預(yù)測出2028年這個時間點?

說得直白一點，數(shù)據(jù)量就像一個水池。有存量、有增量，是否夠用就要同時看供給側(cè)和需求側(cè)，預(yù)測AI模型的數(shù)據(jù)集會不會把水池抽干。

首先需要估計目前互聯(lián)網(wǎng)上的文本數(shù)據(jù)存量S。

定期更新的開源數(shù)據(jù)集Common Crawl爬取到了超過2500億個網(wǎng)頁，包含130T tokens。但這不是全部的網(wǎng)絡(luò)內(nèi)容，還需要統(tǒng)計索引網(wǎng)絡(luò)的大小。

我們先假設(shè)谷歌搜索引擎包含了所有索引網(wǎng)站，可以使用「詞頻法」估計其中的頁面數(shù)量。

比如，如果「chair」這個詞出現(xiàn)在Common Crawl0.2%的頁面中，而且谷歌可以搜索到40B個包含「chair」的網(wǎng)頁結(jié)果，就能初步預(yù)估出整個索引網(wǎng)絡(luò)的大小約為40B/0.002=20T個頁面。

采用這種方法，論文估算出谷歌索引包含約270B個頁面，每個網(wǎng)頁約有1.9KB純文本數(shù)據(jù)，這表明整個索引網(wǎng)絡(luò)的數(shù)據(jù)量大概為500T，是Common Crawl的5倍。

除此之外，還可以用另一種思路建模，估算整個互聯(lián)網(wǎng)的數(shù)據(jù)總量——從使用人數(shù)入手。

網(wǎng)絡(luò)上大部分文本數(shù)據(jù)都是用戶生成的，并存儲在各種平臺上，因此，考慮互聯(lián)網(wǎng)用戶數(shù)和人均產(chǎn)生數(shù)據(jù)量，即可估計人類生成的公開文本數(shù)據(jù)量。

根據(jù)人口增長以及互聯(lián)網(wǎng)逐漸普及的趨勢，論文對互聯(lián)網(wǎng)用戶增長趨勢進行建模，得出的曲線與歷史數(shù)據(jù)非常吻合。

假設(shè)每個用戶平均生成數(shù)據(jù)率保持不變，論文預(yù)計2024年上傳的文本數(shù)據(jù)總量為180T~500T tokens。

根據(jù)這個預(yù)測結(jié)果以及已知的增長趨勢，論文預(yù)估，互聯(lián)網(wǎng)上的存量數(shù)據(jù)為3100T。

由于同時考慮了索引網(wǎng)絡(luò)和深層網(wǎng)絡(luò)（搜索引擎無法觸及的網(wǎng)頁），這個數(shù)字可以看作索引網(wǎng)絡(luò)數(shù)據(jù)量的上限。

5G時代的沖浪選手應(yīng)該都有體會，雖然在同一個互聯(lián)網(wǎng)，但文本和文本的質(zhì)量可以有云泥之別。

比如，在書籍或維基百科的文本上訓(xùn)練出的模型，與Youtube評論喂出的模型，可能有很大的性能差異。因此，只用token數(shù)量衡量數(shù)據(jù)的話，就過于片面了。

但也不能對網(wǎng)絡(luò)數(shù)據(jù)失去信心。之前有多項研究表明，通過仔細的過濾和數(shù)據(jù)處理，網(wǎng)絡(luò)數(shù)據(jù)帶來的性能依舊優(yōu)于人工精心挑選的語料庫。

論文地址:https://arxiv.org/abs/2306.01116

研究人員嘗試對Common Crawl數(shù)據(jù)集進行類似的處理，發(fā)現(xiàn)過濾后數(shù)據(jù)集大小會降低30%。同時，另一項去年的研究也發(fā)現(xiàn)，剪除Common Crawl中50%的重復(fù)數(shù)據(jù)可以實現(xiàn)最佳性能。

因此，有比較充足的理由相信，數(shù)據(jù)總量的10%-30%可作為高質(zhì)量數(shù)據(jù)用于訓(xùn)練，相當(dāng)于索引網(wǎng)絡(luò)510T數(shù)據(jù)中的100T左右。

以上是對互聯(lián)網(wǎng)數(shù)據(jù)池的預(yù)估，是數(shù)據(jù)的供給方。接下來，需要對數(shù)據(jù)使用方——數(shù)據(jù)集容量（變量D）進行預(yù)估。

Epoch曾經(jīng)在2022年發(fā)表了一個知名的機器學(xué)習(xí)模型數(shù)據(jù)庫，包含了300多個模型，從中選取2010年-2024年間發(fā)表的80余個LLM進行分析。

上圖表明，目前LLM使用的最大訓(xùn)練集約為10T。Epoch AI之前也曾預(yù)估過，GPT-4訓(xùn)練集大小達到了12T tokens。

如果直接根據(jù)歷史趨勢進行外插（圖中藍線），那么到2030年，模型可以接受超過1000T tokens的訓(xùn)練。

但這個結(jié)果沒有同時考慮算力的限制。根據(jù)Scaling Law，Transformer架構(gòu)所需的數(shù)據(jù)量大致隨訓(xùn)練算力的平方根擴展。

將計算資源和電力資源的約束引入后，就得到了下圖中的預(yù)測曲線。

由此，論文就得出了預(yù)測結(jié)果。按照目前互聯(lián)網(wǎng)數(shù)據(jù)總量和訓(xùn)練數(shù)據(jù)集的增長速度，如果以當(dāng)前趨勢繼續(xù)下去，數(shù)據(jù)耗盡年份的中位數(shù)是2028年，最大可能性是2032年。

這意味著，未來10年內(nèi)，數(shù)據(jù)將成為LLM的重大瓶頸，「數(shù)據(jù)墻」將成為現(xiàn)實。

慢著，記不記得之前我們預(yù)估過，整個互聯(lián)網(wǎng)上的文本數(shù)據(jù)總量約為3100T，這些數(shù)據(jù)怎么沒有算進去?

遺憾的是，這部分?jǐn)?shù)據(jù)大多分布在Fackbook、Instagram、WhatsApp等社交媒體上，抓取過程不僅復(fù)雜、昂貴，而且涉及個人隱私相關(guān)的法律問題，因此幾乎無法應(yīng)用于LLM的訓(xùn)練。

但Meta公司等機構(gòu)似乎沒有放棄，仍在探索可能的路徑來利用這些數(shù)據(jù)。

「數(shù)據(jù)墻」擋不住LLM?

這篇論文并沒有止步于一個偏向于悲觀的預(yù)測結(jié)論，因為同時考慮其他的因素，「數(shù)據(jù)墻」只會讓模型擴展的速度放緩，而不是完全停滯。

Epoch AI的創(chuàng)始人也在此前的采訪中表示過，雖然我們能看到「數(shù)據(jù)耗盡」的前景，但「目前還沒有感到恐慌的理由。」

目前就至少有兩種策略可以繞過人類文本數(shù)據(jù)的瓶頸，而且在論文作者看來，這兩種方法都是「前途無量」。

根據(jù)報道，僅OpenAI一家公司的模型每天就能生成100B個單詞，也就是每年36.5T個單詞，相當(dāng)于Common Crawl中優(yōu)質(zhì)單詞的總數(shù)。

這遠遠快于人類生成文本的速度，可以讓數(shù)據(jù)存量急劇擴大，而且在模型輸出相對容易驗證的領(lǐng)域很有前景，比如數(shù)學(xué)、編程、游戲等等。

使用合成數(shù)據(jù)訓(xùn)練的最著名模型莫過于AlphaZero，它通過自我對弈達到了人類棋手都未能企及的水平。

此外2024年最新發(fā)布的AlphaGeometry同樣使用合成數(shù)據(jù)進行訓(xùn)練，嘗試解決幾何問題。

然而，當(dāng)合成數(shù)據(jù)推廣到自然語言領(lǐng)域時，似乎存在一些本質(zhì)問題。

之前有研究表明，使用模型輸出的文本進行迭代訓(xùn)練，會丟失有關(guān)人類文本數(shù)據(jù)分布的信息，讓生成的語言越來越同質(zhì)化且不切實際。

有研究者還把合成數(shù)據(jù)導(dǎo)致的模型崩潰形象比喻為「近親結(jié)婚」，稱這種LLM為「哈布斯堡模型」。

但這個問題也并非無解。有之前的研究證明，通過使用多樣的訓(xùn)練數(shù)據(jù)，或者混合一些人類文本數(shù)據(jù)，既可以合理利用訓(xùn)練數(shù)據(jù)，又能一定程度上緩解副作用。

另一種選擇就是超越文本數(shù)據(jù)，從其他領(lǐng)域「掘金」。

除了我們熟知的視頻、圖像之外，金融市場數(shù)據(jù)或科學(xué)數(shù)據(jù)庫也可以使用。有人預(yù)測，到2025年，基因組學(xué)數(shù)據(jù)將以每年200-4000萬兆字節(jié)的速度增長。

除了這兩種方法，很多實驗室和初創(chuàng)公司也正在積極探索。比如DatologyAI正在研究一種名為「課程學(xué)習(xí)」（curriculum learning）的方法，把數(shù)據(jù)按特定順序輸入，以期LLM能夠在概念之間形成更智能的聯(lián)系。

2022年他們發(fā)表的論文顯示，如果數(shù)據(jù)無誤，使用這種訓(xùn)練方法的模型可以用一半的數(shù)據(jù)實現(xiàn)相同的效果。

也許，Epoch AI創(chuàng)始人的話的確有道理。雖然數(shù)據(jù)是有限的，「數(shù)據(jù)墻」也是可預(yù)期的，但方法總比困難多。

「最大的不確定性在于，你會看到什么樣的技術(shù)突破?！?/p>

參考資料:

https://x.com/EpochAIResearch/status/1798742418763981241

https://epochai.org/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data

https://x.com/alexandr_wang/status/1799930063192002701

https://time.com/6985850/jaime-sevilla-epoch-ai/

以上就是關(guān)于【Scaling Law觸礁「數(shù)據(jù)墻」？Epoch AI發(fā)文預(yù)測LLM到2028年耗盡所有文本數(shù)據(jù)】的相關(guān)內(nèi)容，希望對大家有幫助！