相信很多大家對(duì)Yandex開源LLM訓(xùn)練工具節(jié)省高達(dá)20%的GPU資源還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

2024年6 月11 日，莫斯科——跨國(guó)科技公司Yandex 最近推出了YaFSDP，這是一種用于訓(xùn)練大型語(yǔ)言模型(LLM)的開源方法。YaFSDP是目前最有效的公開可用工具，用于增強(qiáng)GPU 通信并減少LLM 訓(xùn)練中的內(nèi)存使用量，與FSDP相比，其訓(xùn)練速度提升最高可達(dá)26%，具體取決于架構(gòu)和參數(shù)數(shù)量。通過使用YaFSDP 減少LLM 的訓(xùn)練時(shí)間可以節(jié)省高達(dá)20% 的GPU 資源。

Yandex承諾為全球人工智能社區(qū)的發(fā)展做出貢獻(xiàn)，將YaFSDP開源提供給全球的LLM開發(fā)人員和人工智能愛好者即是履行此承諾的其中一步。

“目前，我們正在積極嘗試各種模型架構(gòu)和參數(shù)大小，以擴(kuò)展YaFSDP的多功能性，”Yandex高級(jí)開發(fā)專家、YaFSDP團(tuán)隊(duì)成員Mikhail Khruschev指出，“我們很高興與全球ML 社區(qū)分享我們?cè)贚LM訓(xùn)練方面的研發(fā)成果，希望能為全球研究人員和開發(fā)者獲得更多的開源工具和更高的效率做出貢獻(xiàn)?！?/p>

YaFSDP案例

LLM訓(xùn)練是一個(gè)耗時(shí)且資源密集的過程。機(jī)器學(xué)習(xí)工程師和自主開發(fā)LLM 的公司投入了大量的時(shí)間和GPU資源（相當(dāng)于金錢）來訓(xùn)練這些模型。模型越大，其訓(xùn)練所需的時(shí)間和費(fèi)用就越高。

Yandex的YaFSDP優(yōu)化了學(xué)習(xí)速度和性能，使全球的AI開發(fā)人員在訓(xùn)練模型時(shí)可以使用更少的計(jì)算能力和GPU 資源。例如，在涉及具有700億個(gè)參數(shù)之模型的預(yù)訓(xùn)練場(chǎng)景中，使用YaFSDP 可以節(jié)省大約150 個(gè)GPU的資源，這意味著每月可以節(jié)省大約50 萬美元到150萬美元（取決于虛擬GPU 提供商或平臺(tái)）。

YaFSDP通過消除GPU通信效率低下來提升效能，確保訓(xùn)練時(shí)只需必要的處理器內(nèi)存，并使GPU 交互不間斷。

YaFSDP的訓(xùn)練效率

YaFSDP是FSDP 的增強(qiáng)版，在LLM訓(xùn)練中最耗通信的階段（如預(yù)訓(xùn)練、對(duì)齊和微調(diào)）中，其表現(xiàn)優(yōu)于FSDP 方法。YaFSDP在Llama 2 和Llama 3上展示的最終提速表明訓(xùn)練速度顯著提高，在Llama 2 70B 和Llama 3 70B 上分別達(dá)到21% 和26%。

MikhailKhruschev 表示：“YaFSDP在130 億至700億個(gè)參數(shù)的模型上表現(xiàn)出色，在300 億至700億個(gè)參數(shù)范圍內(nèi)表現(xiàn)尤為驚人。目前，YaFSDP最適合基于LLaMA架構(gòu)的廣泛使用之開源模型?！?/p>

YaFSDP并不是Yandex的第一個(gè)開源工具。該公司之前曾分享過其他幾款在ML 社區(qū)中很受歡迎的工具，包括：

CatBoost：一種高性能的基于決策樹之梯度提升庫(kù)。

YTsaurus：分布式存儲(chǔ)和處理的大數(shù)據(jù)平臺(tái)。

AQLM：最先進(jìn)的量化算法之一，用于大型語(yǔ)言模型的極限壓縮。由 Yandex Research、HSE 大學(xué)、 IST Austria 及 NeuralMagic 共同開發(fā)。

Petals：是一個(gè)旨在簡(jiǎn)化 LLM 訓(xùn)練和微調(diào)過程的庫(kù)，由 Yandex Research、HSE 大學(xué)、華盛頓大學(xué)、Hugging Face、巴黎-薩克雷高等經(jīng)濟(jì)學(xué)院和 Yandex 數(shù)據(jù)分析學(xué)院合作開發(fā)。

以上就是關(guān)于【Yandex開源LLM訓(xùn)練工具節(jié)省高達(dá)20%的GPU資源】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！