近年來(lái)，語(yǔ)言模型在自然語(yǔ)言處理領(lǐng)域掀起了風(fēng)暴，但即使是最先進(jìn)的模型也有其局限性。他們?cè)谒阈g(shù)和事實(shí)檢查等基本任務(wù)中掙扎。然而，由Meta的研究人員開(kāi)發(fā)的名為T(mén)oolformer的新AI語(yǔ)言模型有望改變這種狀況。

Toolformer 不同于其他語(yǔ)言模型，如 ChatGPT，因?yàn)樗举|(zhì)上可以自學(xué)使用外部工具，如搜索引擎、計(jì)算器和日歷。這要?dú)w功于API的使用，這是應(yīng)用程序編程接口的縮寫(xiě)。Toolformer 可以使用 API 訪問(wèn)來(lái)自各種外部軟件工具的信息，包括語(yǔ)言翻譯器和事實(shí)參考。

在訓(xùn)練期間，Toolformer 得到了一小組人類編寫(xiě)的示例，演示了如何使用每個(gè) API，然后允許它注釋一個(gè)大型語(yǔ)言建模數(shù)據(jù)集。它以“自我監(jiān)督”的方式做到這一點(diǎn)。該模型學(xué)會(huì)了預(yù)測(cè)每個(gè)基于文本的 API 調(diào)用，就好像它們是任何其他形式的文本一樣。運(yùn)行時(shí)，它可以根據(jù)需要插入調(diào)用，甚至可以自行決定使用哪種工具(以及如何使用它)。

Toolformer的API調(diào)用功能使其能夠解決其他語(yǔ)言模型(如算術(shù))中的限制。例如，如果用戶希望基于 LLM 的助手向其日歷添加日期，則 Toolformer 可以使用指向日歷應(yīng)用的 API 鏈接來(lái)處理該任務(wù)。

Toolformer 建立在具有 6 億個(gè)參數(shù)的預(yù)訓(xùn)練 GPT-J 模型之上。在各種面向工具的模型上進(jìn)行的各種實(shí)驗(yàn)得出結(jié)論，Toolformer 的性能比大得多的 GPT-7 模型要好得多。值得注意的是，GPT-3 模型有超過(guò) 3 億個(gè)參數(shù)。

雖然將外部工具集成到語(yǔ)言模型中并不是一個(gè)新概念，但大多數(shù)現(xiàn)有方法都依賴于大量的人工注釋，或者僅限于特定的任務(wù)特定設(shè)置。另一方面，Toolformer可以學(xué)習(xí)以通用的方式使用一系列工具，而無(wú)需對(duì)特定任務(wù)進(jìn)行專門(mén)培訓(xùn)。但是，此類語(yǔ)言模型可能會(huì)意外調(diào)用錯(cuò)誤的工具或?qū)τ脩魯?shù)據(jù)造成損害，這始終存在很小的風(fēng)險(xiǎn)。盡管如此，Toolformer是朝著自然語(yǔ)言處理領(lǐng)域正確方向邁出的有希望的一步。