相信很多大家對野心滿滿的Genesis：要讓你用一句話為機器人生成一整個世界還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

來自卡內基梅隆大學、斯坦福大學、麻省理工計算機科學與人工智能實驗室、英偉達和清華大學的眾多核心貢獻者推出了一個全新的物理仿真平臺Genesis，專為通用機器人、具身人工智能和物理AI應用而設計。

Genesis項目已經開發(fā)了2年，結合了生成式AI的創(chuàng)造力和真實世界物理的準確性。能夠創(chuàng)建虛擬環(huán)境并進行訓練幫助機器理解物理世界、更好的與物理世界互動，這種方式不僅逼真，而且速度和效率都很高。

Genesis同時具備多種功能:

- 通用物理引擎:一個從零開始重新構建的通用物理引擎，能夠模擬廣泛的材料和物理現(xiàn)象。

- 機器人仿真平臺:一個輕量級、超快、符合 Python化且用戶友好的機器人仿真平臺。

據(jù)項目貢獻者CMU機器人研究所博士生Zhou Xian表示，Genesis的物理引擎完全采用純Python開發(fā)，其速度卻比廣泛用于機器人模擬和強化學習研究的框架如Isaac Gym和MJX快10到80倍，且完全沒有犧牲精確度。僅需26秒便可在一塊RTX4090上訓練出可遷移至現(xiàn)實世界的機器人運動策略。

使用單個RTX4090，Genesis能在不到2毫秒的時間內同時為10000臺像高級Franka臂這樣的機器人手臂求解IK。這種速度和效率是前所未有的，為大規(guī)模機器人模擬、工業(yè)自動化和復雜研究項目開創(chuàng)了新的可能性。

- 照片級真實感渲染系統(tǒng):一個強大且快速的逼真渲染系統(tǒng)。

- 生成式數(shù)據(jù)引擎:能將用戶提示的自然語言描述轉化為多種形式的數(shù)據(jù)。

其核心在于，Genesis將多種先進的物理求解器整合進一個統(tǒng)一框架，提供了無與倫比的仿真能力。這一強大的基礎，輔以生成式代理框架，旨在自動化數(shù)據(jù)生成，推動機器人研究及更廣泛領域的邊界。

#01

Genesis的主要特點

-統(tǒng)一物理模擬:基于通用物理引擎，Genesis集成了尖端的求解器，以卓越的精度和保真度模擬廣泛的物理場景。

-生成式框架:生成式代理框架作為一個模塊化系統(tǒng)運行，集成了多種生成模塊以處理不同的數(shù)據(jù)形態(tài)。這些模塊由一個高級代理進行路由，無縫整合現(xiàn)有研究和持續(xù)進展。

Genesis項目引入了一個生成式代理，能夠完全自主地處理教導機器人在真實環(huán)境中運行的每個步驟。首先，它自主設計模擬真實世界空間的虛擬環(huán)境，如廚房、客廳和其他日常環(huán)境。然后，它為機器人提出要執(zhí)行的任務，比如打開微波爐、拾取物品或在家具間導航。

-開源可訪問性:物理引擎和仿真平臺已開源，研究人員和開發(fā)者能夠自由探索、實驗并創(chuàng)新。生成功能將逐步推出，以擴大訪問范圍。

-照片級真實感渲染:Genesis將超快渲染能力與視覺震撼效果相結合，使模擬更加沉浸式且逼真。

Genesis還支持角色動作生成，比如能做出一個會雜技動作的小悟空，還能生成各種機器人控制策略，例如整理書本的機械臂、能同步翻轉的無人機等等。

目前，Genesis團隊正在開源底層物理引擎和仿真平臺，官方稱生成框架的訪問權限將在不久的將來逐步推出。

不過，也有網(wǎng)友表示:用一個完全不存在的generate函數(shù)來演示有畫大餅的嫌疑。“就算這部分內容不開源，也希望作者團隊能出一個實機演示視頻?！?/p>

#02

又一個世界模擬器?更多是解決具身智能的數(shù)據(jù)瓶頸

Genesis團隊的目標是構建一個通用數(shù)據(jù)引擎，利用上層生成框架自主創(chuàng)建物理世界，并伴隨多種數(shù)據(jù)模式，包括環(huán)境、攝像機運動、機器人任務提案、獎勵函數(shù)、機器人策略、角色動作、完全交互的3D 場景、開放世界的關節(jié)資產等，旨在實現(xiàn)機器人、物理 AI 及其他應用的完全自動化數(shù)據(jù)生成。

顯然，它并不是一個世界模擬器/Sora。Genesis是物理引擎和生成式AI的混合體，主要的作用是為通用機器人學習的提供了一個統(tǒng)一的模擬平臺，通過降低物理模擬的門檻，虛擬再現(xiàn)現(xiàn)實世界，從而減少人類在數(shù)據(jù)生成中的投入，實現(xiàn)機器人及相關領域中自動化和自給自足的數(shù)據(jù)生態(tài)系統(tǒng)。

機器人的數(shù)據(jù)收集一直是一個棘手的問題，一種方法是通過手動操作機器人來采集數(shù)據(jù)，因為是在真實物理世界中與機器人互動，可以確切知道機器人的位置、如何與世界互動，以及任務是如何成功或失敗的。然而現(xiàn)實世界的數(shù)據(jù)采集成本高、效率低、難以擴展，并且存在各種局限性 （數(shù)據(jù)模態(tài)不完整、難以收集閉環(huán)數(shù)據(jù)等）。Genesis的解決方式是利用物理模擬和生成式AI技術，自主生成大量多樣化的訓練數(shù)據(jù)，無需依賴昂貴的真機數(shù)據(jù)采集，從而降低數(shù)據(jù)獲取的門檻。

此外，許多仿真環(huán)境在物理特性和渲染效果方面與現(xiàn)實世界存在差距，導致訓練出的機器人難以在現(xiàn)實世界中應用，形成“Sim2Real Gap”。Genesis的解決方式是提供一個能夠模擬各種材料和物理現(xiàn)象的通用物理引擎，并采用真實感渲染系統(tǒng)，盡可能使仿真環(huán)境逼近真實世界，支持基于物理原理的觸覺傳感器模擬。類似英偉達的Isaac Sim或Isaac Gym等項目通過仿真技術，加速了機器人領域的發(fā)展。

從展示的demo來看，Genesis支持自然語言描述生成相應的場景，利用生成式AI技術生成傳感器數(shù)據(jù)和策略，渲染物理屬性的仿真也做得很到位，這對于解決具身數(shù)據(jù)稀缺，具有非常重要的意義。

關于機器人行業(yè)的仿真問題，地瓜機器人云平臺副總裁秦玉森向硅星人表達了他的看法:

以阿波羅登月計劃為例，即便我們擁有當年的所有數(shù)據(jù)資產，在今天也難以完全復刻這一壯舉。這不僅僅是因為許多原始電子元器件已經停產，更重要的是，僅僅依靠更強大的算力和更多的數(shù)據(jù)并不能解決根本問題。雖然現(xiàn)代智能手機的運算能力已經遠超當年的超級計算機，但在載人登月這樣的復雜工程面前，我們依然面臨重重挑戰(zhàn)。

“因為化簡為繁易，化繁為簡難，缺少能在數(shù)學和工程上優(yōu)雅的做到化簡，仿真只是徒增計算量?！?“仿真仿的足夠真，是需要算力和各種資源的，對于機器人來說，那為何不直接在現(xiàn)實世界中不斷搭建呢?”

因此，他認為Genesis作為引擎的價值在于可以讓仿真的工程在“工程架構”相對優(yōu)雅，化繁為簡的把調用引擎需要理解的各種物理屬性，變?yōu)槟芡ㄟ^自然語言進行引擎搭建。

他表示，Genesis的本質是證明了某條路可行，但距離真正的創(chuàng)造實際價值，還需要很多下游的產業(yè)人員配合。

“比如當年英偉達Issac SIM應該是2018年發(fā)布的，至今6年了，業(yè)界有人使用，但是還是在易用度上有些許問題?！?/p>

Genesis的團隊的Chuang Gan則在X上表示，“我認識到許多機器人學家對此方法持懷疑態(tài)度，指出設置模擬器和解決模擬與現(xiàn)實差距的困難。他們主張僅專注于從現(xiàn)實世界數(shù)據(jù)中學習。我理解這些擔憂，但我堅信我們不能僅僅因為創(chuàng)建一個好的物理模擬器具有挑戰(zhàn)性就繞過物理模擬器!”他說，“請加入Genesis社區(qū)!我們希望說服機器人界‘Generative Physics Simulator is all You Need!’”

Genesis或許還并不能做到“創(chuàng)世記”，但AI離真實的物理世界的確是越來越近了。

以上就是關于【野心滿滿的Genesis：要讓你用一句話為機器人生成一整個世界】的相關內容，希望對大家有幫助！