相信很多大家對從ALOHA邁向Humanplus，斯坦福開源人形機器人，「高配版人類」上線還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

說起前段時間斯坦福開源的 Mobile ALOHA 全能家務(wù)機器人，大家肯定印象深刻，ALOHA 做起家務(wù)活來那是有模有樣:滑蛋蝦仁、蠔油生菜、干貝燒雞，一會兒功夫速成大餐:

研究團隊來自斯坦福，由三個人共同打造完成。Zipeng Fu 為項目共同負(fù)責(zé)人，他是斯坦福大學(xué) AI 實驗室的計算機科學(xué)博士生，師從 Chelsea Finn 教授;Tony Z. Zhao 也是斯坦福大學(xué)的計算機科學(xué)博士生，導(dǎo)師也是 Chelsea Finn。

現(xiàn)在，繼 ALOHA 之后，Zipeng Fu、Chelsea Finn 等人又聯(lián)合推出了一款新的機器人研究 HumanPlus，不過這次 Tony Z. Zhao 沒有出現(xiàn)在作者欄里，而是在致謝名單上。

HumanPlus 團隊成員。

這款機器人能夠自主的疊衣服，然而即使是2倍速，動作看起來也是慢吞吞:

充當(dāng)倉庫的搬運工，準(zhǔn)確的將物品放置在機器狗背上的籃子里:

給大家表演個向后跳的節(jié)目，就像人類一樣，扎個馬步讓自己穩(wěn)妥一點:

可能你都不會彈的鋼琴，但這次機器人會了，它不是亂彈一通，仔細(xì)聽還能聽出旋律來:

化身你的乒乓球搭子，來上幾個回合沒有問題:

像個電腦新手一樣，在鍵盤上努力的敲出「HELLO WORLD」

打起拳來也是有模有樣

值得一提的是，這次斯坦福團隊公布了論文、機器人材料清單、數(shù)據(jù)集以及代碼。正如 Tony Z. Zhao 所表示的「這是唯一一篇完全開源的論文，雖然我們處在一個前沿的研究時代，但充滿了閉源、競爭等其他因素的限制，這個領(lǐng)域需要更多開放的科學(xué)，而不是酷炫的演示?！?/p>

根據(jù)材料清單我們推測完成機器人組裝大約花費107，945美元。

研究介紹

論文地址:https://humanoid-ai.github.io/

論文標(biāo)題:HumanPlus: Humanoid Shadowing and Imitation from Humans

長期以來，人形機器人因其類似人的形態(tài)而備受關(guān)注。這主要得益于我們周圍的環(huán)境、工具等都是依據(jù)人類形態(tài)而設(shè)計的，因此人類大小的機器人在解決人類從事的任務(wù)上潛力巨大。

通過模仿人類，人形機器人為實現(xiàn)通用機器人智能提供了一個充滿希望的途徑。

然而，在實際操作中，要讓人形機器人從以自我為中心的視角學(xué)習(xí)自主技能仍然面臨挑戰(zhàn)。這主要是因為人形機器人在感知和控制方面的復(fù)雜性，以及其在形態(tài)結(jié)構(gòu)和執(zhí)行機制上與人類之間仍存在的物理差異。此外，還缺乏一套數(shù)據(jù)處理流程，可以讓人形機器人通過以自我為中心的視角學(xué)習(xí)自主技能。

基于此，斯坦福團隊開發(fā)了一個全棧系統(tǒng)，用于人形機器人從人類數(shù)據(jù)中學(xué)習(xí)運動和自主技能。該研究首先基于40小時的人體運動數(shù)據(jù)集，通過強化學(xué)習(xí)在模擬環(huán)境中訓(xùn)練低級策略。然后將這一策略遷移到現(xiàn)實世界中，從而允許人形機器人僅使用 RGB 相機實時跟蹤人體和手部運動，稱為 Shadowing 系統(tǒng)。

通過 Shadowing，人類操作員可以遠(yuǎn)程操作人形機器人來收集全身數(shù)據(jù)，以便在現(xiàn)實世界中學(xué)習(xí)不同的任務(wù)。基于收集到的數(shù)據(jù)，隨后進行有監(jiān)督的行為克隆，使用以自我為中心的視角來訓(xùn)練機器人的技能策略，使人形機器人能夠通過模仿人類的技能自主完成不同任務(wù)。

研究者在定制的33自由度、高180cm 的人形機器人上演示了該系統(tǒng)，通過多達(dá)40次演示，該系統(tǒng)可以自主完成諸如穿鞋站立和行走，從倉庫貨架上卸載物品，折疊運動衫，重新排列物品，打字以及與另一個機器人打招呼等任務(wù)，成功率為60-100%。

該研究團隊發(fā)布的機器人如圖2左側(cè)所示，具有33個自由度，其中包括兩個擁有6自由度的手指、兩個1自由度的手腕和一個有19自由度的身體（包含:兩個4自由度的手臂、兩個5自由度的腿和一個1自由度的腰部）。

該系統(tǒng)基于 Unitree H1機器人構(gòu)建，每只手臂集成了 Inspire-Robots RH56DFX Hand，通過定制手腕連接，其中每個手腕配有一個 Dynamixel 伺服電機和兩個推力軸承。手和手腕均通過串行通信控制。

機器人頭部安裝了兩個 RGB 網(wǎng)絡(luò)攝像頭（Razer Kiyo Pro），向下傾斜50度，瞳距為160毫米。手指可以施加高達(dá)10牛頓的力，而手臂可以舉起重達(dá)7.5公斤的物品。腿部的電機在操作過程中可以產(chǎn)生高達(dá)360Nm 的瞬時扭矩。圖2右側(cè)提供了該機器人的其他技術(shù)規(guī)格信息。

人體部分和手部動作使用 SMPL-X 模型進行參數(shù)化。為了重定向身體姿態(tài)，研究人員將 SMPL-X 對應(yīng)的歐拉角復(fù)制到類人模型中，即髖部、膝蓋、腳踝、軀干、肩膀和肘部。機器人的每個髖部和肩部關(guān)節(jié)由3個正交旋轉(zhuǎn)關(guān)節(jié)組成，因此可以視為一個球形關(guān)節(jié)。機器人的手指有6個自由度:每個食指、中指、無名指和小指各1個自由度，大拇指2個自由度。為了重定向手部姿勢，他們使用中間關(guān)節(jié)的旋轉(zhuǎn)來映射每個手指的對應(yīng)歐拉角。并且通過使用前臂和手的全局方向之間的相對旋轉(zhuǎn)，計算1自由度的手腕角度。

如圖3所示，身體姿勢估計和重定向在 NVIDIA RTX4090GPU 上以每秒25幀的速度運行。

實時手部姿勢估計和重定向:該團隊使用 HaMeR——一個基于 Transformer 的手部姿態(tài)估計器，通過單個 RGB 攝像頭進行實時手部姿態(tài)估計。手部姿勢估計和重定向在 NVIDIA RTX4090GPU 上以每秒10幀的速度運行。

該研究將低級策略 Humanoid Shadowing Transformer 制定為僅解碼器的 Transformer，如圖4左側(cè)所示。

在每個時間步中，策略的輸入是人形機器人的本體感知和目標(biāo)姿態(tài)。策略的輸出是人形機器人身體關(guān)節(jié)的19維關(guān)節(jié)位置設(shè)定點，這些設(shè)定點隨后通過1000Hz 的 PD 控制器轉(zhuǎn)換為扭矩。

隨機化模擬環(huán)境和人形機器人的物理參數(shù)見表2。

如圖3所示，研究者使用單個 RGB 攝像頭實時估計人體和手部姿態(tài)，并將人體姿態(tài)重定向為類人目標(biāo)姿態(tài)。

如圖1所示，人類操作員站在人形機器人附近，將他們的實時全身運動投射到人形機器人上，并使用視線觀察人形機器人的環(huán)境和行為，確保遠(yuǎn)程操作系統(tǒng)反應(yīng)靈敏。

在被遠(yuǎn)程操作時，人形機器人通過雙目 RGB 攝像頭收集第一視角視覺數(shù)據(jù)。通過 shadowing，研究人員為各種現(xiàn)實場景任務(wù)提供了一條高效的數(shù)據(jù)收集管道，從而避免了模擬環(huán)境中真實 RGB 渲染、精確軟體對象模擬和多樣化任務(wù)規(guī)范的挑戰(zhàn)。

與其他遠(yuǎn)程操作方法相比，Shadowing 系統(tǒng)更具優(yōu)勢。

以上就是關(guān)于【從ALOHA邁向Humanplus，斯坦福開源人形機器人，「高配版人類」上線】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！