日本高清色午夜com,色综合国产精品视频,午夜亚洲在在线观看,国产午夜在线网站

      <td id="p7kjh"></td>
      <td id="p7kjh"></td>

      首頁 >> 知識(shí)精選 >

      一種深度強(qiáng)化學(xué)習(xí)模型 允許AI代理跟蹤氣味羽流

      2023-02-11 20:30:33 來源: 用戶: 

      長期以來,科學(xué)家和工程師從動(dòng)物的驚人能力中汲取靈感,并試圖在機(jī)器人和人工智能(AI)代理中對這些能力進(jìn)行逆向工程或復(fù)制。其中一種行為是氣味羽流跟蹤,這是一些動(dòng)物,特別是昆蟲,通常遠(yuǎn)距離尋找感興趣的特定氣味(例如食物或配偶)來源的能力。

      華盛頓大學(xué)和內(nèi)華達(dá)大學(xué)里諾分校的研究人員進(jìn)行的一項(xiàng)新研究采用了一種使用人工神經(jīng)網(wǎng)絡(luò)(ANN)的創(chuàng)新方法來理解飛行昆蟲的這種非凡能力。他們的工作最近發(fā)表在《自然機(jī)器智能》上,舉例說明了人工智能如何推動(dòng)突破性的新科學(xué)見解。

      “我們有動(dòng)力研究一種復(fù)雜的生物學(xué)行為,氣味羽流跟蹤,飛行昆蟲(和其他動(dòng)物)用來尋找食物或配偶,”該研究的第一作者Satpreet H. Singh告訴Tech Xplore。“生物學(xué)家已經(jīng)通過實(shí)驗(yàn)詳細(xì)研究了昆蟲羽流跟蹤的許多方面,因?yàn)樗抢ハx生存和繁殖的關(guān)鍵行為。

      雖然羽流跟蹤是一種至關(guān)重要的生物學(xué)能力,但它也是生物智能的一個(gè)顯著例子,因?yàn)樗枰蠈Ξ?dāng)前和以前經(jīng)歷的氣味的記憶,以及處理間歇性或不可靠的嗅覺線索和風(fēng)感信號,使昆蟲能夠快速適應(yīng)它們的飛行軌跡。

      “他們這樣做時(shí)沒有他們飛行的環(huán)境的全球地圖,”辛格補(bǔ)充道。

      如果在機(jī)器人或人工代理中可靠地復(fù)制,氣味羽流跟蹤可以讓研究人員制造出更好的機(jī)器人,可以檢測和跟蹤有害氣體泄漏、野火和其他環(huán)境威脅。

      “我們沒有進(jìn)行傳統(tǒng)的實(shí)驗(yàn)室風(fēng)洞實(shí)驗(yàn),而是使用人工神經(jīng)網(wǎng)絡(luò)的互補(bǔ)'計(jì)算機(jī)'方法,”Singh解釋說。“這有助于我們在多個(gè)層面上對羽流跟蹤形成綜合理解,包括緊急行為、神經(jīng)表征和神經(jīng)動(dòng)力學(xué)。

      許多神經(jīng)科學(xué)家已經(jīng)開始使用在標(biāo)記數(shù)據(jù)上訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)(ANN)來研究和人工復(fù)制生物過程。在他們的研究中,Singh和他的同事使用了深度強(qiáng)化學(xué)習(xí)(DRL),這是一種算法工具包,才剛剛開始在神經(jīng)科學(xué)中獲得牽引力,它使用模擬而不是標(biāo)記數(shù)據(jù)來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。

      “DRL最近在神經(jīng)科學(xué)之外的一些非常成功的應(yīng)用包括DeepMind著名的圍棋游戲AI,或者OpenAI最近的一些GPT語言模型,”Singh說。“就像在動(dòng)物訓(xùn)練中一樣,DRL使用模擬的'獎(jiǎng)勵(lì)'和'懲罰'來訓(xùn)練可以自主完成任務(wù)的ANN代理。

      為了使用DRL訓(xùn)練他們的羽流跟蹤劑,研究人員首先模擬了位于總面積約為120米的多風(fēng)競技場內(nèi)散發(fā)的氣味。2.當(dāng)他們的代理人確定氣味來源的位置時(shí),他們得到了獎(jiǎng)勵(lì)。相反,如果他們忘記了氣味羽流并離開了競技場,他們就會(huì)受到“懲罰”。

      “經(jīng)過培訓(xùn)后,我們利用模擬器的靈活性來生成具有各種氣味濃度和風(fēng)力模式的羽流,以查看代理在不同條件下的精確行為,”辛格說。“在真實(shí)的風(fēng)洞中重現(xiàn)對羽流配置的這種細(xì)粒度控制將是一項(xiàng)相當(dāng)費(fèi)力的工作。

      Singh和他的同事們還能夠觀察他們的人工神經(jīng)網(wǎng)絡(luò)的各個(gè)單位(即人工神經(jīng)元)的活動(dòng),因?yàn)樗櫫藲馕队鹆?。在追蹤過程中,這種個(gè)體神經(jīng)元記錄尚未在昆蟲自由形態(tài)飛行期間收集到,因?yàn)樗鼈兪鞘褂矛F(xiàn)有技術(shù)無法實(shí)現(xiàn)的。

      “在我們訓(xùn)練有素的人工代理中出現(xiàn)的行為與生物學(xué)家之前在進(jìn)行羽流跟蹤的飛行昆蟲中觀察到的行為模塊非常相似,”辛格說。

      研究人員收集的記錄表明,他們的模型可能會(huì)復(fù)制支持動(dòng)物氣味羽流追蹤的生物學(xué)過程。隨后,Singh和他的同事模擬了可以在未來的風(fēng)洞真實(shí)世界實(shí)驗(yàn)中重現(xiàn)的羽流配置。

      這些模擬使他們能夠生成不同的假設(shè),說明人工代理在不斷變化的風(fēng)力條件下跟蹤羽流時(shí)的行為。他們專門研究了風(fēng)向經(jīng)常變化的情況。

      “利用來自ANN代理的同時(shí)行為和神經(jīng)觀察,我們對支持羽流跟蹤的算法和神經(jīng)計(jì)算產(chǎn)生了直覺和洞察力,”Singh解釋說。“例如,我們看到神經(jīng)活動(dòng)編碼變量,例如自最后一次氣味相遇以來的時(shí)間,這些變量以前被假設(shè)對羽流跟蹤很重要。先前的實(shí)驗(yàn)和計(jì)算結(jié)果之間的這些相似性表明,這些數(shù)量對于成功的羽流跟蹤至關(guān)重要。

      除了實(shí)現(xiàn)關(guān)鍵技術(shù)進(jìn)步外,還可以對ANN試劑進(jìn)行逆向工程,以更好地了解它們的工作原理,這反過來又可能為神經(jīng)科學(xué)研究提供信息。因此,Singh和他的同事創(chuàng)建的模型也可能被神經(jīng)科學(xué)家用于研究氣味羽流跟蹤背后的生物學(xué)過程。

      在未來,研究人員希望他們的模型能夠激發(fā)機(jī)器人代理的創(chuàng)建,這些機(jī)器人代理可以在搜救任務(wù),環(huán)境監(jiān)測工作和其他應(yīng)用中跟蹤氣味。在接下來的研究中,他們計(jì)劃通過提高模擬和代理的物理和生物保真度來進(jìn)一步發(fā)展他們的模型,以便它們更好地代表現(xiàn)實(shí)世界的氣味羽流。此外,他們希望人工再現(xiàn)飛行昆蟲的其他生理特征和能力。

      “還需要更多的理論工作來理解我們的人工神經(jīng)網(wǎng)絡(luò),進(jìn)一步了解產(chǎn)生緊急行為的計(jì)算,”辛格補(bǔ)充道。“最后,我們的代理執(zhí)行一項(xiàng)任務(wù),即羽毛跟蹤,而飛行昆蟲的行為要豐富得多。開發(fā)可以重現(xiàn)如此豐富的生物復(fù)雜性的模擬和代理訓(xùn)練范式是一項(xiàng)艱巨的工程挑戰(zhàn),應(yīng)該激發(fā)未來的工作。

        免責(zé)聲明:本文由用戶上傳,與本網(wǎng)站立場無關(guān)。財(cái)經(jīng)信息僅供讀者參考,并不構(gòu)成投資建議。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請聯(lián)系刪除!

       
      分享:
      最新文章