在一項(xiàng)新的研究中，印度科學(xué)研究所(IISc)的研究人員展示了一種受腦啟發(fā)的圖像傳感器如何超越光的衍射極限來檢測微小的物體，如細(xì)胞成分或當(dāng)前顯微鏡不可見的納米顆粒。他們的新技術(shù)將光學(xué)顯微鏡與神經(jīng)形態(tài)相機(jī)和機(jī)器學(xué)習(xí)算法相結(jié)合，在精確定位小于50納米的物體方面邁出了重要一步。研究結(jié)果發(fā)表在Nature Nanotechnology上。

自從光學(xué)顯微鏡發(fā)明以來，科學(xué)家們一直在努力超越稱為衍射極限的屏障，這意味著如果兩個物體小于一定尺寸(通常為200-300納米)，顯微鏡就無法區(qū)分它們。

他們的努力主要集中在修改被成像的分子或開發(fā)更好的照明策略上，其中一些導(dǎo)致了2014年諾貝爾化學(xué)獎。“但很少有人真正嘗試使用探測器本身來嘗試超越這個檢測極限，”IISc神經(jīng)科學(xué)中心(CNS)副教授，該研究的通訊作者Deepak Nair說。

研究中使用的神經(jīng)形態(tài)相機(jī)尺寸約為40毫米(高度)乘60毫米(寬度)x 25毫米(直徑)，重約100克，模仿人類視網(wǎng)膜將光轉(zhuǎn)換為電脈沖的方式，與傳統(tǒng)相機(jī)相比具有幾個優(yōu)點(diǎn)。在典型的相機(jī)中，每個像素捕獲相機(jī)聚焦在物體上的整個曝光時間內(nèi)落在其上的光的強(qiáng)度，并且所有這些像素匯集在一起以重建物體的圖像。

在神經(jīng)形態(tài)相機(jī)中，每個像素獨(dú)立且異步運(yùn)行，僅當(dāng)落在該像素上的光強(qiáng)度發(fā)生變化時才會生成事件或尖峰。與傳統(tǒng)攝像機(jī)相比，這會產(chǎn)生稀疏且較少的數(shù)據(jù)量，傳統(tǒng)攝像機(jī)以固定速率捕獲每個像素值，而不管場景中是否有任何變化。

神經(jīng)形態(tài)相機(jī)的這種功能類似于人類視網(wǎng)膜的工作方式，并允許相機(jī)以更高的時間分辨率“采樣”環(huán)境 - 因?yàn)樗幌衿胀ㄏ鄼C(jī)那樣受到幀速率的限制 - 并且還執(zhí)行背景抑制。

“這種神經(jīng)形態(tài)相機(jī)具有非常高的動態(tài)范圍(>120 dB)，這意味著您可以從非常低的光線環(huán)境進(jìn)入非常高的光線條件。神經(jīng)形態(tài)相機(jī)的異步特性、高動態(tài)范圍、稀疏數(shù)據(jù)和高時間分辨率的結(jié)合使其非常適合用于神經(jīng)形態(tài)顯微鏡，“電子系統(tǒng)工程系(DESE)助理教授Chetan Singh Thakur解釋說，IISc和合著者。

在目前的研究中，該小組使用他們的神經(jīng)形態(tài)相機(jī)通過以高強(qiáng)度和低強(qiáng)度照射激光脈沖并測量熒光水平的變化來精確定位小于衍射極限的單個熒光珠。隨著強(qiáng)度的增加，相機(jī)將信號捕獲為“ON”事件，而當(dāng)光強(qiáng)度降低時報(bào)告“OFF”事件。來自這些事件的數(shù)據(jù)匯集在一起以重建幀。

為了準(zhǔn)確定位框架內(nèi)的熒光粒子，該團(tuán)隊(duì)使用了兩種方法。第一個是深度學(xué)習(xí)算法，經(jīng)過大約一百五十萬個圖像模擬的訓(xùn)練，這些模擬非常代表實(shí)驗(yàn)數(shù)據(jù)，以預(yù)測物體的質(zhì)心可能在哪里，CNS前研究實(shí)習(xí)生，該研究的第一作者Rohit Mangalwedhekar解釋說。還使用小波分割算法分別確定ON和OFF事件的粒子質(zhì)心。結(jié)合兩者的預(yù)測，團(tuán)隊(duì)能夠以比現(xiàn)有技術(shù)更高的精度將物體的精確位置歸零。

“在像自組織這樣的生物過程中，你有在隨機(jī)或定向運(yùn)動之間交替的分子，或者被固定的分子，”奈爾解釋說。“因此，你需要有能力以盡可能高的精度定位這個分子的中心，這樣我們才能理解允許自組織的拇指法則。

該團(tuán)隊(duì)能夠使用該技術(shù)密切跟蹤熒光珠在水溶液中自由移動的運(yùn)動。因此，這種方法在精確跟蹤和理解生物學(xué)、化學(xué)和物理學(xué)中的隨機(jī)過程方面具有廣泛的應(yīng)用。