麻省理工學(xué)院的研究人員開(kāi)發(fā)了一種完全集成的機(jī)械臂，它融合了來(lái)自相機(jī)的視覺(jué)數(shù)據(jù)和來(lái)自天線的射頻 (RF) 信息，以尋找和檢索物體，即使它們被埋在一堆下面并且完全看不見(jiàn)。圖片來(lái)源：麻省理工學(xué)院

一個(gè)忙碌的通勤人員正準(zhǔn)備走出門，卻發(fā)現(xiàn)他們把鑰匙放錯(cuò)了地方，必須在成堆的東西中搜索才能找到它們。他們迅速篩選雜物，希望能找出哪一堆藏著鑰匙。

學(xué)院的研究人員已經(jīng)創(chuàng)建了一個(gè)可以做到這一點(diǎn)的機(jī)器人系統(tǒng)。該系統(tǒng) RFusion 是一個(gè)機(jī)械臂，其抓手上裝有攝像頭和射頻 (RF) 天線。它將來(lái)自天線的信號(hào)與來(lái)自攝像機(jī)的視覺(jué)輸入融合，以定位和檢索物品，即使物品被埋在一堆下面并且完全看不見(jiàn)。

研究人員開(kāi)發(fā)的 RFusion 原型依賴于 RFID 標(biāo)簽，這是一種廉價(jià)、無(wú)電池的標(biāo)簽，可以粘在物品上并反射天線發(fā)送的信號(hào)。由于 RF 信號(hào)可以穿過(guò)大多數(shù)表面（例如可能會(huì)遮擋鑰匙的臟衣服堆），因此 RFusion 能夠定位一堆中的標(biāo)記物品。

使用機(jī)器學(xué)習(xí)，機(jī)械臂會(huì)自動(dòng)將物體的準(zhǔn)確位置歸零，將物品移到上面，抓住物體，并驗(yàn)證它是否撿到了正確的東西。攝像頭、天線、機(jī)械臂和 AI 完全集成，因此 RFusion 可以在任何環(huán)境下工作，無(wú)需特殊設(shè)置。

雖然找到丟失的鑰匙很有幫助，但 RFusion 在未來(lái)可能有更多更廣泛的應(yīng)用，比如整理堆以完成倉(cāng)庫(kù)中的訂單，在汽車制造廠識(shí)別和安裝組件，或幫助老年人在家中執(zhí)行日常任務(wù)，盡管當(dāng)前的原型對(duì)于這些用途來(lái)說(shuō)還不夠快。

“能夠在混亂的世界中找到物品的想法是我們多年來(lái)一直在努力解決的一個(gè)懸而未決的問(wèn)題。擁有能夠在一堆東西下搜索物品的機(jī)器人是當(dāng)今行業(yè)日益增長(zhǎng)的需求。對(duì)現(xiàn)在，您可以將其視為使用類固醇的 Roomba，但在短期內(nèi)，這可能會(huì)在制造和倉(cāng)庫(kù)環(huán)境中得到大量應(yīng)用，”資深作者、電氣工程和計(jì)算機(jī)科學(xué)系副教授 Fadel Adib 說(shuō)。麻省理工學(xué)院媒體實(shí)驗(yàn)室信號(hào)動(dòng)力學(xué)組主任。

共同作者包括研究助理 Tara Boroushaki，主要作者；電氣工程和計(jì)算機(jī)科學(xué)研究生 Isaac Perper；研究助理 Mergen Nachin；和 Alberto Rodriguez，機(jī)械工程系 1957 屆副教授。這項(xiàng)研究將在下個(gè)月的嵌入式網(wǎng)絡(luò)傳感器系統(tǒng)計(jì)算機(jī)協(xié)會(huì)會(huì)議上發(fā)表。

機(jī)械臂正在尋找隱藏在物品下面的鑰匙。圖片來(lái)源：麻省理工學(xué)院

RFusion 開(kāi)始使用其天線搜索物體，天線從 RFID 標(biāo)簽反射信號(hào)（如陽(yáng)光從鏡子反射）以識(shí)別標(biāo)簽所在的球形區(qū)域。它將該球體與相機(jī)輸入相結(jié)合，從而縮小了對(duì)象的位置。例如，該項(xiàng)目不能位于空的表區(qū)域上。

但是，一旦機(jī)器人對(duì)物品的位置有了大致的了解，它就需要在房間周圍廣泛擺動(dòng)手臂，進(jìn)行額外的測(cè)量以得出準(zhǔn)確的位置，這是緩慢且低效的。

研究人員使用強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，可以優(yōu)化機(jī)器人到物體的軌跡。在強(qiáng)化學(xué)習(xí)中，算法通過(guò)反復(fù)試驗(yàn)和獎(jiǎng)勵(lì)系統(tǒng)進(jìn)行訓(xùn)練。

“這也是我們的大腦學(xué)習(xí)的方式。我們從老師、父母、電腦游戲等那里得到獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)中也會(huì)發(fā)生同樣的事情。我們讓智能體犯錯(cuò)或做正確的事情，然后我們懲罰或獎(jiǎng)勵(lì)網(wǎng)絡(luò)。這就是網(wǎng)絡(luò)如何學(xué)習(xí)很難建模的東西，”Boroushaki 解釋道。

在 RFusion 的情況下，當(dāng)優(yōu)化算法限制了定位項(xiàng)目所需的移動(dòng)次數(shù)以及拾取項(xiàng)目所需的移動(dòng)距離時(shí)，它就會(huì)得到獎(jiǎng)勵(lì)。

一旦系統(tǒng)識(shí)別出正確的位置，神經(jīng)網(wǎng)絡(luò)就會(huì)使用組合的射頻和視覺(jué)信息來(lái)預(yù)測(cè)機(jī)械臂應(yīng)該如何抓取物體，包括手的角度和抓手的寬度，以及是否必須先移除其他物品. 它還最后一次掃描物品的標(biāo)簽，以確保它拾取了正確的物體。

錯(cuò)或做正確的事情，然后我們懲罰或獎(jiǎng)勵(lì)網(wǎng)絡(luò)。這就是網(wǎng)絡(luò)如何學(xué)習(xí)很難建模的東西，”合著者 Tara Boroushaki（如圖所示）解釋說(shuō)。圖片來(lái)源：麻省理工學(xué)院

解決雜亂

研究人員在幾種不同的環(huán)境中測(cè)試了 RFusion。他們把鑰匙鏈埋在一個(gè)雜亂無(wú)章的盒子里，把遙控器藏在沙發(fā)上的一堆物品下面。

但是，如果他們將所有相機(jī)數(shù)據(jù)和 RF 測(cè)量值提供給強(qiáng)化學(xué)習(xí)算法，系統(tǒng)就會(huì)不堪重負(fù)。因此，利用 GPS 用于整合來(lái)自衛(wèi)星的數(shù)據(jù)的方法，他們總結(jié)了 RF 測(cè)量結(jié)果并將視覺(jué)數(shù)據(jù)限制在機(jī)器人正前方的區(qū)域。

他們的方法效果很好——RFusion 在檢索完全隱藏在一堆下的物體時(shí)的成功率為 96%。

“有時(shí)，如果你只依賴 RF 測(cè)量，就會(huì)有一個(gè)異常值，如果你只依賴視覺(jué)，有時(shí)相機(jī)會(huì)出錯(cuò)。但如果你把它們結(jié)合起來(lái)，它們就會(huì)得到糾正” Boroushaki 說(shuō)。

未來(lái)，研究人員希望提高系統(tǒng)的速度，使其能夠平穩(wěn)移動(dòng)，而不是定期停下來(lái)進(jìn)行測(cè)量。這將使 RFusion 能夠部署在快節(jié)奏的制造或倉(cāng)庫(kù)環(huán)境中。

Boroushaki 說(shuō)，除了其潛在的工業(yè)用途外，這樣的系統(tǒng)甚至可以融入未來(lái)的智能家居中，以幫助人們完成任何數(shù)量的家務(wù)。

“每年都有數(shù)十億個(gè) RFID 標(biāo)簽用于識(shí)別當(dāng)今復(fù)雜供應(yīng)鏈中的物品，包括服裝和許多其他消費(fèi)品。RFusion 方法為自主機(jī)器人指明了道路，該機(jī)器人可以挖掘一堆混合物品并將其分類使用存儲(chǔ)在 RFID 標(biāo)簽中的數(shù)據(jù)，比單獨(dú)檢查每件物品更有效，尤其是當(dāng)物品看起來(lái)類似于計(jì)算機(jī)視覺(jué)系統(tǒng)時(shí)，”CoMotion 總統(tǒng)創(chuàng)新研究員兼電氣和計(jì)算機(jī)副 教授 Matthew S. Reynolds 說(shuō)華盛頓大學(xué)的工程學(xué)博士，他沒(méi)有參與這項(xiàng)研究。“對(duì)于在復(fù)雜供應(yīng)鏈中運(yùn)行的機(jī)器人技術(shù)來(lái)說(shuō)，RFusion 方法是向前邁出的一大步，在這些供應(yīng)鏈中，識(shí)別和‘揀選’。