打造線下版元宇宙，機(jī)器人VR助力遠(yuǎn)程做核酸，登上Science子刊

中國科學(xué)家研發(fā)“魔法貼”，讓你跟機(jī)器人共享觸覺。

讓機(jī)器人做核酸采樣，靠譜嗎？過去兩年，多家研發(fā)團(tuán)隊(duì)研發(fā)了能讓醫(yī)護(hù)人員遠(yuǎn)程操縱機(jī)械臂完成核酸采樣的系統(tǒng)。不過相比于“直接上手”，這些操作存在一個(gè)難點(diǎn)——很難掌握下手的輕重。

▲中國工程院院士鐘南山團(tuán)隊(duì)與中國科學(xué)院沈陽自動(dòng)化研究所聯(lián)合發(fā)起的新型智能化咽拭子采樣機(jī)器人系統(tǒng)

畢竟不是醫(yī)護(hù)人員自己的手，醫(yī)護(hù)人員只能憑豐富的經(jīng)驗(yàn)去想象應(yīng)該把控多大的力度，來操控機(jī)器捅受檢人員的鼻子、嗓子眼。但假如能讓機(jī)器人把觸覺同步反饋給醫(yī)護(hù)人員，那問題是不是就迎刃而解了？

1月14日，一項(xiàng)由香港城市大學(xué)、大連理工大學(xué)、清華大學(xué)、中國電子科技大學(xué)學(xué)者合作的研究成果登上國際學(xué)術(shù)頂刊Science Advances。論文中的機(jī)器人VR系統(tǒng)項(xiàng)目，解決的即是上述難題。

研究團(tuán)隊(duì)開發(fā)了一種靈活的電子皮膚貼片，它可以作為無線人機(jī)交互系統(tǒng)，應(yīng)用于機(jī)器人VR。只要貼上這個(gè)“魔法貼”，人類就能跟機(jī)器共享觸覺。該貼片既可以小到無感，也可以大成一件上衣，通過震動(dòng)力度和頻率來反饋觸覺。當(dāng)使用者戴上VR設(shè)備，他就能遠(yuǎn)程控制機(jī)器人，去完成宛如親臨現(xiàn)場的精細(xì)動(dòng)作。

▲電子皮膚在智能機(jī)器人VR中的測核酸應(yīng)用演示

以前市面上的多數(shù)VR沉浸式游戲，要增加觸覺體驗(yàn)，往往需要用戶裝上外骨骼控制等笨重、龐大的觸覺感知硬件設(shè)備。而新型電子皮膚有望使用戶更輕便地在虛擬世界擁有真實(shí)的觸覺感受。機(jī)器人VR觸覺反饋如何實(shí)現(xiàn)？研究解決了怎樣的難點(diǎn)？未來又會(huì)有哪些新應(yīng)用？

近日，智東西獨(dú)家專訪這篇Science論文的通訊作者、香港城市大學(xué)生物醫(yī)學(xué)工程博士生導(dǎo)師于欣格，了解這項(xiàng)研究的幕后故事，并對其技術(shù)原理及應(yīng)用前景有了更深入的認(rèn)知。

01.醫(yī)護(hù)人員遠(yuǎn)程控制機(jī)器人幫你測核酸

機(jī)器人VR項(xiàng)目的起步，還要從2020年初席卷全球的新冠肺炎疫情說起。當(dāng)時(shí)，新冠肺炎疫情確診病例不斷上升、醫(yī)護(hù)人員醫(yī)療資源短缺、核酸采樣效率較低、醫(yī)護(hù)人員的感染風(fēng)險(xiǎn)很大。這使得于欣格開始思考，能否開發(fā)一個(gè)遠(yuǎn)程非接觸式控制采樣機(jī)器人？核酸采樣機(jī)器人的好處很多，包括降低醫(yī)療成本、緩解感染風(fēng)險(xiǎn)等，鐘南山團(tuán)隊(duì)、清華大學(xué)計(jì)算機(jī)系教授孫富春團(tuán)隊(duì)、南丹麥大學(xué)研究人員等都研發(fā)了智能化的核酸采樣機(jī)器人系統(tǒng)。

▲2021服貿(mào)會(huì)上展出的全自動(dòng)鼻咽拭子采樣機(jī)器人（圖片來源為環(huán)球時(shí)報(bào)）

但這些利用遙控手柄控制的機(jī)器人，對醫(yī)護(hù)人員的操作準(zhǔn)確度有很高要求。于欣格團(tuán)隊(duì)觀察發(fā)現(xiàn)，手術(shù)過程中，醫(yī)生需通過屏幕判斷手術(shù)進(jìn)程，去想象有多大的反饋力度，這往往需要臨床經(jīng)驗(yàn)豐富的醫(yī)生才能把控。那么，能否在醫(yī)生和機(jī)器人之間共享觸覺，讓機(jī)器人能將現(xiàn)場的觸覺反饋同步給遠(yuǎn)程的醫(yī)護(hù)人員呢？將電子皮膚作為無線人機(jī)系統(tǒng)應(yīng)用到機(jī)器人VR中的研究項(xiàng)目由此啟動(dòng)。

研究人員提出了一個(gè)設(shè)想，只要“貼上”智能電子皮膚，醫(yī)生遠(yuǎn)程操控機(jī)器人時(shí)，就可以通過視覺、聽覺、觸覺全方位感知，近似于零距離感受手術(shù)過程，并且這在一定程度上，會(huì)降低手術(shù)機(jī)器人認(rèn)證醫(yī)生的標(biāo)準(zhǔn)。

▲電子皮膚在智能機(jī)器人虛擬現(xiàn)實(shí)中的應(yīng)用演示

不過要將設(shè)想變?yōu)楝F(xiàn)實(shí)，還需跨過不少難關(guān)。在機(jī)器人VR項(xiàng)目進(jìn)展中，于欣格團(tuán)隊(duì)遇到的最大問題是，機(jī)器人和人體的雙向反饋環(huán)節(jié)。這也是項(xiàng)目進(jìn)展中花費(fèi)時(shí)間最長的環(huán)節(jié)。

核心難點(diǎn)有兩處：一是電子皮膚捕捉到人體動(dòng)作后，如何將這個(gè)動(dòng)作的指令精準(zhǔn)傳遞給機(jī)器人？二是如何將機(jī)器人獲得的觸覺精準(zhǔn)反饋給人類？除此之外，機(jī)器人VR研究過程不僅涉及于欣格團(tuán)隊(duì)擅長的生物醫(yī)學(xué)工程，還會(huì)涉及材料、電路、力學(xué)優(yōu)化、有線反饋通路、軟件開發(fā)及界面優(yōu)化等。因此，他們聯(lián)合大連理工大學(xué)、清華大學(xué)和中國電子科技大學(xué)的多位優(yōu)秀人才通力合作，最終在這樣龐大的應(yīng)用工程型項(xiàng)目中取得進(jìn)展。

02.皮膚還可以變上衣震動(dòng)映射觸覺反饋

回到研究本身，新型電子皮膚的控制面板整體尺寸為57mm x 39mm x 0.8mm。研究人員在電子皮膚中采用了多層堆疊布局，其中一層膚色彈性硅（聚二甲基硅氧烷，PDMS）可用作皮膚的軟黏合劑，由聚酰亞胺（PI）互連一系列芯片和傳感器，包括電阻器、電容器、藍(lán)牙模塊、微控制器單元（MCU）、電橋和研究人員自主開發(fā)的軟傳感器、執(zhí)行器。

▲CL-HMI電子皮膚的組成結(jié)構(gòu)

電子皮膚中的設(shè)計(jì)均根據(jù)完善的力學(xué)設(shè)計(jì)規(guī)則成絲狀蛇形結(jié)構(gòu)，從而使整個(gè)系統(tǒng)具有可拉伸性。另一層膚色彈性硅（PDMS）用來封裝所有功能組件。

▲電子皮膚中的蛇形結(jié)構(gòu)設(shè)計(jì)

于欣格說：“電子皮膚的最終形態(tài)取決于我們想要實(shí)現(xiàn)的功能，它可以是一個(gè)近乎無感的小貼片，也可以是一副手套、一件上衣或者一件連體衣。”延伸到機(jī)器人VR，論文寫道，研究人員佩戴四個(gè)電子皮膚集成的貼片來控制一個(gè)13自由度的人形機(jī)器人，這個(gè)機(jī)器人能夠完成人類的大部分動(dòng)作。

通過配備相應(yīng)傳感器，機(jī)器人能同步體驗(yàn)來自前臂、上臂、大腿、大腿側(cè)面、腹部的壓力。實(shí)驗(yàn)過程中，還能根據(jù)具體應(yīng)用，自由選擇彎曲傳感器和觸覺致動(dòng)器的數(shù)量，同時(shí)佩戴VR設(shè)備，同步機(jī)器人電子眼獲取的視覺信息。如此一來，機(jī)器人VR系統(tǒng)就可以作為在無線操作模式下遠(yuǎn)程控制機(jī)器人的操作平臺。

▲手套形狀的電子皮膚操縱遙控車模擬實(shí)驗(yàn)

關(guān)于觸覺反饋的實(shí)現(xiàn)方式，于欣格說：“我們通過不同的震動(dòng)強(qiáng)度以及頻率來代替觸覺。”震動(dòng)的范圍可能是從低頻敲擊式的震動(dòng)到類似于手機(jī)震動(dòng)的狀態(tài)。在研究過程中，研究人員會(huì)為使用者建立映射標(biāo)準(zhǔn)，使用者經(jīng)過訓(xùn)練和熟悉后能夠逐漸適應(yīng)震動(dòng)反饋，但目前為止，映射標(biāo)準(zhǔn)會(huì)因身體部位、使用者等多種因素而異。于欣格告訴智東西，他們也正在探索實(shí)現(xiàn)更真實(shí)映射的技術(shù)。

03.通過互聯(lián)網(wǎng)傳輸不到50毫秒就可輕松響應(yīng)

除了觸覺感知外，機(jī)器人VR系統(tǒng)的無線傳輸功能同樣神奇。這塊電子皮膚上安裝了7個(gè)彎曲傳感器和5個(gè)執(zhí)行器。這些傳感器和執(zhí)行器可以直接連接到電子皮膚中MCU的模擬數(shù)字轉(zhuǎn)換器（ADC）和通用型輸入/輸出（GPI/O）接口，用于多通道傳感和驅(qū)動(dòng)。電子皮膚中包括讀取信息的傳感器、用于發(fā)送信息的無線發(fā)射器，以及有助于觸覺反饋的小型振動(dòng)磁鐵。

這些傳感器以鋸齒形方式放置的電線組成，當(dāng)貼片彎曲時(shí)，這些電線被拉得更直，彎曲、放直手臂時(shí)可以向機(jī)器人傳輸有關(guān)身體運(yùn)動(dòng)的數(shù)據(jù)。研究人員稱，這些傳感器可以將人體運(yùn)動(dòng)轉(zhuǎn)換為電信號，由MCU進(jìn)一步處理并通過無線傳輸?shù)侥繕?biāo)機(jī)器人。同時(shí)，機(jī)器人上的壓力傳感器檢測到與外部環(huán)境的接觸，通過藍(lán)牙模塊控制觸覺執(zhí)行器的振動(dòng)強(qiáng)度，為用戶提供觸覺反饋。

為了進(jìn)一步說明電子皮膚實(shí)時(shí)無線操作的性能，研究人員測量了1-5米距離范圍內(nèi)的電子皮膚循環(huán)響應(yīng)速度，包括信號傳感、數(shù)據(jù)傳輸、信號接收、制動(dòng)響應(yīng)等環(huán)節(jié)。

研究結(jié)果表明，影響電子皮膚無線傳輸距離的因素有：頂部膚色彈性硅封裝層厚度，人體中復(fù)雜的生物組織可能吸收電磁輻射等。在完善機(jī)器人VR的觸覺反饋方面，于欣格說：“我們現(xiàn)在可以通過調(diào)整電子皮膚的位置和結(jié)構(gòu)解決上述問題，同時(shí)也會(huì)和更專業(yè)的通信領(lǐng)域?qū)＜液献?，融合相關(guān)技術(shù)，繼續(xù)探索機(jī)器人VR在無線通信傳輸領(lǐng)域的潛力。”

▲電子皮膚的無線傳輸距離實(shí)驗(yàn)數(shù)據(jù)

除了藍(lán)牙操作模式外，電子皮膚還支持Wi-Fi和互聯(lián)網(wǎng)兩種無線通信模式。對于Wi-Fi模式，只要操作區(qū)域被同一個(gè)Wi-Fi網(wǎng)絡(luò)覆蓋，無線傳輸范圍就可以擴(kuò)展到數(shù)百米。在互聯(lián)網(wǎng)操作模式下，無線傳輸距離可以擴(kuò)展至互聯(lián)網(wǎng)覆蓋的任何地方，其響應(yīng)時(shí)間范圍為30.2到47.8毫秒。

04.打造線下版元宇宙除了聽、看還能摸

除了醫(yī)療領(lǐng)域，觸覺反饋也可以應(yīng)用到社交、娛樂、假肢傳感等方面，進(jìn)一步提升用戶體驗(yàn)。如果將VR設(shè)備、觸覺反饋和現(xiàn)有的在線視頻軟件相結(jié)合，從聽覺、視覺延伸到觸覺，隔著屏幕，用戶就能感受到與遠(yuǎn)方親友握手、擁抱的實(shí)感。去年爆火的“元宇宙”概念中，人們需在虛擬世界建立一個(gè)自己的虛擬化身。而要讓這個(gè)虛擬化身與人類感同身受，必然離不開觸覺技術(shù)的進(jìn)化。

早從2018年，于欣格就長期專注于觸覺反饋研究，探索VR、機(jī)器人與電子皮膚的結(jié)合。此前，其團(tuán)隊(duì)研發(fā)的皮膚VR進(jìn)展曾于2019年底發(fā)表在國際學(xué)術(shù)頂刊Nature上。皮膚VR系統(tǒng)就搭載了近場通信技術(shù)（NFC），遠(yuǎn)在千里之外的人通過撫摸和滑動(dòng)屏幕，就能無線控制皮膚VR的觸覺驅(qū)動(dòng)。

在他看來：“機(jī)器人VR可以理解為線下版的元宇宙。”在現(xiàn)實(shí)世界中，很多危險(xiǎn)系數(shù)高、環(huán)境極端的任務(wù)需要機(jī)器人輔助，這就需要觸覺反饋和傳感一體的閉環(huán)人機(jī)交互系統(tǒng)。于欣格談道，在虛擬世界中控制機(jī)器人，用戶只需要將指令發(fā)送給軟件，而在現(xiàn)實(shí)世界，多了指令和硬件的交互環(huán)節(jié)，控制機(jī)器人的難度更高。機(jī)器人VR系統(tǒng)主要針對于人機(jī)交互。

于欣格也補(bǔ)充說，從機(jī)器人精準(zhǔn)感知角度來講，他們的研究團(tuán)隊(duì)已經(jīng)有了相關(guān)成果，現(xiàn)在電子皮膚中的震動(dòng)單元大小成功縮小到將近之前的1/4，單位面積上單元集成度也大幅提升。在娛樂應(yīng)用方面，于欣格為我們舉了一個(gè)例子，《鐵甲鋼拳》電影中機(jī)器人爭斗替代了暴力、血腥的搏擊運(yùn)動(dòng)。在未來，利用機(jī)器人VR和皮膚VR控制機(jī)器人決斗，也是該領(lǐng)域的潛在應(yīng)用場景。

▲《鐵甲鋼拳》中人和機(jī)器人同步動(dòng)作片段

機(jī)器人VR還可以用在健康領(lǐng)域的假肢傳感。失去上肢或下肢的特殊人群安裝假肢后，往往無法僅通過觀察來掌握力度大小，而將電子皮膚安裝在他們的截肢末端有望改善這個(gè)問題。于欣格解釋說，電子皮膚在控制假肢運(yùn)動(dòng)的同時(shí)，還可以將物體的硬度、重量等信息反饋到截肢末端的電子皮膚上，使用戶能感受到真實(shí)的力度、硬度反饋，從而控制力度的大小。據(jù)于欣格透露，他們也正在籌備初創(chuàng)公司，探索機(jī)器人VR的落地，目前更偏向醫(yī)療應(yīng)用領(lǐng)域等to B的工業(yè)合作伙伴。

05.結(jié)語：人機(jī)交互新方式或成機(jī)器人應(yīng)用新風(fēng)口

閉環(huán)人機(jī)接口的出現(xiàn)為人體和機(jī)器人之間提供了更新的交互方式，使得遠(yuǎn)程操控機(jī)器人的應(yīng)用場景進(jìn)一步增加，除此之外，雙向反饋也為機(jī)器人執(zhí)行更為復(fù)雜的任務(wù)提供了可能。遠(yuǎn)程操控高自由度機(jī)器人在遠(yuǎn)距離操作、假肢控制和醫(yī)療應(yīng)用方面的例子代表了其在不同領(lǐng)域的廣泛潛在應(yīng)用。開發(fā)兼具精確觸覺傳感和反饋功能的遠(yuǎn)程操控技術(shù)非常重要，于欣格說，他們?nèi)匀辉谔剿麟娮悠つw形態(tài)的多樣性、觸覺反饋的精準(zhǔn)度、無線傳輸?shù)男?hellip;…未來，元宇宙可能是機(jī)器人VR系統(tǒng)應(yīng)用的一個(gè)重要領(lǐng)域。

但于欣格認(rèn)為，該項(xiàng)目的研究遠(yuǎn)遠(yuǎn)不止于此，皮膚作為人體最大的觸覺感官，還有更多的發(fā)展?jié)摿?，不過這個(gè)領(lǐng)域的基本探索時(shí)間還很短，基礎(chǔ)研究在現(xiàn)階段仍必不可少。

對于聽覺、視覺的感知，我們在日常生活中已經(jīng)司空見慣，如果觸覺感知能進(jìn)一步普及，是否會(huì)使得虛擬世界的真實(shí)性越來越高？我們也很期待未來不僅能遠(yuǎn)程聽到、看到，還能真實(shí)地感覺到虛擬空間。

作者 |  程茜

編輯 |  Panken