1、面向遠(yuǎn)程診療的機(jī)器人觸覺再現(xiàn)系統(tǒng)的研究,姓名：賀凱導(dǎo)師：席 寧 研究員 劉連慶 研究員專業(yè)：模式識(shí)別與智能系統(tǒng),主要內(nèi)容,當(dāng)前醫(yī)療現(xiàn)狀：,背景及意義,1,背景及意義,1,遠(yuǎn)程診療系統(tǒng),遠(yuǎn)程操作,現(xiàn)場信息感知與操作,應(yīng)用場景及功能：觸診； 脈搏、臟器、體溫、骨折等；干預(yù)治療、急救： 動(dòng)脈出血進(jìn)行指壓止血、必要的急救等；,遠(yuǎn)程診療系統(tǒng),網(wǎng)絡(luò),背景及意義,1,優(yōu)點(diǎn)患者一定程度上免去奔波之苦

2、；醫(yī)療資源得到有效利用；縮短急救時(shí)間，提高生存率；使得遠(yuǎn)程專業(yè)救治成為可能；有利于未來分布式智能醫(yī)療發(fā)展。,背景及意義,1,具有一定預(yù)診斷能力和干預(yù)方式的具備力和觸覺交互感知的遠(yuǎn)程診療機(jī)器人系統(tǒng)。,,國內(nèi)外研究現(xiàn)狀,2,醫(yī)療機(jī)器人系統(tǒng)現(xiàn)狀調(diào)研：手術(shù)+遠(yuǎn)程問診+護(hù)理,daVinci,Global media,RI-MAN機(jī)器人,Aethon TUG機(jī)器人,“妙手S”手術(shù)機(jī)器人,暫無具備觸覺反饋和干預(yù)診斷的機(jī)器人系統(tǒng),國內(nèi)外研究現(xiàn)狀

3、,2,觸覺再現(xiàn)技術(shù)現(xiàn)狀調(diào)研,◆基于非摩擦力控制的觸覺再現(xiàn)技術(shù)①基于水流、氣動(dòng)刺激的觸覺再現(xiàn) 通過水流氣流刺激皮膚表面。②基于振動(dòng)疊加的觸覺 通過不同振動(dòng)頻率組合實(shí)現(xiàn)對(duì)于觸覺信息的表達(dá)。③基于電刺激的觸覺再現(xiàn) 刺激電流直接作用于感受器而實(shí)現(xiàn)觸覺表達(dá)。④基于力反饋設(shè)備的觸覺再現(xiàn) 建立表達(dá)目標(biāo)的法相和切向力實(shí)現(xiàn)對(duì)于受試者所交互虛擬物體單點(diǎn)表面紋理的表達(dá)。⑤基于電流體（電流變液）或磁流體的觸覺再

4、現(xiàn) 通過電場或磁場對(duì)某種材料中離子狀態(tài)有序性產(chǎn)生影響進(jìn)而改變材料軟硬度。⑥表面聲波觸覺再現(xiàn) 多束高能聲波刺激皮膚表面從而產(chǎn)生對(duì)于感受器的作用。,Force Dimension 力回饋設(shè)備,Tokyo Metropolitan Institute of Technology,E-Sense,國內(nèi)外研究現(xiàn)狀,2,◆基于摩擦力控制的觸覺再現(xiàn)技術(shù) 該技術(shù)在使用時(shí)要求受試者感受器有一定的相對(duì)運(yùn)動(dòng)，即對(duì)于靜態(tài)目

5、標(biāo)，其不具有再現(xiàn)效果。①基于空氣壓膜效應(yīng)的觸覺再現(xiàn)通過給壓電材料施加交流電場引起材料內(nèi)部高頻振動(dòng)從而在空氣和材料表面形成空氣“氣膜”而改變摩擦力系數(shù)實(shí)現(xiàn)摩擦力控制。②基于電致振動(dòng)效應(yīng)的觸覺通過在手指和面板間產(chǎn)生周期性靜電從而增加手指-面板間的摩擦力來實(shí)現(xiàn)觸覺再現(xiàn)。,a.Tactus微流體管道力回饋; b.英國布里斯托爾大學(xué)BIG項(xiàng)目組; c.d.Tesla Touch of Disney Research; e.Immersio

6、n TouchScreen; f. E-SenseOf the Senseg company.,國內(nèi)外研究現(xiàn)狀,2,觸覺再現(xiàn)技術(shù)比較：,,●可實(shí)現(xiàn)靜態(tài)觸覺再現(xiàn)；●裝置復(fù)雜性、功耗、響應(yīng)速度。,,電刺激觸覺再現(xiàn)技術(shù),最優(yōu)：電致振動(dòng)+電刺激,,研究目標(biāo)和內(nèi)容,3,,,,研究目標(biāo)：,研究目標(biāo)和內(nèi)容,3,研究內(nèi)容：,課題條件,4,基于超媒體接口的遠(yuǎn)程乳腺病診療機(jī)器人系統(tǒng),●沒有進(jìn)行電刺激模型的研究；●系統(tǒng)便攜性較差。,,待完善,實(shí)施

7、方案,5,5.1 觸覺微力信息采集傳感器,觸覺傳感器的選擇：仿生光波導(dǎo)觸覺傳感器混合碳/聚合物基壓阻式薄膜（HCP）傳感器(QTC)傳感器,觸覺傳感器的技術(shù)要求：傳感器外形能夠匹配手指三維曲面結(jié)構(gòu)；能夠?qū)崿F(xiàn)對(duì)接觸力大小、接觸位置的感知；具有柔順型；測量分辨率0.1N；,Fig.hybrid carbon/polymer-based piezoresistive (HCP) film混合碳/聚合物基壓阻式薄膜,,Fig a

8、. b. The noise of the raw amplifying signal,b,a,Fig.AC analysis of the Lowpass filtering,Fig.AC analysis of 50Hz power frequency notch filter,無限增益巴特沃斯低通濾波器,50Hz陷波,,,,Fig. the preprocess circuit,Fig. the noise of pro

9、cessed by the preprocess circuit .,,,Fig. structure of the test device,Fig. the preprocess circuit,Fig. the radial artery pulse signal of the testers & the standard radial artery pulse signal.,實(shí)施方案,5,,,圖（上

10、）疊層法提高分辨率方法；圖（下）陣列式方案,5.2 觸覺再現(xiàn),實(shí)施方案,5,皮膚電刺激模型的建立,,Fig. Skin neural model for electric stimulus,𝑉 𝑒 𝑥,𝑡 = 𝜌 𝑖 4𝜋𝑅 𝐼 𝑒

11、 (7),f 𝑛 𝑧,𝑡 = 𝜌 𝑖 𝐼 𝑒 4𝜋 2 𝑥 2 ? 𝑧 2 𝑥 2 + 𝑧 2 5 2 (8),𝜕 2

12、 𝑉 𝜕 𝑥 2 + 𝜕 2 𝑉 𝜕 𝑧 2 =0,對(duì)于Meissner小體：,f 𝑛 𝑧,𝑡 = 𝜌 𝑖 𝐼 𝑒 4𝜋 𝑧 2 ?2 𝑥 2

13、 𝑥 2 + 𝑧 2 5 2,Fig. Diagram of the electric stimulus,范式1,D=2.0mm,范式2,◆刺激函數(shù)仿真實(shí)驗(yàn)：,Fig. the simulation of single electric stimulus electrode,Fig. the simulation of electric stimulus of multi-electrode,D=2

14、.1mm,范式2,范式3,Fig. the simulation of electric stimulus of multi-electrode,Fig. electric stimulus of alternant positive current,◆刺激電流與神經(jīng)纖維動(dòng)作電位仿真實(shí)驗(yàn)：,,公式（4）成立來源于等效電路如圖： Hodgkin-Huxley模型,𝐼= 1 𝑟 𝑠 

15、9889;𝜋 𝜕 2 𝑉 𝜕 𝑥 2 + 𝜕 2 𝑉 𝑒 𝜕 𝑥 2 , 𝑟 𝑠 =4 ρ 𝑖 /𝜋 𝑑 2,𝐼= c 𝑚 ? 𝑑

16、𝑉 𝑑𝑡 + 𝐼 𝑁 𝑎 + 𝐼 𝑘 + 𝐼 𝐿,𝐼= 𝑑 4 ρ 𝑖 𝜕 2 𝑉 𝑒 𝜕 𝑥 2 = 𝜌 w

17、890; 𝐼 𝑒 𝑑 4 ρ 𝑖 𝜋 2 𝑥 2 ? 𝑧 2 𝑥 2 + 𝑧 2 5 2 ， 𝑑 D =0.7，D=25𝜇𝑚,𝐼 𝑖,𝑛 = 𝐺 ⻓

18、3;𝑎 𝑉? 𝐸 𝑁𝑎 + 𝐺 𝐾 𝑉? 𝐸 𝐾 + 𝐺 𝐿 𝑉? 𝐸 𝐿,,(15),,Fig. Hodgkin-Huxley nerve membrane current model.

19、,模型求解：,,約50ms后達(dá)到靜息電位.,a,b,c,,Fig a. membrane potential of electric stimulus current equals 0 microampere.,Fig b. membrane potential of I=10 microampereand stimulus time equals 2milliseconds.,Fig c. membrane potential o

20、f I=10 microampereand stimulus time equals 100 milliseconds.,1個(gè)神經(jīng)細(xì)胞動(dòng)作電位響應(yīng)輸出，刺激時(shí)間2ms，平息時(shí)間20ms，滯后時(shí)間2ms。,7個(gè)神經(jīng)細(xì)胞動(dòng)作電位響應(yīng)輸出，刺激時(shí)間100ms，平息時(shí)間0ms，滯后時(shí)間2ms。,●動(dòng)作電位響應(yīng)頻率越高，觸感越強(qiáng)，所以刺激周期過長產(chǎn)生刺痛感；●刺激效果變化存在一定階梯性且存在一定周期性；●刺激電流有最低閾值，

21、低于該閾值增加時(shí)間不能增加刺激頻率。,Fig. nerve fiber membrane response frequency with different stimulus time(5ms-50ms step 5ms),I=10 microampere.,Fig. nerve fiber membrane response frequency with different stimulus time(5ms-

22、500ms step 5ms),I=10 microampere.,◆直流信號(hào)幅值與脈沖信號(hào)的刺激作用,不同強(qiáng)度的刺激電流，觀察動(dòng)作電位的響應(yīng)特性：,●動(dòng)作電位對(duì)于刺激電流存在閾值，大約是6.25μA。,●刺激電流越大，動(dòng)作電位的頻率越高。,Fig. nerve fiber membrane response frequency with different stimulus current(5mA-25mA step 5

23、mA),stimulus time equals 100ms.,相同初始條件，添加穩(wěn)定的刺激電流，然后讓神經(jīng)元持續(xù)激發(fā)1000ms，記錄下總的激發(fā)次數(shù)fre，最終得到頻率為:F= 𝑓𝑟𝑒 1000𝑚𝑠 =fre(Hz),將電流從1μA掃描到200μA，記下一組數(shù)據(jù) 𝐼 𝑖𝑛𝑗𝑒

24、;𝑐𝑡 ,F ：,當(dāng)I大于5.25以后，頻率隨著I的增大而增大；當(dāng)I大于161.2之后，f迅速衰減至30Hz。（神經(jīng)細(xì)胞“麻木”）,Fig. nerve fiber membrane response frequency with different stimulus current(2.6mA-200mA step 2.6mA),stimulus time equals 1000ms.,◆

25、電刺激觸覺再現(xiàn)實(shí)驗(yàn)的設(shè)計(jì),電極陣列觸覺再現(xiàn)分級(jí)實(shí)驗(yàn),Master 9 electric stimulus device,Stimulus electrode,Fig. the diagram of the experiment system.,◆多電極正負(fù)電流刺激,①正電流刺激組采用定脈寬改變頻率刺激， 測試10，30，70，90Hz脈寬都為200us，幅值均為2mA刺激。②負(fù)電流刺激組采用定脈寬改變頻率刺激

26、， 測試10，30，70，90Hz脈寬都為200us，幅值均為2mA刺激。③負(fù)電流刺激組采用定頻率改變脈寬刺激。 刺激頻率100Hz時(shí)，脈寬分別為150us，200us，250us，300us，并進(jìn)行壓力登記1-4劃分實(shí)驗(yàn)。 以上實(shí)驗(yàn)均測試20-40次，受試者先學(xué)習(xí)每個(gè)刺激的特征然后在未知輸入情況下，受試者對(duì)感受到的電觸覺進(jìn)行強(qiáng)度分級(jí)實(shí)驗(yàn)。,激勵(lì)函數(shù)仿真實(shí)驗(yàn)局部最值統(tǒng)計(jì)結(jié)果,Fig. Di

27、agram of the electric stimulus,,正電流振動(dòng)強(qiáng)度分級(jí)實(shí)驗(yàn) 負(fù)電流振動(dòng)強(qiáng)度分級(jí)實(shí)驗(yàn),刺激頻率：10，30，70，90Hz；脈寬都為200us，幅值均為2mA。,Fig. the simulation of electric stimulus of multi-electrode,Fig. tactile primary colors defined by K

28、ajimoto,●正電流刺激低頻敏感Meissner小體響應(yīng)效果應(yīng)最好，1，2級(jí)別應(yīng)優(yōu)于3，4；●皮膚感受器對(duì)于刺激電流方向敏感，符合仿真實(shí)驗(yàn)。,刺激頻率為100Hz，脈寬(𝜇𝑠):從150,200,250,300,●Meissner 觸覺小體低頻敏感，100Hz可認(rèn)為只刺激Merkel觸盤，產(chǎn)生壓感?！癔B加高頻顫動(dòng)，可能刺激到了Pacinian環(huán)層小體。,Fig. tactile primary c

29、olors defined by Kajimoto,壓感強(qiáng)度150us->200us->250us-300us,◆多電極交替正電流刺激,振動(dòng)強(qiáng)度10Hz->30Hz->60Hz-90Hz,壓感強(qiáng)度150us->200us->250us-300us,Fig a. Diagram of the electric stimulus; Fig b. electric stimulus electrode of

30、 the alternant positive current; Fig c. simulation of the electric stimulus of alternant positive current.,a,b,c,●振動(dòng)刺激：Meissner觸覺小體低頻敏感特性,頻率上升識(shí)別率下降，符合仿真及生理；●壓感總體識(shí)別效果穩(wěn)定，不更改電流方向即可實(shí)現(xiàn)振動(dòng)和壓感的穩(wěn)定識(shí)別。,5.3多通道電刺激陣列的設(shè)計(jì)調(diào)研,方案一：,方案二：,F

31、ig. two plans of the multiple channel electric stimulus device.,Fig. Diagram of the electric stimulus,,條件：總線式，方便拓展和級(jí)聯(lián)；主從控制器設(shè)計(jì)，功能可合理分配，便于升級(jí)、維護(hù)。,方案一：模擬開關(guān)分配方案,方案二：晶體管分配方案,優(yōu)點(diǎn)：●設(shè)計(jì)結(jié)構(gòu)化，增加刺激點(diǎn)數(shù)量較為方便；●刺激電流方向可控；●電流幅值控制簡單（刺激點(diǎn)的工

32、作模式固定：0刺激點(diǎn)工作，1刺激點(diǎn)工作，2刺激點(diǎn)工作，因此電流輸出：0，1倍單電極刺激電流，2倍單電極電刺激電流）。缺點(diǎn)：●同時(shí)只能有一個(gè)刺激點(diǎn)可被選中，因此只能分時(shí)掃描實(shí)現(xiàn)不同刺激點(diǎn)的電流輸出；●為保證每個(gè)刺激點(diǎn)電流均衡，需要實(shí)時(shí)根據(jù)電流幅值模式改變恒流源電路大小；●根據(jù)人體阻抗計(jì)算模擬開關(guān)芯片的耐壓值應(yīng)大于100V。,優(yōu)點(diǎn)：●高耐壓晶體管種類較多；●可同時(shí)矩陣式操作任意多刺激點(diǎn)實(shí)現(xiàn)多個(gè)點(diǎn)同時(shí)刺激。缺點(diǎn)：●過多晶體管電

33、路可能增加PCB版圖面積及布線復(fù)雜度；●方向不受軟件控制，若實(shí)現(xiàn)方向控制需要推挽輸出，晶體管數(shù)目增加1倍以上；●為保證每個(gè)刺激點(diǎn)電流均衡，需要實(shí)時(shí)根據(jù)當(dāng)前時(shí)刻刺激點(diǎn)數(shù)目改變恒流源電路大??；●拓展刺激點(diǎn)數(shù)目不方便，且PCB版面消耗也會(huì)增加較多。,,5.4 遠(yuǎn)程診療機(jī)器人系統(tǒng)構(gòu)建及實(shí)驗(yàn)研究,基于現(xiàn)有的力回饋平臺(tái)，JACO工業(yè)機(jī)械臂方案實(shí)現(xiàn)具備觸覺反饋和力反饋的遠(yuǎn)程診療系統(tǒng)的集成與測試。具體可劃分為以下幾個(gè)子目標(biāo)：,預(yù)期目標(biāo),6,進(jìn)度計(jì)