智能眼鏡在醫(yī)療行業(yè)的應(yīng)用和發(fā)展
關(guān)于智能眼鏡在醫(yī)療行業(yè)的應(yīng)用,我們最早是從關(guān)注谷歌眼鏡的醫(yī)學(xué)視頻直播開始的。谷歌眼鏡的問世,曾帶來一片叫好聲,感覺能夠給大家?guī)硪粋€(gè)全新的直播時(shí)代。但最近兩年,谷歌眼鏡用于醫(yī)學(xué)方面直播的文章幾乎消失了,甚至谷歌眼鏡本身都已經(jīng)停產(chǎn)。
當(dāng)時(shí),谷歌眼鏡出來后,我們也買了一個(gè),并做了很多實(shí)際的相關(guān)實(shí)驗(yàn),發(fā)現(xiàn)了一些問題,包括:一是續(xù)航問題;二是谷歌眼鏡作為一款消費(fèi)類產(chǎn)品,在應(yīng)用于手術(shù)直播時(shí),周圍會(huì)有一個(gè)很大的無用視野區(qū);三是在手術(shù)燈照射的情況下,直播時(shí)中心區(qū)域一片死白,而這一塊恰好是我們最關(guān)注、最有興趣的點(diǎn)?;谝陨显?,我們后來沒有再繼續(xù)利用谷歌眼鏡做醫(yī)療直播。
之后,在英特爾公司的幫助下,我們又先后接觸了一些廠家。因我是臨床醫(yī)師出身,始終認(rèn)為記錄直播和轉(zhuǎn)播對(duì)于臨床醫(yī)學(xué)具有非常重要的作用,所以一直在堅(jiān)持不懈的尋找適合的相關(guān)產(chǎn)品。后來拿到一家公司的產(chǎn)品,看上去和谷歌眼鏡很像,于是提出是否能從上面提到的幾個(gè)方面進(jìn)行改進(jìn)。
具體改進(jìn)措施包括:首先,我們認(rèn)為醫(yī)生在長時(shí)間待用過程中,如果這個(gè)產(chǎn)品很重,會(huì)讓醫(yī)生感覺非常不舒服,因此希望佩戴在醫(yī)生頭頂?shù)臇|西越輕越好?;诖?,對(duì)產(chǎn)品改進(jìn)的第一步就是,除攝像頭及其虛擬顯示屏這兩個(gè)功能以外,剩下的計(jì)算元件、電池等其他東西都被放到一個(gè)附屬裝置上。也就是說,它真正的應(yīng)用是跟另外一個(gè)手機(jī)聯(lián)系在一起,由手機(jī)進(jìn)行供電。這樣,醫(yī)生在把眼鏡戴在頭上時(shí),幾乎不會(huì)感覺到它的存在。
第二個(gè)問題是原有谷歌眼鏡在使用過程中,因?yàn)橛?jì)算機(jī)進(jìn)行了一個(gè)測(cè)算,所以平均以后,中心視野光線太亮導(dǎo)致一片死白的情況。解決方案是對(duì)計(jì)算機(jī)進(jìn)行一個(gè)算法的改進(jìn),也就是說,原先的大視野最后只保留了中心的一個(gè)區(qū)域,進(jìn)行一個(gè)點(diǎn)測(cè)光。在這個(gè)點(diǎn)測(cè)光過程中,計(jì)算機(jī)算法進(jìn)行改進(jìn),最終的效果就是只有最核心的區(qū)域進(jìn)入計(jì)算單元。這樣,太強(qiáng)的光線部分通過算法就可以把原有的過白部分的光亮度降下來,讓醫(yī)生能夠看到真正的視野中的細(xì)節(jié)。在實(shí)踐過程中,通過改進(jìn)計(jì)算機(jī)算法,使視野從原有的90度縮窄到45度、30度、20度。在視野縮小后,有兩個(gè)明顯的改善:一是減少了之前過量的光線,從而獲得原來沒有的細(xì)節(jié);另外就是我們?cè)谛庐a(chǎn)品試用時(shí)發(fā)現(xiàn),人眼看物體是有景深的,作為口腔科,關(guān)注的核心點(diǎn)是口腔里的牙齒,但眼鏡會(huì)把周圍的皮膚照的很清楚,遠(yuǎn)處的牙齒則發(fā)生了模糊,原因就是對(duì)焦發(fā)生了錯(cuò)誤。而當(dāng)我們通過計(jì)算機(jī)把視野縮窄到足夠小時(shí),對(duì)焦相對(duì)就會(huì)精確很多。
此外,此款眼鏡的分體式設(shè)計(jì),也解決了供電問題。現(xiàn)有情況下,持續(xù)拍攝兩個(gè)小時(shí)沒有任何問題。
該產(chǎn)品和谷歌眼鏡一樣,有一個(gè)小的虛擬屏幕放在眼球前方,好處是在拍攝使用過程中,可以隨時(shí)查看錄像的位置是否是我們真正想觀察的地方。
使用過程中發(fā)現(xiàn)的另外一個(gè)問題是,到底由誰來戴這個(gè)眼鏡?我曾經(jīng)以為應(yīng)該是第一助手或是其他人來辦。后來在使用過程中發(fā)現(xiàn),實(shí)際上還是應(yīng)該由術(shù)者來控制,因?yàn)橹挥行g(shù)者才能夠看到很小的手術(shù)區(qū)域里面的細(xì)節(jié),包括第一助手站在對(duì)面的時(shí)候,很可能也看不到視野里面。
此款眼鏡可以看到攝像頭能夠在某一個(gè)角度范圍內(nèi)旋轉(zhuǎn),使我們可以更好的去控制最后直播出來的畫面。最好的效果就是固定住術(shù)者頭上,然后不需要任何人去做任何工作,整個(gè)過程中和術(shù)者的眼睛看到的景象一模一樣。其中還有一個(gè)地方需要進(jìn)行改進(jìn),就是頭戴的方式。目前,常見的方式還是一種類似于鏡架式的方式。但例如耳鼻喉科醫(yī)生會(huì)在頭上戴一個(gè)專門看耳道的鏡子,戴一天也不會(huì)覺得很難受;整形外科醫(yī)生,做血管吻合的醫(yī)生,都會(huì)戴一個(gè)專用的顯微鏡,對(duì)于醫(yī)生來說,如果把眼鏡架的方式轉(zhuǎn)變?yōu)橐环N戴在頭上的發(fā)帶形式,效果會(huì)更好。頭戴式的可能要解決術(shù)者確認(rèn)拍攝畫面是否正確的問題。因?yàn)樗梢怨潭ǖ姆浅@喂?,確保在轉(zhuǎn)播過程中,位置不會(huì)隨便發(fā)生改變,但在術(shù)者使用過程中,現(xiàn)在的鏡架式會(huì)發(fā)生視野逐漸偏離的情況,最終導(dǎo)致拍攝效果不佳,這也是我們提出由眼鏡架改為發(fā)帶式的原因之一。
之前我們進(jìn)行了一個(gè)現(xiàn)場(chǎng)的長時(shí)間拍攝。無論從門診醫(yī)生還是手術(shù)病房醫(yī)生反饋,都認(rèn)為拍攝視頻的畫面不錯(cuò),1080P顏色還原也不錯(cuò),流暢度和清晰度也非常好。外科主任希望將來對(duì)常規(guī)的手術(shù)都進(jìn)行一場(chǎng)標(biāo)準(zhǔn)手術(shù)模式的拍攝。這樣的效果,是教學(xué)醫(yī)院最想做的?,F(xiàn)場(chǎng)拍攝過程中,我們的醫(yī)生遠(yuǎn)離去看手機(jī)上的屏幕。因?yàn)樵谑中g(shù)過程中,除了主刀醫(yī)生,一些比較小型的手術(shù)周圍所有人的視野都非常受限。所以可以想象,圍著一圈學(xué)生去觀摩手術(shù)時(shí)效果有多差。
目前使用的這一版眼鏡,現(xiàn)有的問題主要有哪些呢?主要還是來自于剛才說到的景深導(dǎo)致的對(duì)焦模糊問題。我們關(guān)注的是牙齒,但焦點(diǎn)落在了皮膚上。這個(gè)當(dāng)然可以通過算法再進(jìn)行一個(gè)優(yōu)化,但這樣的問題可能或多或少不可避免。因?yàn)橥瑯邮峭翱?,?jì)算機(jī)并不知道你的眼睛目前對(duì)在哪一個(gè)點(diǎn)上。而一旦這個(gè)角度變得更加舒展的時(shí)候,隨著醫(yī)生手術(shù)時(shí)頭轉(zhuǎn)來轉(zhuǎn)去,采集的圖像也會(huì)大幅移動(dòng),給觀者帶來不舒服的感覺。我們的醫(yī)生曾提出有沒有手動(dòng)對(duì)焦的可能,當(dāng)然手動(dòng)對(duì)焦是不現(xiàn)實(shí)的,因?yàn)槟愕木嚯x始終是在變化過程中,最好的做法只能是繼續(xù)優(yōu)化算法。無論如何,目前這一版眼鏡在我們采集視頻的過程中,總體還是感覺相當(dāng)滿意的,尤其是視野比較大的手術(shù),高清的視頻放在電腦上感覺效果更好。
上面這張手術(shù)照片是從一段視頻里隨機(jī)取的一張,拍攝時(shí)是站在一助身后進(jìn)行的。目前存在的一個(gè)問題是顏色會(huì)有一點(diǎn)粉,這是因?yàn)榘灼胶獬隽藛栴},通過簡(jiǎn)單算法的一個(gè)均衡很快就能改善。算法的另外一個(gè)需要改進(jìn)的地方,我認(rèn)為是目前圖像的對(duì)比度仍然太大,對(duì)于強(qiáng)光視野下的這種拍攝會(huì)出現(xiàn)一會(huì)黑色一會(huì)白色的情況。這個(gè)隨著算法的改進(jìn)以及將來機(jī)器性能的提升,只要算法速度足夠快,能把這個(gè)問題解決好。
對(duì)于眼鏡類產(chǎn)品,希望出現(xiàn)一種更新的產(chǎn)品,類似于相機(jī)拍攝過程中摁住快門,有一種智能追焦的算法,就像舞臺(tái)上跟著舞者進(jìn)行一個(gè)舞臺(tái)追光的感覺。也就是說,我們通過圖像識(shí)別找到目前轉(zhuǎn)播的焦點(diǎn),無論相機(jī)在什么位置,都能夠快速的計(jì)算,把焦距對(duì)清楚。即使手術(shù)醫(yī)生的頭轉(zhuǎn)來轉(zhuǎn)去,它的圖像始終固定下來。我想這種技術(shù)的發(fā)展是很快的,也可以預(yù)計(jì)到一定會(huì)有這一天來到。目前,把視野縮窄達(dá)到對(duì)焦更精確這個(gè)功能通過計(jì)算機(jī)的算法實(shí)現(xiàn)了。將來還是希望,對(duì)口腔科、眼科這種比較小視野的手術(shù),能有一種更特殊的光學(xué)物理眼鏡,專門用于這種小視野直播。
上海先予工業(yè)自動(dòng)化設(shè)備有限公司是一家集非標(biāo)制定、研發(fā)、生產(chǎn)、銷售、工程服務(wù)為一體的工業(yè)裝備制造企業(yè)。公司以自主核心技術(shù)和系統(tǒng)集成優(yōu)勢(shì)為依托,針對(duì)企業(yè)用戶在生產(chǎn)過程控制中的各種復(fù)雜控制要求,采用DCS和PLC等控制系統(tǒng)為企業(yè)量身定制,技術(shù)先進(jìn)、可靠性高、經(jīng)濟(jì)實(shí)用的電氣和自動(dòng)化控制,生產(chǎn),輸送,包裝、清洗系統(tǒng),提供完整的非標(biāo)制定自動(dòng)化生產(chǎn)解決方案,從而有效為企業(yè)降低勞動(dòng)力成本、提高品質(zhì)、提升效率。