CARES Copilot 1.0多模態(tài)手術(shù)大模型昨日舉行發(fā)布會(huì)，左起為馮銘教授、劉宏斌教授、陳達(dá)明醫(yī)生及康軍教授在現(xiàn)場(chǎng)接受傳媒采訪(fǎng)。香港文匯報(bào)記者涂穴 攝

　　工智能（AI）技術(shù)的快速進(jìn)步，同時(shí)亦擴(kuò)大了在醫(yī)療健康領(lǐng)域的應(yīng)用。中國(guó)科學(xué)院香港創(chuàng)新院 AI 中心昨發(fā)布“CARES Copilot 1.0 多模態(tài)手術(shù)大模型”，該系統(tǒng)能夠與智能醫(yī)療設(shè)備高度集成，并可快速精確地提取手術(shù)教材、專(zhuān)家指南、醫(yī)學(xué)論文等專(zhuān)業(yè)文檔的信息，并保持高達(dá)95%的準(zhǔn)確率，就像一個(gè)手術(shù)導(dǎo)航一樣，為術(shù)者提供實(shí)時(shí)解剖定位信息，并輔助前線(xiàn)醫(yī)護(hù)面對(duì)突發(fā)狀況，督導(dǎo)、預(yù)警、防止手術(shù)步驟危險(xiǎn)。而未來(lái)，更可指揮智能醫(yī)療機(jī)器人執(zhí)行如肺癌等復(fù)雜手術(shù)。

　　香港中文大學(xué)外科學(xué)系神經(jīng)外科組主任陳達(dá)明與北京協(xié)和醫(yī)院神經(jīng)外科主任醫(yī)師、研究生導(dǎo)師馮銘昨在香港科學(xué)園現(xiàn)場(chǎng)演示了 CARES Copilot 1.0 系統(tǒng)，全方位展示了其功能和實(shí)用性。據(jù)介紹，CARES Copilot 系統(tǒng)是一款專(zhuān)為醫(yī)療領(lǐng)域設(shè)計(jì)的大型模型系統(tǒng)，能夠與智能醫(yī)療設(shè)備高度集成，系統(tǒng)實(shí)現(xiàn)了圖像、文本、語(yǔ)音、視頻、MRI、CT、超聲等多模態(tài)的手術(shù)數(shù)據(jù)理解。

　　檢索數(shù)百萬(wàn)級(jí)數(shù)據(jù) 只需一秒鐘

　　通過(guò)系統(tǒng)的深度檢索功能，前線(xiàn)醫(yī)護(hù)能快速精確地提取手術(shù)教材、專(zhuān)家指南、醫(yī)學(xué)論文等專(zhuān)業(yè)文檔的信息，并確保提供的答案具有高度的可信度和可追溯性。系統(tǒng)具備長(zhǎng)達(dá)100K上下文的長(zhǎng)窗口理解與分析能力，能夠處理超過(guò)3,000頁(yè)的復(fù)雜手術(shù)教材，對(duì)于年輕醫(yī)生的培訓(xùn)和教學(xué)具有極高的實(shí)用價(jià)值。經(jīng)測(cè)試，系統(tǒng)能在一秒鐘內(nèi)完成百萬(wàn)級(jí)數(shù)據(jù)的快速檢索，并保持高達(dá)95%的準(zhǔn)確率。

　　據(jù)介紹，該系統(tǒng)在醫(yī)學(xué)多場(chǎng)景、多任務(wù)的理解與處理方面取得了顯著的進(jìn)展，可有效支持包括手術(shù)階段識(shí)別、器械與解剖結(jié)構(gòu)分割、器械檢測(cè)與計(jì)數(shù)、MRI 高分辨率圖像生成等功能。系統(tǒng)并已在多家醫(yī)院的不同科室進(jìn)行了實(shí)地內(nèi)部測(cè)試和持續(xù)優(yōu)化。

　　未來(lái)趨勢(shì) 機(jī)器人執(zhí)行復(fù)雜手術(shù)

　　AI技術(shù)與手術(shù)機(jī)器人技術(shù)相結(jié)合，無(wú)疑會(huì)給外科手術(shù)的發(fā)展帶來(lái)巨大變革，包括手術(shù)方式、理念、器械、設(shè)備等各方面。中國(guó)科學(xué)院香港創(chuàng)新院 AI中心執(zhí)行主任、中國(guó)科學(xué)院自動(dòng)化研究所研究員、博士生導(dǎo)師劉宏斌表示，AI在醫(yī)療領(lǐng)域絕對(duì)是不可逆轉(zhuǎn)的趨勢(shì)，盡管可能存在一些政策上的問(wèn)題，但實(shí)際上在許多醫(yī)院的一些研究團(tuán)隊(duì)，都已經(jīng)開(kāi)始應(yīng)用AI來(lái)處理多項(xiàng)工作。未來(lái)的發(fā)展方向是由機(jī)器人來(lái)執(zhí)行復(fù)雜的手術(shù)，“例如肺癌手術(shù)，雖然目前仍存在一些挑戰(zhàn)，但將目前的數(shù)據(jù)基礎(chǔ)做好準(zhǔn)備，以朝著這個(gè)方向前進(jìn)。 ”

　　陳達(dá)明認(rèn)為，開(kāi)放式AI已經(jīng)在改變?nèi)澜缛祟?lèi)的生活，在醫(yī)療上肯定也會(huì)做出更大的改變。而專(zhuān)為神經(jīng)科學(xué)研發(fā)的大模型，可以超越一般教學(xué)的要求，能夠配合手術(shù)、影像導(dǎo)航及機(jī)器人的大模型應(yīng)用在臨床、手術(shù)室及研究院，直接輔助前線(xiàn)醫(yī)護(hù)面對(duì)突發(fā)狀況，督導(dǎo)、預(yù)警、防止手術(shù)步驟危險(xiǎn)，推進(jìn)神經(jīng)科學(xué)的疆界。馮銘則指，手術(shù)大模型和手術(shù)導(dǎo)航結(jié)合起來(lái)，可以為術(shù)者提供實(shí)時(shí)的解剖定位信息，提高手術(shù)安全性。

　　港澳具國(guó)際視野 內(nèi)地罕見(jiàn)病例多

　　中國(guó)科學(xué)院香港創(chuàng)新研究院是中國(guó)科學(xué)院在境外設(shè)立的首個(gè)國(guó)家級(jí)新型研發(fā)機(jī)構(gòu)，展望未來(lái)，馮銘相信，內(nèi)地與港澳地區(qū)的合作將持續(xù)深化，科技部和國(guó)家衛(wèi)健委都有一些專(zhuān)門(mén)支持內(nèi)地與港澳合作的課題。在技術(shù)和理念方面， 香港和澳門(mén)更具有國(guó)際視野，而內(nèi)地則擁有更多病人以及經(jīng)驗(yàn)，特別是在處理一些罕見(jiàn)疾病和疑難病例方面。 醫(yī)院亦設(shè)有專(zhuān)門(mén)的罕見(jiàn)病診療服務(wù)，可與港澳的醫(yī)療資源實(shí)現(xiàn)良好互補(bǔ)。

　　多模態(tài)手術(shù)大模型

　　研發(fā)目標(biāo)

　　◆開(kāi)發(fā)前沿的手術(shù)領(lǐng)域多模態(tài)手術(shù)大模型，圍繞手術(shù)實(shí)現(xiàn)多模態(tài)數(shù)據(jù)理解，以及多任務(wù)統(tǒng)一處理，顯著降低初級(jí)外科醫(yī)師學(xué)習(xí)曲線(xiàn)，增強(qiáng)手術(shù)流程監(jiān)管，提高手術(shù)服務(wù)品質(zhì)，并與智能醫(yī)療器械緊密集成。

　　六大核心技術(shù)

　　◆手術(shù)全模態(tài)感知

　　◆知識(shí)連續(xù)自主學(xué)習(xí)

　　◆可追溯可解釋回答

　　◆多模態(tài)專(zhuān)家知識(shí)增強(qiáng)

　　◆超長(zhǎng)輸入窗口

　　◆多平臺(tái)部署

　　近期成果

　　◆可信賴(lài)且可解釋

　　◆旨在提高操作安全性和效率

　　◆在香港及大灣區(qū)多家醫(yī)院進(jìn)行測(cè)試

　　◆在JCAI-2023組織醫(yī)學(xué)大模型研討會(huì)

　　◆3月正式向香港神經(jīng)外科醫(yī)生發(fā)布