4月3日上午,医院应用移动5G网络,远程实时指导公医院完成了微创心脏手术。
借助移动5G网络大带宽低时延的技术优势,医院医院实现了两地4K高清手术影像的实时传输。本次手术实现了大带宽、低时延的5G高速网络环境下,包含人工智能和医疗数字化的远程手术指导医疗服务。
综合自新华社、新智元、广州日报及网络等
4月3日,医院医院完成全国首例AI+5G手术,成功为心脏病患者“补心”。手术期间的AI技术是由曾靠“贪心算法”成功追回被抢车的圣母大学计算机系终身副教授史弋宇团队提供。这次手术也是AI在临床上的一次落地应用。
AI+5G,第一次成功完成心脏病手术
刚刚,医院医院共同上演一场直播“大片”:
医院心外手术室里,医生主刀进行心脏腔镜手术;在相隔近公里外的医院,专家通过观看大屏幕上5G传输的实时超高清手术画面,对高州市的手术进行远程指导。
在这场手术前,医院使用到了自主研发的全自动AI去噪以及建模软件,一键完成建模,耗费时间从2-6小时缩短至两分钟以内,并自动生成3D打印机可识别的3D数字心脏模型(STL格式),直接用来打印出实体1:1心脏模型。
值得注意的是,手术的AI技术部分是由医院特聘顾问史弋宇教授带领团队参与。史弋宇是圣母大学计算机系终身副教授,博士生导师,并兼任电子系终身副教授。
史弋宇
这次参与全国首个AI+5G手术,史弋宇筹备了一年时间,手术成功也让AI在医疗领域更加落地。
患者情况:先天心脏病,心脏出现孔
接受AI+5G手术的是一位41岁的女性患者,据医生介绍,这名患者有先天心脏病,近期因“劳力性心悸、气促10余天”入院。经过心脏彩超和右心导管等检查发现,患者诊断为继发孔型房间隔缺损。
房间隔缺损本来是简单先心病,如果在小时候做开胸手术,操作上是相对容易,而且风险很低的。但是这位患者已经41岁,出现了重度肺动脉高压,开始出现心力衰竭,病情已经从简单先心病转变成复杂的成人先心病,简而言之心脏没有正常的发育,形成了一个缺损,就是我们所说的心脏里面出现一个孔。
模型演示患者的心脏中间出现一个孔(摄影:邱海龙)
这个孔的存在会导致病人心脏左心房的血会持续往右心房分流,加重右心房的整个心脏的负荷,也会加重肺循环的负荷,久而久之,心脏也就会持续扩大,肺动脉的压力也会持续的增高。
通过3D打印出来的1:1心脏模型可以看到,患者的心脏比正常人的偏大,而正常人的心脏大约有一个拳头那么大。
通过影像也可以观察到,患者的心脏占据了整个胸腔的2/3以上。
由于房间隔缺损一直伴随患者41年,错过了治疗的最佳时期,因此无法进行常规的心脏手术矫治,最严重的结果可能会导致心肺联合移植甚至是死亡。
同时,患者的心肺功能衰竭到已经出现症状,因此术中的操作必须仔细,心肌保护要到位,围术期的管理也是挑战,再加上是胸腔镜下做手术,对医生的手术操作是较大的考验。
准备阶段:AI三维建模只需2分钟
对于这次手术,医院可谓用上了目前最热门的“黑科技”,其中多项技术均已申请专利进行知识产权保护。史弋宇教授负责参与AI部分,主要用于术前准备阶段。
图像压缩
医院把影像采集下来以后,要进行实时影像传输,史弋宇教授联合佛罗里达国际大学闻武杰教授先做一个面向机器学习的影像压缩,在数据接收端会自动对影像进行去噪,然后分割、建模。
影像压缩的出发点和传统的压缩(比如JPEG)不同,JPEG是针对人的视觉的,要保证压缩后没什么视觉上的损失。而该工作做的压缩是为了AI建模,不以人的视觉作为标准,而是针对计算机视觉的影像压缩。
通过压缩,接收的图像体积变小了,而且图像分割的准确度得到了提升,压缩率提升3倍,且能提升分割效果。
关于影像压缩的成果,论文将会发表在今年6月的CVPR上。
论文题目:MachineVisionGuided3DMedicalImageCompressionforEfficientTransmissionandAccurateSegmentationintheClouds
AI去噪
在上面的图像压缩过程中,还包含了一部分去噪技术。因为这里的图像是用来建模的,所以在压缩的过程中,同时把一部分噪声也去掉了。在去噪方面,使用了注意力神经网络,能够集中注意到图像里的噪声。
史教授团队对每一例影像进行自动去噪,最后的结果直接进行自动建模,不需要人工干预。这样就可以把心脏的模型建成一个可3D打印的模型。
机器学习和传统计算机视觉的混合建模
对于结构性心脏病患者来说,他的心脏结构可能跟正常的心脏差别很大,所以史教授团队用了机器学习加传统计算机视觉的方法。对于心脏结构比较变化大的,用一些传统计算机视觉的方法;关于心脏的一些精细结构,使用人工智能与传统计算机视觉方法的混合架构。
整个心脏的三维建模时间大概是2分钟,而且准确度在先天性心脏病上也比传统方法的70%提升了12%。如果使用传统3D建模方法,大概需要几个小时时间。
这个模型的直接作用有两个。第一个作用是让医生在术前准备的时候,会把这个模型用3D打印出来,供医生在术前准备时参考,能够直观地看看患者心脏到底是什么样的,有些什么问题。
模型的另外一个重要作用是,让术中进行远程指导的医生,能够通过VR和MR技术,利用传输过来的实时影像以及之前的建模,能够实时、动态地指导目前的手术的进展。
在本场手术中,医院采用的是3D建模方法,指导心内手术操作非常直观;但是在某些情况下,比如一些急诊重症病人,来不及进行3D打印,就可以实时用VR的虚拟心脏来指导,也很直观。
下图可以显示AI在手术中起到的作用:
手术过程:VR演示补心术
准备工作之后是手术过程
今天上午9点35分左右,手术正式开始。在医院现场的大屏幕上(下图),有四个播放画面,从左到右分别是医院、医院手术室、医院、VR视频手术过程演示。
医院手术现场
从现场播放的VR演示视频,我们可以看到整个手术过程。
手术开始前,先将患者右侧胸腔垫高30度。然后确定手术入路,即主操作孔、镜孔和辅助操作孔。
患者身上会插管连接体外循环机,就是通常所说的人工心肺机,后续进行身体降温之后,医生再灌注心机保护液,让心脏停下来,之后再进行心脏的探查跟房间隔缺损的修补。
下图是房间隔缺损修补术过程:
手术中最关键的环节有两个,一个是在心脏的Koch三角区,缝合时需要注意不要靠近这,以免引起心脏心肌损伤,导致心脏跳动的节律传导受到阻滞。
另一个是心脏的解剖结构要看得更清楚一些,修补房间隔缺损的“补片”要补得更大一些。
最后确认没有残余分流,修补完成,心脏复跳,止血关胸,手术完成。
现场经过近3个小时的手术后,4月3日12:55分,患者心脏复跳,手术成功!
5G比4G提速10倍,时延低于30微秒
手术现场的主刀医生为医院的何勇医生,指导医生是医院心外科的郭惠明医生。
根据