面向无菌医疗环境的物理三维建模与人机交互技术

所属学院：人工智能研究院

合作方式：☒整体转让 ☒技术许可 ☒作价入股 ☒合作开发 ☐其它_____

成果简介：

将医院已建设各类信息系统进行整合，并且集成各类医疗设备，实现了患者诊疗信息的集中展示、传输、存储与模拟。以合适的方式直观的展示给术者，在手术室内可以实时、便捷的获取到与手术相关的信息，无论是术前的各类医学影像、生化生理指标、电子病历，还是实时生命体征监测信息，又或是基于病人特殊病情所进行的实时物理模拟预测信息等，都可以根据需要灵活的可选择的显示在手术室内的多块显示终端屏幕上，有利于术者做出正确的决定，从而提高手术的效率和安全性。而且，数字化手术室系统的多信息屏也能够很好的解决手术助手医师和手术护理人员的视角视野问题。将手术所需要的和手术过程中产生的大量数据集中展现在手术室，注重在手术室临床信息系统和医院其他信息系统的整合，结合医院信息基础设施环境而形成分布式、模块化、实时性的数字化手术室平台。将手术室医疗设备如机器人系统、手术导航系统、内窥镜系统、麻醉系统等有机集成，实现设备资源和信息资源高度共享，提供临床手术所需要的完整信息。

成熟程度及推广应用情况：

目前处于何种研发阶段：☐研发 ☐小试 ☒中试 ☐小批量生产☐产业化；样机：☒有 ☐无 其他：□如选择“其他”，请说明：。

推广应用情况：所开发技术成果已应用于西南医院数字化无菌手术室构建。

技术优势：

传统的手术中当医生需要患者影像信息需要护士协助，而且影像是平面图片、缺少重建图像，无法展示如血管、神经、周围临近器官的空间位置；该类影像信息亦无法实现对施术过程的模拟与量化评估，对于结构复杂的手术，往往不能起到指导作用。每台手术在影响信息获取分析环节总体需要耗时20分钟-1小时不等。患者手术时间延长会导致术中失血增多，脏器暴露时间长会增加感染，不利于患者的术后恢复，以及增加手术后并发症的风险。此外手术室内医生和协助护士的沟通可能产生意图错误传递的风险。项目创新性解决医疗手术室效率低下的问题,能大幅度降低了人力成本，提高医生的效率与施术精准度，更重要的是为患者节约了时间、减少了各个环节的损耗时间，最大程度消除了无菌手术人员和非手术人员的交流障碍。

性能指标：

不同尺度群体及遮挡复杂场景的三维实时获取及分析：主要针对复杂遮挡场景中人体级别的获取与分析，在人体数量上直接采用数字精度进行对比，同时针对场景中最主要的用户，采用Skeleton相关性准度表示，近距离（1.2m-2m）及中距离（2.0m-3.0m）尺度下，获取数量及准确率达到80%。

医疗影像资料物理三维建模：利用图像处理降噪算法处理医学扫描图像，进行平滑矫正处理，增强区域结构对比度；构建区域分割算法进行施术部位结构模式识别，确保分割区间准确性及组织描述完整性；设计物理三维重构算法，分析图像各分割区域连通性及分布状态，并基于各组织物质特性构建动力学仿真模型，实时模拟手术过程统，实现医学影像信息高维化。

市场分析：

对无菌手术环境下的智能语义识别与手术实时模拟可有效提升手术施术过程效率，本技术研制的面向无菌医疗环境的物理三维建模与人机交互算法，所形成计算机系统模型可形成技术专利与软件著作，可以面向医疗器械研发单位进行技术对接，填补市场相关领域技术空白，有望培育出战略性新兴产业，具有潜在的经济效益，并将推进国内计算机医疗辅助技术本土化、信息化、智能化、产业化发展，并对接移动互联网、大数据、可穿戴、云计算等新一代信息领域，可促进国产医疗辅助性系统的创新链-产品链-服务链的形成。

经济效益分析：

本技术完成后将会形成一系列人机交互核心硬件设备和以云端为核心的软件工具平台，为我国人机交互发展提供重要推力。根据麦肯锡报告的预测，人机交互技术作为众多影响人类生活和全球经济发展的颠覆技术的基础，将在2025年对全球经济产生13.3-28.2万亿美元的影响。依照中国经济届时占世界经济的五分之一估计（保守估计），人机交互技术对我国经济的直接或间接的影响或将达到2.6-5.6万亿美元。本项目的开展将为下一代人机交互技术的发展提供技术保障。

成果亮点：

1.具有自主知识产权，研究成果已发表高水平论文10余篇，代表性论文有：

陶建华,杨明浩,王志良,班晓娟,解仑,汪云海,曾琼,王飞,王红迁,刘斌,韩志帅,潘航,陈文拯.无菌条件非接触式多通道自然交互手术环境[J]. 软件学报, 2019, 30(10): 2986-3004.

张雅斓, 班晓娟, 徐衍睿, 等. 面向非牛顿流体仿真的边界处理方法[J]. 计算机辅助设计与图形学学报, 2019, 31(8): 1341-1349.

沈晴,班晓娟,常征,郭靖.基于视频的人机交互中动作在线发现与时域分割[J].计算机学报, 2015, 38 (12): 2477-2487.

Zhang Y, Ban X, Du F, et al.FluidsNet: End-to-end learning for Lagrangian fluid simulation [J]. Expert Systems with Applications, 2020: 113410.

Wang X, Liu S, Ban X, et al.Recovering Turbulence Details using Velocity Correction for SPHFluids[M]//SIGGRAPH Asia 2019. 2019: 95-98.

2. 成果来源：

国家重点研发计划(2016YFB1001404)，国家自然科学基金(No.61572075 No.61702036),海南省重点研发计划(No. ZDYF2020031)等。

3. 技术先进性：

国际先进基于语音和手势交互技术，搭建一个模拟展示环境，创建一个能够展示医学影像资料的系统。建立手势-指令对照表，能够通过手势控制系统图片的前进、后退、放大、缩小等操作；同时支持语音识别结果转化为指令，对系统进行快捷操作。搭建了人机交互计算机智能辅助无菌手术室的第一版原型系统，实现了基于语音和手势的医疗手术环境下的医疗处理界面自然交互操作。

团队简介：

北京科技大学人工智能与三维可视化实验室目前有教师6人（其中教授1人，副教授1人，讲师4人）。负责人班晓娟教授（博导）获得教育部新世纪优秀人才荣誉称号，任中国人工智能学会常务理事及智慧医疗专业委员会主任，中国计算机学会人机交互专业委员会常务委员。近年在Nature子刊，计算机学会推荐的A类顶级国际会议CHI、VR、SIGGRAPH等发表图像处理和流体模拟相关文章多篇。团队致力于计算机视觉以及图形学等领域的应用研究。主持国家级项目10余项，省部级及横向企业项目20余项，发表学术论文300余篇，发明专利10余项，软件著作权20余项，获省部级以上科研教学奖励4项。

成果相关照片：

图1加速部件放置于计算机上

图2多模态数据协同处理专用加速计算部件结构

图3面向孔源性视网膜脱离的硅油填充计算机辅助模拟分析技术

图4无菌非接触式智能手术室方案及设备连接图

联系方式：

北京科大科技园

010-62333830,62335841,62335665,62333626