基于增强现实的手术导航图像融合方法研究主讲人：•1基本概念•2设计原理•3虚拟模型三维重建•4系统空间定位•5真实手术场景三维重建•6虚实融合显示•7存在问题1基本概念•增强现实是将计算机处理出来的虚拟模型图像叠加到用户所在的现实世界场景里，对现实场景进行增强。该技术由数字信息系统提供信息，增强人对周围真实世界的感知，并且把模拟的场景、物体或有关提示消息、图像融入到现实场景里，从而达到对现实的“增强”效果。•手术导航系统是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。•图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。2设计原理•常用的增强现实图像融合方法：通过摄像机获取真实的场景信息，三维软件绘制虚拟的三维模型（三维重建），对将要增强的现实世界进行基准点定位，然后，将真实的场景图像与虚拟的图像图形按照一定的相对位置空间融合在一起。•原理：采用基于外加标志点的匹配算法，通过双目视觉系统中对左右摄像机标定，完成手术空间中的标志点定位，使手术过程中能够实时跟踪定位标志点；通过颅骨模型外表面三维重建，得到颅骨的三维虚拟模型；对真实手术场景重构，配合软件的高效处理能力，将虚拟颅骨模型导入到手术场景平台上，完成系统融合显示。硬件实验平台系统框图3虚拟模型三维重建部分•CT图像重构的一般过程：主要包括数据获取、数据输入、图像预处理、图像配准、三维重建以及显示六个步骤，最后得到颅骨的虚拟模型•具体流程：•CT数据获取：采用CT扫描设备对颅骨模型进行三维扫描，得到医学图像国际标准格式DICOM文件•数据输入：将得到的数据存入计算机进行调用处理•图像预处理：采用基于Amira软件的交互式剪切方式对多余数据进行剪切及其他图像预处理•图像配准：使用单模态图像配准函数中的最小化灰度均方差方法对相邻的CT切片进行图像配准•三维重建及显示：采用表面绘制中的行进立方体方法（MC算法）进行颅骨CT图像的三维重建以及重建后的模型优化，并最终将优化后的重建模型输出显示。4系统空间定位•将两个摄像机成角度的安装在手术平台上方，左右摄像机分别采集放置在手术平台的颅骨图像，对采集来的左右颅骨图像进行处理，然后提取出左右颅骨图像的外加标志点，对双目摄像机采用基于Matlab工具箱的标定法标定，得到二维平面图像和空间三维图像的转换关系，最后计算出标志点的空间坐标。左侧拍摄图像右侧拍摄图像4.1双目摄像机的标定•传统摄像机标定方法：依据摄像机成像的模型，建立对应的关系矩阵，通过计算求出摄像机内部和外部参数；在已知摄像机内参和外参的条件下，找到二维图像坐标到三维世界坐标之间的转换关系•采用了Jean-YvesBouguet提出的角点检测算法，基于Matlab工具箱实现了棋盘格角点的半自动检测。该算法采用了非线性模型相机的线性标定方法，对二维平面标靶采集多个不同高度、角度的图像，实现了相机的标定。•二维图像经过剪切、标记点提取、标号、配准后便可对双目摄像机采集的颅骨图像进行二维图像融合。由于摄像机在架设时存在一定的角度偏差，因此左右摄像机采集的图像包含的信息量各有不同，为了防止信息丢失同时增加信息量，本文将对左右摄像机采集的颅骨图像进行融合，融合后可得到颅骨的实验正脸图像，使头部信息更加丰富。4.2双目视觉图像融合左、右剪切图标志点提取、标号标志点匹配融合5真实手术场景的三维重建•使用照片重建场景空间的方法。对静态的真实手术空间进行360度等角度均匀拍摄，从拍摄的真实手术空间照片中找相关的特征，然后两两匹配，计算相机位置等场景信息，完成真实手术场景的三维重建，并获得的手术场景中的标志点的坐标。•大致流程：•1、识别平台及周围环境的的特征，完成特征点匹配•2、通过匹配，根据射影定理，计算相机的空间位置等场景信息。•3、将第二步得到场景信息...
