本申请涉及微创外科技术领域，尤其涉及一种腹腔镜增强现实手术导航方法、装置及电子设备。
背景技术：
目前，外科手术整体趋势向着微创化、机器人化以及精准化发展，作为微创手术的腹腔镜手术在胆囊切除、迷走神经肝切除、肾切除等手术中已经成为常规术式。腹腔镜手术中用于进入体腔内的相机由于设备大小及仪器受限，可视范围受限，同时，实际术中由于多种原因，如：巨大的病灶、历史手术引起的解剖错位以及医生经验欠缺等，使得医生对手术关键结构辨认困难，对手术的质量及病人的安全是巨大隐患。增强现实手术导航可以有效缓解医生术中感知有限和对关键结构辨认困难的问题，为医生提供手术引导。
利用腹腔镜进行增强现实显示的关键技术是视觉同步定位和构图(simultaneouslocalizationandmapping，slam)技术，但是，视觉slam非常依赖图像的成像质量，在图像质量不佳的情况下难以正常工作，腹腔镜场景下，随时可能出现光照、纹理质量的变化，以及相机的快速运动带来的图像模糊，都会使得相机拍摄的图像质量不佳，而图像质量不佳会造成slam系统对腹腔镜的实时位姿和术中三维点云解算出现误差，进而导致增强现实手术导航的准确性差。
技术实现要素：
本申请提供一种腹腔镜增强现实手术导航方法、装置及电子设备，以解决图像质量不佳造成slam系统对腹腔镜的实时位姿和术中三维点云解算出现误差的问题。
第一方面，本申请提供一种腹腔镜增强现实手术导航方法，包括：
获取目标组织器官的术前三维模型，所述术前三维模型包括术前三维点云；
根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取所述目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵；
对所述目标组织器官的术前三维点云和术中三维点云进行配准，得到所述术前三维点云的旋转矩阵与平移矩阵；
通过所述腹腔镜的旋转矩阵与平移矩阵和所述术前三维点云的旋转矩阵与平移矩阵将所述目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。
可选的，所述根据术中腹腔镜实时采集的腹腔镜视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜姿态信息，获取所述目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵，包括：
将所述腹腔镜的视频信息和所述腹腔镜的姿态信息输入到视觉同步定位和构图系统中，用于所述视觉同步定位和构图系统进行处理；
接收所述视觉同步定位和构图系统输出的所述目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵。
可选的，所述对所述目标组织器官的术前三维点云和术中三维点云进行配准，得到所述术前三维点云的旋转矩阵与平移矩阵，包括：
s1、在所述术中三维点云中采集预设个数的点集pi；
s2、确定出所述术前三维点云中的点集qi，点集qi满足点集pi和点集qi的欧式距离最小；
s3、根据所述点集pi和所述点集qi计算旋转矩阵r和平移矩阵t，所述旋转矩阵r和平移矩阵t满足误差函数e(r，t)最小，所述误差函数为：
其中，n为最邻近点对的个数，pi为点集pi中的一点，qi为点集qi中与pi对应的最近点，r为旋转矩阵，t为平移矩阵；
s4、对点集pi使用所计算出的旋转矩阵r和平移矩阵t进行旋转和平移变换，得到点集pi’＝{pi’＝rpi+t}；
s5、计算点集pi’与点集qi的平均距离d；
s6、如果d小于预设阈值或者大于预设的最大迭代次数，则停止迭代计算，否则返回s2，直到d小于预设阈值或者大于预设的最大迭代次数。
可选的，所述对所述目标组织器官的术前三维模型和术中三维点云进行配准之前，所述方法还包括：
对所述术中三维点云进行分割处理和消除噪声处理。
可选的，所述腹腔镜的姿态信息包括加速度、角速度和偏航角。
第二方面，本申请提供一种腹腔镜增强现实手术导航装置，包括：
第一获取模块，用于获取目标组织器官的术前三维模型，所述术前三维模型包括术前三维点云；
第二获取模块，用于根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取所述目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵；
处理模块，用于对所述目标组织器官的术前三维点云和术中三维点云进行配准，得到所述术前三维点云的旋转矩阵与平移矩阵；
显示模块，用于通过所述腹腔镜的旋转矩阵与平移矩阵和所述术前三维点云的旋转矩阵与平移矩阵将所述目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。
可选的，所述第二获取模块用于：
可选的，所述处理模块用于：
可选的，所述处理模块还用于：
在对所述目标组织器官的术前三维点云和术中三维点云进行配准之前，对所述术中三维点云进行分割处理和消除噪声处理。
本申请提供的腹腔镜增强现实手术导航方法、装置及电子设备，通过先获取目标组织器官的术前三维模型，接着根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵，然后对目标组织器官的术前三维点云和术中三维点云进行配准，得到术前三维点云的旋转矩阵与平移矩阵，最后通过腹腔镜的旋转矩阵与平移矩阵和术前三维点云的旋转矩阵与平移矩阵将目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。从而，可降低图像质量不佳造成slam系统对腹腔镜的实时位姿和术中三维点云解算出现误差的概率，提高增强现实手术导航的准确性，可在临床手术过程中完成对术中视野的增强现实显示，完成对手术过程的实时导航。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的腹腔镜增强现实手术导航方法的一种应用场景示意图；
图2为本申请提供的一种腹腔镜增强现实手术导航方法实施例的流程图；
图3为本申请提供的一种镜增强现实手术导航装置实施例的结构示意意图；
图4为本申请提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请提供的腹腔镜增强现实手术导航方法的一种应用场景示意图，如图1所示，本申请中可以是在腹腔镜2的相机手柄上设置惯性传感器，在术前获取目标组织器官1的术前三维模型，通过腹腔镜2在对目标组织器官1实施手术的过程中，腹腔镜实时采集腹腔镜的视频信息，惯性传感器实时采集腹腔镜的姿态信息，将腹腔镜的视频信息和腹腔镜的姿态信息输入到slam系统中，通过slam系统的处理输出目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵，本申请提供的腹腔镜增强现实手术导航装置接着对目标组织器官的术前三维点云和术中三维点云进行配准，得到术前三维点云的旋转矩阵与平移矩阵，最后通过腹腔镜的旋转矩阵与平移矩阵和术前三维点云的旋转矩阵与平移矩阵将目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。从而，可在临床手术过程中完成对术中视野的增强现实显示，完成对手术过程的实时导航，本申请的方法可降低图像质量不佳造成slam系统对腹腔镜的实时位姿和术中三维点云解算出现误差的概率，提高增强现实手术导航的准确性。
图2为本申请提供的一种腹腔镜增强现实手术导航方法实施例的流程图，如图2所示，本实施例的方法可以包括：
s101、获取目标组织器官的术前三维模型，术前三维模型包括术前三维点云。
具体地，可以是术前通过ct或mri医学影像重建出目标组织器官结构的三维模型，通常可通过移动立方体算法(marchingcube)进行三维模型结构提取，不同组织器官模型需要预先进行设置及调整，例如通过调整密度值进行三维模型的重建提取。
s102、根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵。
作为一种可实施的方式，s102具体可以为：
将腹腔镜的视频信息和腹腔镜的姿态信息输入到视觉同步定位和构图系统(即slam系统)中，用于视觉同步定位和构图系统进行处理；
接收视觉同步定位和构图系统输出的目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵。
腹腔镜的视频信息是由腹腔镜的双目相机获取，具体地，双目相机获得左右图像，slam系统提取腹腔镜的视频信息的特征点，并计算提取出的特征点的三维坐标，一般将第一帧计算得到的特征点作为后续所有特征点位置的参考，用于得到初始的位置，为后续运动参考。提取出的特征点即可形成三维点云，三维点云zc的获取具体可以为：
其中，xl和xr分别是三维点云在双目相机左视图及右视图成像点的图像坐标，b为双目相机的基线，f为双目相机的焦距(可通过双目相机标定获得)。
三维点云相当于全局的三维点云，不仅仅是目标组织器官的三维点云，所以后续需要对这个全局点云进一步处理，如删减，得到目标组织器官的三维点云。
s103、对目标组织器官的术前三维点云和术中三维点云进行配准，得到术前三维点云的旋转矩阵与平移矩阵。
具体地，可通过点云配准方法对目标组织器官的术前三维点云和术中三维点云进行配准。
作为一种可实施的方式，本实施例中采用迭代最近点算法(iterativeclosestpoint，icp)对目标组织器官的术前三维点云和术中三维点云进行配准，具体过程可以为：
s1、在术中三维点云中采集预设个数的点集pi；
s2、确定出术前三维点云中的点集qi，点集qi满足点集pi和点集qi的欧式距离最小；
s3、根据点集pi和点集qi计算旋转矩阵r和平移矩阵t，旋转矩阵r和平移矩阵t满足误差函数e(r，t)最小，误差函数为：
s6、如果d小于预设阈值或者大于预设的最大迭代次数，则停止迭代计算，否则返回s2，直到满足收敛条件为止，收敛条件即为d小于预设阈值或者大于预设的最大迭代次数。
s104、通过腹腔镜的旋转矩阵与平移矩阵和术前三维点云的旋转矩阵与平移矩阵将目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。
具体地，腹腔镜的旋转矩阵与平移矩阵即为腹腔镜的位姿变化，通过将腹腔镜的位姿变化和术前三维点云的旋转矩阵与平移矩阵将目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上，可实现图像的实时随动，实现实时增强现实手术导航。
进一步地，在s103中对目标组织器官的术前三维模型和术中三维点云进行配准之前，本实施例的方法还可以包括：
对术中三维点云进行分割处理和消除噪声处理。
由slam系统获取的术中三维点云会存在许多噪点以及场景中的其他点云信息，因此需要对术中三维点云进行分割处理和消除噪声处理，本实施例中可以采用基于ransac的点云分割方法对术中三维点云进行分割，通过对术中三维点云进行分割处理和消除噪声处理，便于对目标组织器官的术前三维模型和术中三维点云进行配准，提高配准的准确性。
本实施例提供的腹腔镜增强现实手术导航方法，通过先获取目标组织器官的术前三维模型，接着根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵，然后对目标组织器官的术前三维点云和术中三维点云进行配准，得到术前三维点云的旋转矩阵与平移矩阵，最后通过腹腔镜的旋转矩阵与平移矩阵和术前三维点云的旋转矩阵与平移矩阵将目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。从而，可降低图像质量不佳造成slam系统对腹腔镜的实时位姿和术中三维点云解算出现误差的概率，提高增强现实手术导航的准确性，可在临床手术过程中完成对术中视野的增强现实显示，完成对手术过程的实时导航。
图3为本申请提供的一种镜增强现实手术导航装置实施例的结构示意意图，如图3所示，本实施例装置可以包括：第一获取模块11、第二获取模块12、处理模块13和显示模块14，其中，
第一获取模块11用于获取目标组织器官的术前三维模型，术前三维模型包括术前三维点云；
第二获取模块12用于根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵；
处理模块13用于对目标组织器官的术前三维点云和术中三维点云进行配准，得到术前三维点云的旋转矩阵与平移矩阵；
显示模块14用于通过腹腔镜的旋转矩阵与平移矩阵和术前三维点云的旋转矩阵与平移矩阵将目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。
进一步地，第二获取模块12用于：
将腹腔镜的视频信息和腹腔镜的姿态信息输入到视觉同步定位和构图系统中，用于视觉同步定位和构图系统进行处理；
进一步地，处理模块13用于：
进一步地，处理模块13还用于：
在对目标组织器官的术前三维点云和术中三维点云进行配准之前，对术中三维点云进行分割处理和消除噪声处理。
在本实施例中，腹腔镜的姿态信息包括加速度和角速度。
本申请实施例提供的装置，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。
图4为本申请提供的电子设备的硬件结构示意图。如图4所示，本实施例的电子设备20可以包括：存储器21和处理器22；
存储器21，用于存储计算机程序；
可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。
当存储器21是独立于处理器22之外的器件时，电子设备20还可以包括：
总线23，用于连接存储器21和处理器22。
可选地，本实施例还包括：通信接口24，该通信接口24可以通过总线23与处理器22连接。处理器22可以控制通信接口23来实现电子设备20的上述的接收和发送的功能。
本实施例提供的电子设备可用于执行上述的方法，其实现方式和技术效果类似，本实施例此处不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponent，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。