内窥镜的图像处理中心，核心功能是将拍摄采集到的图像进行处理加工然后显示出来，也可在此进行录像、数据保存、归档、分析等。
导读
和义广业【行业分析】之荧光电子内窥镜，本篇主要介绍荧光内窥镜的定义，原理及组成，简要介绍了荧光内窥镜中荧光分子探针的结构与性能，重点介绍了内窥镜光学系统中摄像系统、冷光源、数据处理系统的组成以及参数要求。
传统白光成像缺乏疾病特异性的光学特征，无法定位和可视化癌前病变，另外某些疾病病变的弥漫性和斑片状，进一步阻碍了检测。随着技术进一步发展，逐渐开始进行提高病变组织识别率的技术探索：窄带成像方法、激光共聚焦成像方法、自体荧光成像和光学分子成像1。本文以下内容主要介绍光学分子成像。光学分子成像技术使用荧光标记物与生物体内的小分子、蛋白质或者抗体等结合，借助这些荧光标记物进行诊断。在激发光的激发下，标记的肿瘤细胞等病变组织与正常组织图像呈现出高对比，医生可以观察肿瘤大小、轮廓等信息，从而监测肿瘤的生长、位置转移等状态。在肿瘤切除手术过程中，通过对肿瘤组织结构进行荧光标记，实时显示肿瘤区域荧光图像，可以帮助外科医生对肿瘤形状等特征进行判别，从而实现与正常健康组织区分，达到精准治疗的目的。
一、荧光
1.1荧光分类以及原理
物质产生荧光的原因大概可以分为几类：
（1）光致荧光：由可见光激发的荧光；
（2）化学荧光：由化学反应引起的荧光；
（3）X射线荧光：由X射线引起的荧光；
（4）激光荧光：由激光引起的荧光；
（5）生物发光：在有生命的生物体中产生的荧光。
荧光内窥镜的荧光产生主要是激光激发。
可见光的波长范围为380-760nm，红外的波长范围大约在0.76-50μm之间。当荧光物质被外界特定能量（如激光等）激发，会引起荧光物质的电子由低能级（基态）跃迁至高能级（激发态），然后电子又会由高能级释放能量回归低能级。在由高能级向低能级跃迁的过程中，电子会释放能量，能量以一定频率光波的形式被释放，产生的光波为荧光。
1.2荧光探针
其中最具代表的分子染料是获得FDA批准临床应用的吲哚菁绿ICG，该分子的荧光发射峰在800nm左右。吲哚箐绿（ICG）又称靛青绿或福氏绿，是一种三碳箐染料，其特点为5：
最大吸收波长805nm，最大荧光波长835nm，均在近红外光范围内；
与血浆蛋白结合率高达98%，主要与血浆中较大分子的高密度和低密度脂蛋白相结合，形成较大体积的ICG-血浆蛋白复合体，故极少从脉络膜毛细血管漏出；
ICG分子为三维立体结构，其两个多环结构具有亲脂性（如亲磷脂成分），而其硫酸盐基团具有亲水性，因此ICG具有亲脂和亲水的双重特性；
ICG的血浆清除有两个高峰，第1个高峰在染料注入后的3~4min，第2个高峰在1h后。
二、荧光电子内窥镜结构组成
荧光电子内窥镜主要由摄像系统、数据处理系统、光源和显示器四部分组成。荧光内窥镜在技术特点上的难度主要体现在以下两个方面：
（1）设计和制造。为实现在宽光谱范围内400-900nm矫正像差（即白光图像和荧光图像切换时不需另行调节焦距），荧光内窥镜需45-50片光学透镜并采用特殊的光学结构设计，普通白光内窥镜通常仅需30-35片光学透镜；
（2）镀膜技术。由于荧光内窥镜的镜片数量远超过普通白光内窥镜，其单面反射率需控制在0.3%以内，从而实现高透过率和高对比度。白光内窥镜的单面反射率控制范围则为0.5%以内6。
图荧光内窥镜原理示意图7
摄像系统主要由机械结构、图像传感器、光学成像系统、内部导线、导光光纤等组成，功能为将待观察的表面信息，由光信号转换成电信号。
2.2图像传感器
图像传感器是一种将光学图像信号转换为电子信号的器件，分为光导摄像管和固态图像传感器两种。
图像传感器并不是电子内窥镜的独有器件，硬管式内窥镜和光学纤维内窥镜也可连接图像传感器，电子内窥镜中的图像传感器位置在摄像系统的前端，另外两种内窥镜在位于后端手柄处。固态图像传感器分为电荷耦合器件图像传感器（CCD）和互补金属氧化物半导体图像传感器（CMOS）。这两种图像传感器的均是将光信号转换电信号的工作原理。二者主要对比如下图所示8：
CMOS图像传感器近年来增长迅速，已接近全面替代CCD传感器。在这样的背景下，行业主要参与者都在加大CMOS图像传感器的研发投入力度。
行业龙头索尼在2016年占据了42%的市场份额，产品涵盖各个消费类电子到各类行业应用(如汽车、安防、工业等)，且主攻高端市场，技术实力最强;其次是三星，主攻消费类电子市场，多是自产自销，在技术上紧追索尼，已经可以提供与索尼同级别的CMOS传感器，但三星的产品在行业应用较少;第三位豪威科技，在行业应用上有多年积累，尤其是在车载CMOS传感器应用领域，市占率高于索尼9。
2.3光学成像系统10
光学成像系统承担的则是将待拍摄的画面呈现在CMOSorCCD上，光学成像系统是三大种类内窥镜共有部分，也是荧光电子内窥镜必不可少的部分。光学成像系统由一组镜片组成，其镜片材料通常为玻璃或者人工树脂，手机相机的镜组材料通常是后者，而单反相机的镜组材料通常为前者。
2.4光学系统主要参数11：
视场角，物体图像的入射光线，最先通过物镜玻璃，进入物镜后平行传导。进入物镜的入射光线和水平线的夹角，即视角（DOV），DirectionOfView.内窥镜视角一般有0°，12°，30°，70°，90°。医用的电子内窥镜和光学纤维内窥镜的前端均可弯曲，但光学纤维内窥镜因为光纤易断裂，和金属做成的电缆相比，韧性远远不足，医用电子内窥镜的最大弯曲角度为270°，光学系统的视场角为90°时，即可保证观察无盲区。
视野，物镜可以观察到的范围，称为视野（FOV）,FieldOfView.内窥镜视野范围一般分为广角，标准角。
通光孔径，光学成像系统的通光孔径的大小，影响光学成像系统的景深和采光能力，通光孔径越大，光学成像系统的采光能力则越强，图像越明亮清晰，所需要的光源照明亮度则越低，但是系统的景深则越小。
光学成像系统分辨率，是指"物"在经过光学系统后的"像"在细节上能被分辨的最小距离。大于这个距离的两个像点就能被识别为两个点，而小于这个距离的两个点经过光系统后就会被识别为一个点。图像传感器的光学分辨率是用每毫米上可以分辨的黑白线对数来表示，即每毫米的宽度上，有多对像元。
这里需要区别的是我们常规了解的图像分辨率，图像分辨率的定义是单位距离内的像用多少个像素来显示。例如：智能手机相机，使用的微型图像传感器的像素高达2000万甚至4000万。从像素值而言，远远高于现在的单反相机，可是，摄影爱好者依然是经常手持单反拍摄而不是手持手机拍摄，其主要原因就在于，手机相机所匹配的光学成像系统的镜头模组，分辨率是达不到对应图像传感器的光学分辨率的。所以，决定整个相机拍摄的分辨率的是光学成像系统。
景深，即景物的影像的清晰深度，它是光学系统可以清楚观察到的从近到远的一段距离。在这段距离内，场景中的物体不论是移近镜头，还是移向远处，都能够形成清晰的图像。
三、光源13
3.1光源分类及对比
照明光源是电子内窥镜的核心之一，主要由光源系统和导光光纤组成，主要功能是为腔体照明。照明光源有LED光源、氙气灯、卤素灯、白炽灯、汞灯、金卤灯。但都还不是绝对的冷光，在很多条件下并不能直接用于患者，需要通过一定的方式将这些光源转化为冷光(降级色温)。首先，要采用真空镀膜的非球形反射镜面，该镜面通过镀膜能够吸收大量的红外线，使得发光温度得到有效的降低，为了保证镀膜的正常工作，还要在光源旁边加上冷却风扇。确保其散热性能。
白炽灯、荧光灯、金卤灯、氙气灯和LED灯的数据
近年来，LED技术正在成为内窥镜的首选光源，特点寿命长、稳定性高、而且更容易集成在内窥系统中。结合高速发展的微电子学和光学，LED照明为该领域带来了各种新的发展和应用。
暖色红-橙光相比冷色蓝-白光具有更低的色温。用于内窥镜的先进LED系统允许用户调节每种可见光颜色，得到使人舒适的CCT水平，从而降低眼睛疲劳。
CRI用于表征光源还原被观察物体颜色的好坏。CRI越高，越能准确地还原物体颜色（如图所示）。这一点对于医学专家很重要，因为他们能够根据色差识别解剖情况。氙灯是观察组织真实颜色的理想照明光源，帮助提高诊断和治疗的准确度。
3.2照明光源安装方式
照明光源安装方式，有前置安装和后置安装两种，前置安装是采用微型LED灯珠，将灯珠与镜头并排安装，内窥镜的前端为细孔径，空间位置很小，照明光源仅能采用微型LED，没有额外的空间为光源进行散热系统的设计，使得其散热问题难以解决，以致光源的功率较低，使得整体照明亮度有限。后置照明光源安装，需借助导光光纤将照明光导入腹腔，光纤导光的效果如下图所示。
后置照明光源安装，照明光源的空间体积不受限制，有足够的空间对光源进行散热系统的设计，光源的功率不因散热问题受到限制，可以提高LED灯光源的功率来增加照明亮度。在维护与更换上难度远远低于前置照明安装，油水环境下，光源电路不受影响，仅有普通的使用损耗。
LED最大的优势就是装配简单，功耗较低，而光纤最大的优势就是在头端部图导光光纤不会产生热量，且占用头端部的空间较小。因为光纤束只传导光，本身不会发热，且光纤束由若干根直径25-50μｍ的光纤丝组成，可以根据不同的头端部设计成各种形状，以适应各种各样的成像器件及尺寸要求14。
3.3荧光光源结合方式
当前腹腔镜与光学分子成像技术相结合的方式主要分为双光源双光路成像和双光源单光路成像两种机制。
双光源双光路成像系统含有两个光源：激发光光源和白光光源；两个相机：荧光相机采集成像部位的荧光信息，彩色相机采集与普通内窥镜成像效果相同的白光图像。两种光源通过光纤或者分光棱镜耦合后送入内窥镜中照射成像区域，激发成像区所吸收的荧光试剂使其发射出另一谱段的发射光。内窥镜采集发射光同时将采集到的分成两部分，一部分经过可见光滤光片（400-650nm）送入彩色相机中，另外一部分经过发射光滤光片（根据荧光试剂的发射谱段来定）送入荧光相机中成像15。
内窥式双光源双光路荧光分子成像系统原理示意图
内窥式双光源单光路荧光分子成像系统原理示意图
3.4图像采集方案16
照明光源与激发光源时序生成示意图
荧光图像和光、明场图像间隔拍摄，每次融合时使用最新采集得到的图像，可保证融合的结果图像的准确性。
四、数据处理系统
内窥镜的图像处理中心，核心功能是将拍摄采集到的图像进行处理加工然后显示出来，也可在此进行录像、数据保存、归档、分析等。显示器则是处理的图像显示出来。
通过前面章节叙述，摄像系统采集到的数据图像为两种类型不同的图片，其一为正常白色光源照明下拍摄所得的明场图像，其二为照明光源关闭模式下的荧光图像。荧光内窥镜最终目标是在正常光源照明时，将被荧光标记的待切除部分的凸显出来，提高手术的指导性和指向性，以达到提升切除手术精准度的目的1。如何高速准确的呈现白光和荧光图像的融合逐渐成为研究的热点以及荧光内窥镜的核心技术。
图像融合方法一般分为像素级、特征级和决策级三个融合级别。基于像素级融合的方法是图像融合领域的主流研究趋势，因为它在融合图像中造成的伪影是最小的，其像素由一组图像像素或其他形式的图像参数在最低物理级确定的17。
图像融合的评价方式可大体上分为主观评价和客观评价。其中主观评价是基于人眼来评估融合后的图像，这种方式比较适用于图像上表示明显的信息，可以进行快速、直观的进行评判，但是由于观察者的不同，会产生的图像质量评价的不同，所以通常将主观评价与客观评价结合起来对一幅图像的质量进行评价。
客观评价常见参考指标有如下几种18：
（2)峰值信噪比（PSNR）：峰值功率与噪声的比值。PSNR值越大，证明融合后的图像与源图像越接近、失真越小；
（3)互信息（MI）：度量融合图像含有源图像信息量多少的指标。MI值越大表示融合图像继承的信息越多，融合效果越好；
（4)视觉信息保真度（VIF）：衡量的是融合图像的信息保真度，与人类的视觉系统是保持一致，VIF计算融合图像与源图像之间的失真程度，能准确地发现融合图像中存在的畸变和改进。VIF值越大，融合效果越好；
（5)平均梯度（AG）：用于衡量图像的清晰程度，AG的值越大，图像的清晰度越好，说明融合的质量越好；
（6)边缘保持量：用于度量从源图像中传输的边缘信息量。并在此基础上假设融合图像保留了源图像中的边缘信息，值越大则梯度丢失越小，融合图像保留的梯度信息越多。
参考文献：
[1]毛润.荧光腹腔内窥镜成像系统关键技术研究[D].天津工业大学,2020.
[2]田艺浓.基于部花菁染料近红外荧光探针的合成及应用[D].大连理工大学,2021.
[3]黄艳芳,李子婧.近红外二区荧光探针的设计及应用研究进展[J].厦门大学学报(自然科学版),2022,61(01):1-12.
[4]孙荣环.基于花菁的近红外荧光探针的制备及应用[D].济南大学,2021.
[5]徐继玲,田继海.荧光腹腔镜的工作原理及应用[J].世界最新医学信息文摘,2019,19(33):238.
[7]朱郸.多光谱融合内窥镜成像关键技术研究[D].电子科技大学,2022.
[10]申洪羽.医用硬性内窥镜光学系统设计及信号处理[D].电子科技大学,2019.
[14]陆小建,杨琰,濮悦.内窥镜照明方式的选择[J].无损检测,2013,35(03):60-61+76.
[15]毛亚敏,迟崇巍,叶津佐,杨鑫,田捷.新型内窥镜成像系统的研究进展[J].中国医疗器械信息,2015,21(10):10-15.
[16]卞仕雅.荧光电子内窥镜的光学系统设计和图像采集处理方案[D].合肥工业大学,2019.
[17]KumarM,DassS.ATotalVariation-BasedAlgorithmforPixel-LevelImageFusion[J].IEEETransactionsonImageProcessing,2009,18(9):2137-2143.
[18]朱郸.多光谱融合内窥镜成像关键技术研究[D].电子科技学,2022.
作者：DU
审核：晓柏
排版：大大怪
不感兴趣
看过了
取消
人点赞
人收藏
打赏
我有话说
0/500
同步到新浪微博
进群即领
扫码加入
扫码进群
您的申请提交成功
意见反馈
下载APP
健康界APP
了解更多
返回顶部
您已认证成功，可享专属会员优惠，买1年送3个月！开通会员，资料、课程、直播、报告等海量内容免费看！