超分辨率能够克服或补偿由于图像采集系统、采集环境本身限制而导致的成像模糊、图像质量低下等问题,提升图像分辨率,为特征提取、信息识别等图像的后续处理提供重要支持。
「这张图像是由路边的监控摄像头拍摄的,像素非常低,肉眼完全无法辨认。」苏光大回忆道,当时他利用超分辨率技术,将这张模糊的图像放入他们研发的软件中进行了重建,准格尔警方依据重建后的高清晰度图像,很快便锁定了嫌疑人,并破获了这起凶杀案。
随着超分辨率技术的发展,这些问题迎来了转机并逐渐被解决。
超分辨率(Super-Resolution,SR),简单来说,就是将低分辨率(lowresolution,LR)的图像通过算法提升到高分辨率(highresolution,HR)。相较于低分辨率图像,高分辨率图像拥有更大的像素密度和更丰富的纹理细节,具备更高的可信赖度。
这种技术可以克服或补偿由于图像采集系统或采集环境本身的限制而导致的成像模糊、图像质量低下等问题,在特征提取、信息识别等图像的后续处理上提供了重要支持。
目前,超分辨率方法主要分为三类:基于插值的方法、基于重构的方法和基于学习的方法。
*基于插值的方法
插值法通过在图像原有的像素周围插入新像素来加大图像的尺寸,并给这些像素赋值,从而恢复图像内容,达到提高图像分辨率的效果。*像素:组成图像的最基本单元要素,即点,每个像素点都有自己的颜色值,单位面积上像素点越多,图片越清晰。
*基于重构的方法
基于重构的超分辨算法,通常是用多幅在同一场景下拍摄的低分辨率图像作为输入,然后对这些图像的频域或空域关系进行分析,通过引入先验信息对重建过程进行指导和约束,进而重建得到单张高分辨率图像。*频域:是指信号在频率域上的特征。*空域:是指信号在空间上的分布情况。*先验信息:这种信息是在「试验之前」就已有的,一般可理解为领域知识。
*基于学习的方法
基于学习的超分辨率方法,通常是利用大量的训练数据,通过学习低分辨率图像和高分辨率图像之间的映射关系,预测低分辨图像中丢失的高频细节信息,从而生成超分辨图像。
基于浅层学习的方法主要包括机器学习、流形学习、样本学习和稀疏编码等,可用于数据量较小的情况。
基于深度学习的方法可以分为基于卷积神经网络的SR方法、基于残差网络(residualnetwork,ResNet)的SR方法和基于生成对抗网络(generativeadversarialnetworks,GAN)的SR方法。
上述三种方法的优缺点如下:
现如今,深度学习已经成为超分辨率领域的主流方法。
2014年,Dong等人首次将深度学习应用于图像超分辨率重建领域,提出了SRCNN(Super-ResolutionConvolutionalNeuralNetwork)网络模型,该成果以「ImageSuper-ResolutionUsingDeepConvolutionalNetworks」为题发表于arXiv上。自此,超分辨率重建领域掀起了深度学习的浪潮。
论文地址:
SRCNN作为最早将深度学习方法应用于图像超分辨率的模型,仅仅使用了3个卷积层,便取得了远超传统方法的PSNR值。
具体而言,输入低分辨率图像,用双三次插值法(Bicubicinterpolation)将图像放大至目标尺寸,然后用3层卷积神经网络拟合低分辨率图像跟高分辨率图像之间的非线性映射,最后输出重建后的高分辨率图像。
*PSNR值:峰值信噪比,该数值越大,输出的HR图像质量越好。
SRCNN凭借其简单、高效的优势,成为了图像超分辨率领域的重要里程碑。自此之后,从早期基于卷积神经网络(CNN)的超分辨率技术,到近期的基于生成对抗网络的技术,基于深度学习的超分辨率技术得到了快速发展。
需求推动技术发展,技术迭代助力应用落地。现如今,超分辨率技术在公共安防、医学诊断、卫星遥感和娱乐媒体等领域都得到了广泛的应用。
*公共安防领域
公共监控录像受天气和距离等因素影响,画面常模糊且分辨率低。应用超分辨率技术可以帮助警察提取清晰的人脸、车牌号等关键信息,有助于案件侦破。
吉林警察学院的封顺利用ESRGAN和BSRGAN网络,针对不同环境下的人像和自然景物进行了分析,探索了超分辨率技术在公安和法庭中的应用可行性。
该成果以「图像超分辨率重建技术在警务工作中的应用」为题,发表在《武警学院学报》中。
首先,研究人员对ESRGAN和BSRGAN模型进行复现、训练和测试,得到最佳模型参数。然后,使用训练好的模型对采集的人像、自然景物等低质量图像进行超分辨率重建,得到ESRGAN和BSRGAN的重建结果。
人像低质量图像重建比对
研究人员将ESRGAN和BSRGAN的重建图像与原始图像进行对比。结果表明,在正面、具有倾斜角度和复杂场景中重建后的人像在视觉质量和保真度上都有很大提升。
在自然场景的对比中,BSRGAN重建效果要优于ESRGAN,能够有效去掉原始低质量图像未知的复杂噪声,可以生成清晰的边缘和精细的细节。
*医学诊断领域
由于成像设备限制和复杂的临床环境,医学领域所获取的影像常常存在分辨率不足的问题,这直接影响了医生对疾病的准确诊断与治疗决策。
四川人民医院彭博等人以针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少2个输入通道、删除1个残差块对该网络的结构进行更改,改进网络损失函数,新增模糊处理数据集,重建出放大4倍的边缘清晰、没有伪影的医学超声图像。
该成果以「基于生成对抗网络的超声图像超分辨率重建」为题,已发表在JournalofTerahertzScienceandElectronicInformationTechnology上。
研究人员将改进的SRGAN与其他3种算法进行比较。结果表明,改进SRGAN的重建结果整体平滑,纹理边缘更清晰。
*卫星遥感领域
近年来,遥感卫星图像在环境监测、资源勘探、灾害警报和军事等领域得到了广泛应用。然而,大气变化、传输噪声、运动模糊和欠采样光学传感器等因素严重制约了遥感卫星图像的清晰度。超分辨率技术通过处理和提升低分辨率图像,可以提高卫星遥感数据的质量和可用性。
哈尔滨工业大学阎菩提等人将遥感图像局部聚集群目标区域的细节特征信息,引入到完整遥感图像的采样重建中,通过多层级的神经网络提取不同尺度的图像特征,并通过残差学习的方式将这些特征进行融合并重建。该方法可以借助局部图像的像素信息,显著提高全局遥感图像的细节效果,优化集群目标区域的分辨能力。
该成果以「结合局部高清图像的遥感集群目标区域超分辨率重建」为题,已发表在南京航空航天大学学报上。
研究展示的对比图显示,该方法在可视化效果上显著优于其他现有方法,适用于城市和野外场景,表现出较好的效果。
*数字娱乐领域
动漫由多张静止的画面连接而成,其静止图片分辨率将会影响最终动漫的清晰度。然而,现有的手绘或数字绘制无法保证初稿的高分辨率,这对于用户的视觉体验相当不友好。通过应用超分辨率技术,将这些低分辨率的画面转换成更高分辨率画面,能够呈现出更多的细节和纹理,可以使动漫作品的图像更加生动和逼真。
B站就曾推出了一个名为Real-CUGAN(RealCascaded-U-Net-styleGenerativeAdversarialNetworks)的动漫画质修复模型。
首先,研究人员利用该模型对动漫帧进行切块处理,使用图像质量打分模型对候选块进行打分过滤,最终得到一个百万级的高质量动漫图像块训练集。
然后,通过多阶段降质算法,将高清图像块降采样得到低质图像,让模型学习、优化从低质图像到高质图像的重建过程。训练完成后,模型即可对真实的二次元低质图像进行高清化处理。
不同算法对比图如下:
目前,HyperAI超神经的官网上线了大量超分辨率资源,包括公开教程与数据集。