改进的RDN灰度图像超分辨率重建方法
第49卷第S1期红外与激光工程2020年7月Vol.49No.S1Infrared and Laser Engineering Jul.2020改进的RDN灰度图像超分辨率重建方法
魏子康，刘云清
(长春理工大学电子信息工程学院，吉林长春130022)
摘要：针对残差算法的残差网络超分辨率重建问题，提出了改进的残差计算的深度复合残差网络模型。在此研究实验中，改进了原有的残差块，能够充分利用到残差块内部的所有卷积层特征信息，提高生成图像的质量；设置了双层复合结构，加深了模型结构的深度，能够强化模型对图像的特征提取，可以提取更多的图像特征；采用迁移学习的方法，在深度网络结构中通过迁移学习增强图像特征信息，使得该模型性能更稳定。通过天宫一号灰度图像的应用实验表明，该研究提出的改进的深度密集残差网络在天宫一号灰度图像超分辨率重建中表现良好，在卫星图像领域具有应用价值和研究意义。
关键词：灰度图像；卷积残差网络；超分辨率重建
中图分类号：TP391文献标志码：A DOI：10.3788/IRLA20200173
Gray image super鄄resolution reconstruction based on improved
RDN method
Wei Zikang,Liu Yunqing
(School of Electronic Information Engineering,Changchun University of Science and Technology,Changchun130022,China)
Abstract:Aiming at the problem of residual network super鄄resolution reconstruction by residual algorithm,an improved deep composite residual network model for residual calculation was proposed.In this research,the original residual block was improved,which could make full use of all the convolutional layer feature information inside the residual block to improve the quality of the generated image;a double鄄layer composite structure was set to deepen the depth of the model structure,it could enhance the feature extraction of the image by the model and could extract more image features;the image feature information was enhanced using the method of transfer learning through transfer learning in the deep network structure,making the performance of the model more stable.The application experiment of the Tiangong-1grayscale image show that the improved deep residual dense network proposed in this study performs well in the Tiangong-1grayscale image super鄄resolution reconstruction, and has application value and research significance in the field of satellite imagery.
Key words:gray image;convolution residual network;super鄄resolution reconstruction
收稿日期：2020-04-11；修订日期：2020-05-08
基金项目：吉林省科技厅重点研发项目(20190303034SF)
作者简介：魏子康(1990-)，博士生，主要从事图像处理、图像超分辨率方面的研究。
导师简介：刘云清(1970-)，教授，博士生导师，博士，主要从事雷达信号处理、激光通信与数字同步技术方面的研究。
0引言
图像获取过程中，由于受到光学系统固有分辨率限制、模糊以及噪音等因素的影响，图像质量无法满足实际要求。超分辨率图像重建的研究在近几年非常活跃，它能够克服一些低成本成像传感器固有分辨率的限制，使高分辨率显示器能够得到更好应用[1-2]。这其中，单张图像超分辨率(SISR)受到了很多关注[3-6]。该技术的目的就是通过输入低分辨率图像最终输出高分辨率图像。该技术研究在医学影像、视频监控、卫星探测等领域具有重要潜力[7-11]，文中在卫星图像应用领域上对这项技术进行了研究。
单幅图像超分辨率重建概念最早由Harris和Goodman联合提出[12-13]，随后几十年的数字信号处理技术及优化理论发展过程中，产生了诸多算法。图像超分辨率实现主要有三种：插值算法、建模(重建)算法和基于学习(机器学习)的算法。早期开发的基于插值的方法既简单又高效，但应用范围有限[14-16]。对于更灵活的SR方法，通过利用强大的图像先验，例如非局部相似先验和稀疏先验[17-18]，提出了更高级的基于重建的方法。尽管通过重建的算法可以灵活地生成相对高质量的HR图像，但它们仍然存在一些缺点：(1)这种方法通常涉及耗时的优化过程；
(2)当图像统计信息与先前图像有偏差时，性能可能会迅速下降。
随着研究技术的深入发展，第三类应用机器学习的方法对图像超分辨率重建有着重大影响[19]，这种方法主要利用低分辨率和高分辨率的先验知识来进行SR重建。在早期的机器学习算法中，稀疏表示模型对单张图像超分辨率有着很深的研究[20]。近年来卷积神经网络(CNN)发展非常迅速，运用卷积神经网络进行图像超分辨率研究成为热门。2014年Dong等首先运用卷积神经网络对单张图像实现了图像超分辨率研究，即SRCNN[21]。其本质就是通过卷积神经网络将稀疏编码表现出来，开创了神经网络研究图像超分辨率问题的先河。由于SRCNN的结构过于简单且优化能力有限，Dong等人随后对其结构进行了改进增加了反卷积层，优化了卷积因子，从而加速了网络的计算能力，即为FSRCNN[22-23]。2015年ResNet[24]的出现为SISR研究的深度网络应用打下了基础。在ResNet模型算法中，He Kaiming提出了残差的概念，利用残差解决图像退化问题，并改善了网络结构太深难以训练的问题[24]。
在此基础上，韩国的Jiwon Kim等人通过引入残差块建立了一个深层结构的VDSR神经网络[25]。VDSR在SRCNN的基础上使用20层卷积层深化了网络，对图像恢复质量有所提升。同时还另外利用递归神经网络结构与残差模块结合，提出了深度递归卷积网络(DRCN)模型算法进行图像超分辨率研究；Lim等人引入残差模块结构建立了增强型深层图像超分辨率网络结构(EDSR)与多残差图像超分辨率(MDSR)网络算法。RDN网络模型的出现[26]使得图像超分辨率研究中更加广泛应用到残差网络，尤其残差块(RDB)的建立，它结合了原有残差模块和Tai等人在MemNet中提出的内存模块(memory block)两者的特点，这一新残差模块的运用让目前SISR的研究得到了迅猛发展。
近年来，卷积神经网络研究图像超分辨率问题成为热点，此次针对天宫一号灰度图像的超分辨率研究同样也受到残差网络的启发，提出了改进的深层密集卷积残差网络。具体地说，文中一共提出了以下方面内容：
(1)改进残差块，针对此深度复合网络进行结构与功能优化，利用改进的残差块组成密集残差网络，充分利用到残差块中所有卷积层中特征信息，保证特征有效性，同时减少了计算参数，减少了计算量；
(2)设置了双层残差网络，加深了网络结构，增强图像提取特征量。利用残差块间的密集串接性质有效的强化了图像的图像特征，并且此端到端的网络设计免去了不必要的可视过程；
(3)采用迁移学习的方法，能够使算法模型更快速更稳定的达到收敛状态，能够最大程度发挥出算法模
型的性能，使得图像超分辨处理后生成图像质量更高。
1相关工作
1.1ResNet算法
2015年He Kaiming提出了ResNet这一残差网络算法，提出了残差模块的概念，因为有了残差模块才得已解决因为网络结构过深而难以训练的问题。
在研究深层结构网络的性能中，He等人发现，在深层结构网络中，当网络训练过程中开始出现收
敛情况时，会暴露一个退化问题：随着网络深度增加准确率会达到饱和后迅速下降，而下降原因非过拟合，且在适当深度模型下添加更多层会导致更多误差，如图1所示。
图120层和56层深度网络在CIFAR-10上的训练误差(a)和测试误差(b)
Fig.1Training error(a)and test error(b)of20-layer and 56-layer deep networks on CIFAR-10
通过对比浅层结构网络和深层次网络结构，发现本应该随着结构层次增加准确率应该提升的网络在训练误差和测试误差中均高于浅层网络。为了解决深层网络的训练问题，He Kaiming等人通过实验提出了残差的概念并设计了残差块的结构，如图2所示。
图2ResNet结构中的残差块
Fig.2Residual block in ResNet
在此残差块结构，其向后一层卷积层中传导的信息值为：
F(x)=relu(x)(1)
y=F(x，W i)+x(2)式中：y即为残差输出；W i代表权重，激活函数。这样的结构设计形成快捷连接方式可使得信息传递有效的继续传递。
通过建立这样的一个残差块结构，形成一个快捷连接方式，就可以使得深层结构的网络可能本在浅层网络结构中就已达到饱和无法继续传递信息的状态得已打破，可以使得深层结构的网络充分利用到无法利用的卷积层，从而改善了深层结构的网络在训练中出现巨大误差无法得到很好训练的问题。因为残差算法的出现，使得图像超分辨率研究在深度学习领域迅速发展。
1.2VDSR算法
2016年韩国的Jiwon Kim等人在SRCNN算法的基础上提出了新的模型算法，由于SRCNN算法网络只有三层，结构比较简单，图像的感受野比较小，同时采用了5×5大小的卷积核，运算参数较多，而且
优化参数调整受限，导致处理过程中计算量较大网络效率较低。针对于此种情况，在SRCNN的基础上，Jiwon Kim等人改进了网络算法，设计了一个20层的端到端深层网络，并将残差层结构引入到图像超分辨神经网络结构中[25]。其算法结构如图3所示。
在此网络算法中，Jiwon Kim等人认为图像从低分辨率到高分辨率过程中低频信息是共享的，存在的差别就是高频信息，因此认为主要考虑残差率问题，因此得到残差图像：
r=y-x(3)式中：y为高分辨率输出图像；x为低分辨率输入图像。为了便于寻参数，将目标模型及变量数
值均最
图3VDSR算法网络结构
Fig.3Network structure of VDSR algorithm
小化。因此在损失函数为均方误差(Mean squared error，MSE)条件下，MSE的表达形式变成MSE=1
2
||y-f(x)||2。则残差网络中的损失函数为：
y赞=f(x)
f L=1
2r-y赞
赞赞赞赞赞赞
赞赞赞赞赞2
(4)
式中：y赞为高分辨率图像估计值；f L为残差损失函数。通过残差学习和自适应梯度来缓解因为网络层数过多可能导致的梯度消失问题，增强学习率同时提高网络处理速度。在VDSR算法中，为了保证每一次图像处理结果大小相同，在卷积层进行“补0”操作，保证输出不变性。另外改变了卷积核的尺寸，采用了3×3大小的卷积核，使得整个运算过程中参数减少近一半，减少了运算量从而减轻运算负担，进而提高处理效率。此外，将VDSR网络改进为在训练过程中可同时处理多个缩放规格(×2，×3，×4)，进一步提高了重建图像质量。
2改进的卷积神经网络算法
2.1改进残差块
近两年残差网络应用于图像超分辨率技术上的发展很快，尤其是RDN模型算法[23]的提出，使得残差
法在单张图像超分辨率(SISR)研究领域的发展更为迅猛。文中提出的深层残差网络即是受到了RDN算法的启发，根据密集残差法的特点，结合此次提出的算法结构，提出了改进的残差块，改进结构如图4所示。
图4改进的残差块结构和RDB的对比
Fig.4Comparison of improved residual block structure and RDB
如图4所示，该研究中利用了残差块中卷积层密集串联的特点，充分利用残差块中所有的卷积层，将前一层残差块中的特征信息传递到下一层残差块中，然后通过卷积层的密集残差传导得到所有的特征信息。从图4中的结构对比可以看出，取消了残差块的局部残差学习，为了能够在复合网络结构中提高模型效率，免去冗余的计算负担。
在改进的利用多残差块的密集残差网络结构中，分别利用了两部分结构密集串接连接性质：残差块之间的密集串连性质与块内卷积层间的密集串连性质。而改进后的内部残差块内的功能展示如下。
在残差块中，采用残差块内密集串联卷积层与局部特征融合形成了连续存储机制。所谓连续存储机制，就是将前一层的残差块信息通过串连传递直接传递到下一层残差块中，此特征信息通过块内所有卷积层后再依次传递至下一层残差块中。如图5
图5改进的残差块工作原理
Fig.5Working principle of improved residual dense block
长春分类信息所示，残差块内共有D层卷积层，若第m块残差块第d层卷积输出特征，其特征F m,d为：
F m,d=ReLU(W m,d[F m-1，F m,1，…，F m,d-1])(5)式中：W m,d为当前第m块残差块第d层卷积层的权重；[F m-1，F m,1，…，F m,d-1]为前一块残差块到第m块残差块第d-1层所有卷积层的特征，即能够充分完全利用所有卷积中的特征信息。依据ReLU激活函数的形式最终得到该层的特征值。第m块第d的值即F m,d设为生长率G[26]，接收到的上一层第m-1块残差块的特征数为G0，那么在该层上得到的特征数为G0+(c-1)G。同时，此残差块内所有卷积层进行块内局部特征融合(LFF)，即图5中第m残差块最终输出的特征值为：
F m,LF=H m
LFF
([F m-1，F m,1，…，F m,d，F m,D])(6)
式中：H m
LFF
(·)表示在卷积因子1×1的卷积层中的卷积运算。设立此卷积层为了能够自适应控制卷积
层
所示。
此次研究提出的结构为双层残差网络算法。网络深化形式不单局限于卷积层的加深，在拉普拉斯金字塔结构出现后，复合深度结构被广泛使用来增加图像学习过程中的特征数量。文中利用双层网络加深模型网络结构，增加图像的特征图，输入图像在下采样后为等量低分辨率图像，分别经过改进后的残差网络。由图可知，每一层残差网络最终输出每一层中的融合特征，也就是块特征融合(BFF)，这是利用残差块间的密集串连得到的，即块特征融合F BFF 为：
F BFF =H BFF ([F 1，…，F M ])(7)
式中：H BFF (·)为卷积因子1×1的卷积层中的卷积运算，作用是自适应控制并融合所有残差块传递的特征信息。分别经过进一步深层特征处理后合并进行上采样过程，最终经过卷积放大输出超分辨率图像。即改进后的结构既保证了对图像细节处理，又因增强了网络的结构深度而增大了图像的特征信息，保证了图像输出质量。
3实验与结果分析
文中采用的是NVIDIA GeForce Quadro P5000显卡、1.70GHz Intel Xeon Bronze 3106处理器、64G 内存的服务器电脑实验平台，采用软件Matlab2019b
和PyCharm 平台进行编译。根据实验的目的图像，利用天宫一号灰度图像制作了约3000张尺寸为128×
128的数据集，其实验参数设置为生长率参数为64，每层为16个残差块，初始学习率设置为10-4，图像处理容量为8张，训练为80个轮次。
在对网络的训练中，采用迁移学习的方法，即将
RDN 基于模型自身数据集训练得到的权重迁移至本网络中，将模型权重参数迁移过来[26]。利用迁移学习的优势在于迁移模型权重可以增强网络的预测值，即增强判别能力，综合多特征学习能力，能够
使得网络性能更好。另外为了让算法模型性能和收敛方面更明显，使用了l 1损失函数，在参考文献[4]中被证明在收敛与性能方面表现更强大。图7很清楚的反映，通过迁移学习方法，模型训练可以很快达到稳定状态，虽然偶有波动，但总体趋势依然是稳定收敛状态。因此可以得知，迁移学习方法能够使文中模型很快达到理想状态。应用小规模数据集训练小型的算法网格，迁移学习法有着广阔的应用前景。
对图像的评价标准，文中以主观因素和客观因素两个评价因素对结果进行评估。主观因素即为人眼观测效果，在正常观测条件下肉眼能够直观感受的图像成像效果的直接评估；客观因素使用峰值信噪比(Peak Signal 鄄to 鄄Noise Ratio ，PSNR)与结构相似
所传递过来的信息。每一块残差块最终输出的特征均是通过块内所有卷积层的局部融合后输出并传递给下一层残差块，充分利用了残差块内卷积层的密
集串连性以及残差块之间的密集串连性。
2.2深层密集残差卷积网络结构
提出的改进后的深层密集残差网络结构如图6
图6深层密集残差网络结构
Fig.6Deep dense residual network
architecture

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。