211178237_融合LBP和卷积神经网络的摩尔纹检测
现代电子技术
Modern Electronics Technique
2023年5月1日第46卷第9期
May 2023Vol.46No.9
0引言
随着智能手机和电子屏幕的普及，人们可以方便快捷地拍摄记录下身边各类事物，屏摄即对着屏幕拍照，在日常生活中也越来越常见。从计算机或其他电子屏幕捕获图像不同于捕捉现实世界中的场景，因为它会产生人们不需要的条纹噪声，这种不规律的水波纹似的噪声就是摩尔纹。摩尔纹的出现不仅降低了图像质量，而且对后续的图像处理任务产生不良的影响，如超分辨率[1]、面部识别[2]、光学字符检测（Optical Character
Recognition,OCR ）[3]等，检测出图像中的摩尔纹从而进
一步去除能有效提高图像处理准确率。
摩尔纹在空间域的检测是非常复杂的，不同场景、
不同拍摄角度、不同距离拍摄出来的摩尔纹纹理都会有所不同，没有明显的分布规律。目前已有的摩尔纹检测研究方法较少，传统的方法主要遵循用于检测的规则阈值。如文献[4⁃5]认为摩尔纹纹理是一种高频噪声，探讨分析了摩尔纹图像频率域并使用滤波器处理带有摩尔纹的图片。文献[6⁃7]从RAW 图像去马赛克算法入手，提出了基于插值的去摩尔纹算法。随着屏摄类摩尔纹图像越来越多，基于深度学习的方法也逐步被提出。文献[8]提出一种将小波变换与CNN （Convolutional Neural Network ，卷积神经网络）结合的方式来检测摩尔纹的方法。学术界也举办了相关竞赛[9⁃10]，促进对摩尔纹图像的研究。
为贴近日常摩尔纹产生场景，本文首先用不同型号手机、不同品牌计算机显示屏制作了2460张图像作为数据集，用于网络的训练；然后对图像进行LBP （Local
融合LBP 和卷积神经网络的摩尔纹检测
孙春云，李祥祥，孙甜甜
（昌吉学院信息工程学院，新疆昌吉
831100）
摘
要：摩尔纹是一种由数字网格重叠引起的不规则混叠干扰条纹。屏摄类图像中摩尔纹的出现不仅降低了图像质
量，并会对后续的图像处理任务产生不良的影响。为了有效、快速、准确地检测这种摩尔纹，文中提出一种利用局部二值模式（LBP ）和多输入卷积神经网络（CNN ）结合的检测模型。LBP 特征计算速度快且能很好地描述摩尔纹纹理，该方法首先使用LBP 提取特征，并将提取特征后的图像与原始图像一起送入设计好的多输入卷积神经网络。实验结果证明，将经过LBP 特征提取的图像作为摩尔纹纹理的强化信息与原始图像一起送入网络，比单独将原始图像送入网络的网络收敛速度更快、准确率更高，可以达到99.6%，比经典的Inception V3分类模型准确率提高了4%。
关键词：摩尔纹检测；LBP ；卷积神经网络；检测模型；特征提取；收敛速度中图分类号：TN911.73⁃34
文献标识码：A
文章编号：1004⁃373X （2023）09⁃0073⁃05
Moire pattern detection based on LBP and convolution neural network
SUN Chunyun ，LI Xiangxiang ，SUN Tiantian
（Department of Information Engineering ，Changji University ，Changji 831100，China ）
Abstract ：Moire pattern is an irregular aliasing interference strip caused by overlapping digital grids.The appearance of moire pattern in screened photography not only reduces the image quality ，but also may produce adverse impact on the subsequent image processing.In order to detect the moire pattern effectively ，a new detection model based on LBP and multi⁃input convolution neural network （CNN ）is proposed.LBP feature calculation is fast and can be effectively applied to describe moire pattern.The LBP is used to extract feature ，and sent both the image after feature extraction and the original image to the
designed multi⁃input CNN.The experimental results prove that both the images sent into the network together can bring about faster convergence speed and higher accuracy （up to 99.6%），in comparison with the situation that only the original image is sent into the network ，and the accuracy rate of the proposed model is 4%higher than that of the classic Inception V3classification model.
Keywords ：Moire pattern ；LBP ；CNN ；detection model ；feature extraction ；convergence rate
DOI ：10.16652/j.issn.1004⁃373x.2023.09.014
引用格式：孙春云，李祥祥，孙甜甜.融合LBP 和卷积神经网络的摩尔纹检测[J].现代电子技术，2023，46（9）：73⁃77.
收稿日期：2022⁃08⁃07
修回日期：2022⁃08⁃23
73
现代电子技术
2023年第46卷
Binary Pattern ，局部二值模式）特征提取，将原始图像与
LBP 特征提取后的图像一一对应，作为网络的输入，经过CNN 网络训练后，该模型在测试集上能达到99.6%的准确率，比目前流行的Inception V3分类卷积模型[11]准确率提高了4%。
1
相关工作
1.1
摩尔纹原理
在屏摄类图片中，摩尔纹纹理出现的根本原因是图片本身、显示器屏幕与数码相机三者之间频率的混叠。摩尔纹纹理类似某种具有透明间隙的，覆盖在原始清晰图像上的大尺寸干涉图案，如图1
所示。
图1放大的摩尔纹纹理
由于拍摄距离和拍摄角度的不同，产生的摩尔纹纹理是不同的。当图像出现部分精细纹理时，这些高频率的纹理与摩尔纹纹理的高频竞争，使得很难区分是图像本身某些高频部分产生的摩尔纹纹理还是由于拍摄屏幕而产生的摩尔纹纹理。将图像本身的高频细节纹理与屏摄产生的摩尔纹纹理进行有效区分，也是屏摄类图像处理中的难点。1.2
LBP
LBP 是一种用来描述图像局部纹理特征的算子，它具有较高的特征鉴别力、较低的计算复杂度、灰度不变性以及旋转不变性等显著的优点。它首先在文献[12]提
出，用于纹理特征提取。随着对LBP 算子研究的逐渐深入，该方法已广泛应用于图像内容识别方向[13]，在机器视觉检测领域也取得了很好的识别效果。LBP 具有多种模式，包括标准模式、圆形LBP 、旋转不变模式及等价模式[14]等。
LBP 算子定义为在3×3的窗口内，以窗口中心像素
为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记
为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP 码，
共256种），即得到该窗口中心像素点的LBP 值，并用这个值来反映该区域的纹理信息，如图2所示。
用公式表示为：
LBP (x c ,y c )=∑p =0
P -12p s (i p -i c )
（1）
式中：
(x c ,y c )为中心像素的坐标；p 为邻域的第p 个像素；i p 为邻域像素的灰度值；i c 为中心像素的灰度值；
s (⋅)为符号函数。
s (x )=
{
1,x ≥0
0,else
（2
）
图2基本的LBP 算子
将屏摄类图像进行LBP 特征提取后，如图3所示。其中：图3a ）为正常情况拍摄的图像；图3b ）为其相应的LBP 特征提取后的图像；图3c ）为手机对着电脑屏幕拍摄产生的摩尔纹图像；图3d ）为其相应的LBP 特征图像。可以看出，摩尔纹纹理可以很好地由LBP 特征描述，经过LBP 特征提取后，摩尔纹的半透明纹理得到显化。因此，将屏摄类图像会出现的大尺度、大范围（几乎覆盖整个图像）摩尔纹经过LBP 特征提取后，作为强化信息送入网络，
可以获取更高的准确率。
图3图像及其LBP 特征
1.3
卷积神经网络（CNN ）
近几年来，在计算机视觉领域，深度学习已取得了
巨大的突破，尤其是卷积神经网络（CNN ），CNN 在大规模图像分类中具有优异的表现，主要有三种类型的层：卷积层、池化层和全连接层。卷积层是卷积神经网络最重要的层，也是“卷积神经网络”名字的来源。卷积层使
用多个滤波器卷积图像区域来提取特征，当卷积层数增加时，会相应抽象组合成更高阶的特征，CNN 理解图像
74
第9期
的能力也逐步增强。卷积层的两个要点是局部连接和
权值共享，局部连接和权值共享降低了参数量，使训练复杂度大大下降。池化层在连续的卷积层中间，用于压缩数据和参数的量，具有特征不变性，可对特征降维，在一定程度上防止过拟合。多输入CNN 已经被用于诸如对花卉质量进行分级[15]和分析表面纹理[16]等方面。
2本文提出的方法
本文提出了一种利用LBP 与原始图像一一对应，作
为卷积神经网络的两个输入来检测摩尔纹的新方法。完整的卷积神经网络结构如图4
所示。
图4双输入卷积神经网络结构
2.1
双输入卷积神经网络模型
基于传统架构的CNN 网络，本文提出了一种新型
的双输入卷积神经网络，如图4所示。卷积层C 1采用32个
7×7的卷积核，步长为1，分别对屏摄类图像与经过LBP 预处理的屏摄类图像进行特征提取，池化层S 1步长为2，
然后将这两组特征拼接在一起。C 2为3×3的64个卷积核，步长为1，
S 2以步长为4的大小汇聚特征。S 4层后使用全局平均池化（Global Average Pooling,GAP ）来替代该全连接层（即使用池化层的方式来降维），这样可以保留前面各个卷积层和池化层提取到的特征信息，后接全连接层FC 1有32个神经元，FC 2为最终的输出层，激活
函数为softmax 函数。2.2
数据集
为更符合屏摄图像使用场景，制作了一个含2460张
图像的数据集，用于训练和测试神经网络。这些数据集包含正图像样本（正常拍摄的图像）和负图像样本（从计算机屏幕拍摄的图像），比例为1∶1。随机从ImageNet 测试数据集中选取了1230张图像作为正图像样本，对于负图像样本考虑到获取图像的多样性与泛化性，随机在网上和ImageNet 验证数据集上抽取高清图像，这些图像包括不同场景、不同类别、不同对比度等信息，以模拟实际屏摄应用情景。使用不同的移动设备（iPhone X 、iPhone 7、华为NOVA 5、华为NOVA 5i 、努比亚）在不同
品牌计算机屏幕（DELL 、苹果显示屏、联想）以不同距离、不同角度对着计算机屏幕进行拍摄获取图像，以涵盖不同设备制造商的相机软件预处理及不同屏幕的差异性。本文所选取的图像不论拍摄的距离与角度，对拍摄屏摄类图像的要求是屏摄内容覆盖整个画面，不能露出计算机屏幕边框及屏幕以外的场景。2.3
实验环境
本实验在操作系统为Windows 10，CPU 为i7⁃7700K ，RAM 64GB ，GPU 为NVIDIA GeForce GTX 1080的计算机上进行。使用Python 中的Keras 库，后端为TensorFlow 。Keras 建模简单，并提供了很多经典模型可
供微调，为本次实验奠定了基础。
整个数据被分为2000张用作训练、460张用于测试，训练进行了100个epoch ，batch size 为32，损失函数使
用
Keras
中
的
多
分
类
损
失
函
数
categorical_crossentropy ，优化器使用Adam 。Adam 优化
算法是随机梯度下降算法的扩展式，近年来其被广泛用于深度学习应用中，尤其是计算机视觉和自然语言处理等任务。Adam 优化器可以自动调节学习率，且对超参
数的选择相当鲁棒。设置参数为lr=0.001，beta_1=0.9，beta_2=0.999，epsilon=0.0001。2.4
实验结果及分析
为了证明方法的有效性，实验中首先使用目前典型的Inception V3网络[14]进行测试，作为实验数据的对比基准，然后对文献[8]提出的三输入卷积神经网络和本文采用的LBP 双输入卷积神经网络的结果进行对比，验证了提出模型对摩尔纹检测的优越性。2.4.1
Inception V3迁移学习
Inception V3是由Google 提出，用于实现ImageNet 大规模视觉识别任务（ImageNet Large Visual Recognition Challenge ）的一种神经网络。采用预先训练好的Inception V3模型，保留训练好模型中的所有卷积层参数，将瓶颈层输出的1000个特征向量作为提取的特征向量，替换最后的全连接层，对屏摄类图像进行分类检测，以达到较高的分类准确率。在实验中设置了三种不
同类型的输入，分别是未经处理的原始图像、经过LBP 特征提取后的图像和经过小波变换的图像。因为Inception V3网络要求输入为（299，299，3），所以将小波变换的图像做如图5处理，再送入网络。实验结果如
图6所示。
由图6a ）可以看出，经过图像预处理后再送入网络比直接将图像送入网络学习效果更好，其中，经过小波变换后的图像要比经过LBP 特征提取后的效果要好，同样在图6b ）的训练loss 中也可以体现出来。图6c ）和孙春云，等：融合LBP 和卷积神经网络的摩尔纹检测75
现代电子技术
2023年第46卷
图6d ）为测试准确率和测试loss ，可以看出LBP 特征提
IPHONE13拍照有马赛克取后的图像表现最差，准确率低且浮动很大，很不稳定。小波变换后的图像在测试集上表现较为平稳，但是准确率在93%就达到了饱和，从长远来看，直接将图片送入网络虽然表现不是很平稳，但是依然有进步的空间，在经过100个epoch 后获得了95.89%
的准确率。
图5小波变换后送入Inception
V3
图6Inception V3实验组曲线图对比
由这组实验可以看出，对于像Inception V3这样比较深的网络，可以很好地提取图像的特征，获得了较高的准确率。将经过图像预处理的图像送入此类较深的网络可能加快或平稳学习能力，但是在图像预处理时也损失了部分信息，不一定能提升效果。如经过LBP 特征提取后虽然强化了摩尔纹纹理信息，但是同时也损失了很多图像信息，经过Inception V3后效果也是最差的。2.4.2
简单卷积神经网络
本组采用上文提到的简单卷积网络，同样设置三种不同的输入，分别是未经处理的原始图像、经过LBP 特征提取后的图像和本文提出的方法，即将原始图像和经过LBP 特征提取后的图像一起送入网络。将原始图像及经过LBP 处理后的图像送入卷积网络时，此时网络输入为单输入卷积神经网络。实验效果如图7所示。
由图7实验结果可知，将图像直接送入小型卷积神经网络，此时网络卷积层较少，对图像高阶特征提取能
力较差，经过100个epoch 后准确率在80%左右。将epoch 增加至400时，可以达到96.3%的准确率，也可以验证此小型卷积神经网络分类的有效性。将经过LBP 特征提取后的图像送入网络，效果明显优于未经处理直接送入网络，测试集准确率达到了近95%，由此可以看出LBP 特征能很好地描述摩尔纹纹理，强化摩尔纹信息，使网络更快的收敛。第三种输入即本文提出的方法，由图7可以看出，能更快
的收敛，在第30个epoch 就基本已经稳定，且达到99.6%
的准确率。
图7CNN 实验组曲线图对比
为与本文提出的方法作对比，复现了文献[8]提出的方法，在本数据集上训练测试，得到的结果与论文结果
较为符合。现将在Inception 实验组中获得的较好实验结果与文献[8]提出的方法和本文提出的方法进行对比，结果如图8
所示。
图8不同模型曲线对比图
76
第9期
由图8可以看出，Inception V3虽然具有良好的特征提取能力，但是在摩尔纹纹理检测分类中，文献[8]
方法和本文提出的方法更有效，与文献[8]相比，本文提出的方法能更快收敛，性能更稳定，各个模型准确率如表1所示。
表1不同模型的准确率对比%
模型Inception V3文献[8]模型
本文模型准确率95.89
98.4
99.6
3结语
由于图像本身、数字屏幕与数字照相机之间的网格
重叠，摩尔纹在屏摄类图片中不可避免。本文提出了
一种利用LBP特征和卷积神经网络检测屏摄类图像中
摩尔纹的方法。所提出的CNN模型的优点是，它使用LBP特征提取后的图像作为摩尔纹纹理的强化信息，与原始图像一同输入网络，不仅提高了模型检测的准确
率，也加快了模型收敛的速度。实验结果证明，此CNN
模型的性能要优于目前典型使用的Inception V3分类模
型。电视机、室内外大屏等屏摄类图片虽然不在训练集
中，但是也可以进行有效检测，模型泛化能力较好。
注：本文通讯作者为孙春云。
参考文献
[1]KIM Jiwon，LEE Jung Kwon，LEE Kyoung Mu.Accurate image super⁃resolution using very deep convolutional networks[C]// 2016IEEE Conference on Computer Vision and Pattern Recog⁃nition.Las Vegas，NV，USA：IEEE，2016：1646⁃1654. [2]HE Ran，ZHENG Weishi，Hu Baogang.Maximum correntropy criterion for robust face recognition[J].IEEE transactions on pattern analysis and machine intelligence，2011，33（8）：1561⁃1576.
[3]缪少君.移动智能终端证件信息识别系统的开发与实现[D].武
汉：武汉工程大学，2016.
[4]HAZAVEI Seyede Mahya，SHAHDOOSTI Hamid Reza.A new method for removing the moire patterns from images：10.48550/
arXiv/1701.09037[P].[2017⁃01⁃31].
[5]WEI Z，WANG J，NICHOL H，et al.A median⁃Gaussian fil⁃tering framework for Moirépattern noise removal from X⁃ray mi⁃croscopy image[J].Micron，2012，43（2/3）：170⁃176. [6]邱菊.基于插值算法的去彩摩尔纹效应的研究[D].南京：南
京理工大学，2009.
[7]邱香香.基于CCD静态图像的摩尔纹去除算法研究[D].南京：
南京理工大学，2012.
[8]ABRAHAME.Moirépattern detection using wavelet decomposi⁃tion and convolutional neural network[C]//IEEE Symposium Series on Computational Intelligence.[S.l.]：IEEE，2018：1275⁃1279.
[9]YUAN S，TIMOFTE R，SLABAUGH G，et al.AIM2019chal⁃lenge on image demoireing：Methods and results[C]//2019 IEEE/CVF International Conference on Computer Vision Work⁃shop.[S.l.]：IEEE，2019：3534⁃3545.
[10]YUAN S，TIMOFTE R，LEONARDIS A，et al.Ntire2020 challenge on image demoireing：methods and results[C]//Pro⁃ceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.[S.l.]：IEEE，2020：460⁃461.
[11]SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computevision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Rec⁃ognition.New York：IEEE，2016：2818⁃2826. [12]OJALA T，PIETIK INEN M，HARWOOD D.Performance evaluation of texture measures with classification based on Kullback discrimination of distributions[C]//Proceedings of the12th International Conference on Pattern Recognition.Je⁃rusalem，Israel：IEEE，1994：582⁃585.
[13]王玲.基于LBP的特征提取研究[D].北京：北京交通大学，2009.
[14]OJALA T，PIETIKAINEN M，MAENPA A T.Multiresolution gray⁃scale and rotation invariant texture classification with lo⁃cal binary patterns[J].IEEE transactions on pattern analysis and machine
intelligence，2002，24（7）：971⁃987. [15]SUN Yu，LIN Zhu，GUAN Wang，et al.Multi⁃input convolu⁃tional neural network forflower grading[J].Journal of electri⁃cal and computer engineering，2017（2）：1⁃8.
[16]FUJIEDA S，TAKAYAMA K，HACHISUKA T.Wavelet con⁃volutional neural networks for texture classification[D].USA：Cornell University，2017.
作者简介：孙春云（1989—），女，河南西平人，主要研究领域为计算机网络、图像识别。
李祥祥（1995—），男，安徽亳州人，主要研究领域为机器学习、人工智能。
孙甜甜（1994—），女，江苏徐州人，主要研究领域为模式识别、计算机教育。
孙春云，等：融合LBP和卷积神经网络的摩尔纹检测77

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。