C N43-1258/T P IS S N1007-130X
计算机工程与科学
C o m p u te r E n g in e e r in g[S c ie n c e
第40卷第3期2018年3月
V o l.#0，N o. 3，M a r. 2018
文章编号：1007-130X(2018)03-0515-10
基于重叠稀疏组深度信念网络的图像识别！
田进，陈秀宏，傅俊鹏，徐德荣
(江南大学数字媒体学院，江苏无锡214122)
摘要：深度信念网络的隐含神经元大部分为噪声变量，且具有组结构相关性。组稀疏深度信念网络
模型通过组L a s s o模型对隐含神经元变量进行约束，从而实现变量组选择。然而，组稀疏深度信念网络模
型未能考虑特征可同时属于多个特征组，并且隐含神经元在变量层面上不稀疏的问题。在组稀疏深度信
念网络模型上引入重叠组结构，解释了重叠组L a s s o模型在变量层面上比组L a s s o模型稀疏的原因，并在
变量层面上作进一步的稀疏，提出了重叠稀疏组深度信念网络模型。在M N I S T、U S P S、E T H-80以及人
脸数据集上的识别结果表明，重叠稀疏组深度信念网络具有更高的识别率。
关键词：深度信念网络；组L a s s o；组稀疏；重叠稀疏组
中图分类号：T P391.41 文献标志码：A
d o i：10. 3969/j.is s n. 1007-130X.2018. 03. 018
Image recognition based on an overlap
sparse group deep belief network
T I A N J in，C H E N X iu-h o n g，F U J u n-Pe n g，X U D e r o n g
(S c h o o l o f D ig it a l M e d ia, J ia n g n a n U n i v e r s it y, W u x i 214122 ,C h in a)
A b s tr a c t：M o s t h id d e n n e u ro n s in D eep
B e lie f N e tw o r k (D B N)are n o is e v a r ia b le s，a n d ha ve g ro u p
s tr u c tu r e c o r r e la tio n.G ro u p S pa rse D eep B e lif f N e tw o r k (G S D B N)c o n s tra in s th e im p lic it n e u ro n v a ria
b le s v ia g ro u p L a s s o so as to ach ie ve v a ria b le g ro u p s e le
c tio n.H o w e v e r，th e g ro u p spa rse m o
d
e l n o t o n
ly ig n o re s th e case th a t som e fe a tu re s b e lo n g to m u ltip le g ro u p s s im u lta n e o u s ly，b u t also has th e p r o b
le m th a t h id d e n n e u ro n s are n o t s p a rs e.In th is p a p e r，w e p ro p o s e O v e rla p S parse G ro u p N e tw o r k (O S G D B N)，w h ic h in tro d u c e s th e o v e rla p g ro u p s tr u c tu r e a n d m a ke s th e h id d e n n e u ro n s
s p a rs e，based on G ro u p S pa rse D eep B e lie f N e tw o r k.In a d d itio n，w e also e x p la in th e re a s o n th a t th e
O S G D B N is s p a rs e r th a n G S D B N.T h e r e c o g n itio n re s u lts o n M N I S T，U S P S，E T H-80 a n d face d a ta se ts
s h o w th a t O S G D B N has a h ig h e r re c o g n itio n ra te.
K e y w o rd s：deep b e lie f n e tw o r k；g ro u p L a s s o；g ro u p spa rse；o v e rla p spa rse g ro u p
i引言
深度信念网络 D B N(D e eP B e lie f N e t w o r k)由多层受限玻尔兹曼机R B M(R e s t r ic t e d B o lt z m a n n M a c h in e)堆叠而成，是一种分层结构模型，该模型 结构与人脑结构较为相似。D B N1通过贪心逐层 训练R B M可以提取更抽象的特征，对数据进行表示。
虽然D B N在数据表征上取得了很好的效果，但是，D B N隐含神经元变量大部分为噪声变量，导 致很多数据的表示是冗余的，从而影响D B N的分 类效果2。由于稀疏表示在图像识别中取得了巨 大成果36]，很多学者将L a s s o模型与R B M的训 练相结合，实现数据的稀疏表示，进而提高D B N 的分类性能。国内外对D B N的研究主要从隐含
!收稿日期=2016-04-19；修回日期=2016-09-30
基金项目：国家自然科学基金（61373055)；江苏省2015年度普通高校研究生实践创新项目（SJLX15-0566)通信地址214122江苏省无锡市江南大学数字媒体学院
怎样做宫保鸡丁Address：School of Digital Media,Jiangnan University»Wuxi 214122,Jiangsu"3. R. China
516Com puter Engineering [Science计算机工程与科学 2018，40(3)
神经元的稀疏、组稀疏以及模型应用等方面进行改 进。H i n t〇n<；通过平滑的交叉熵约束隐含神经元 变量，达到设定的稀疏目标。L e e等人[8]提出稀疏 R B M，通过设定较小的期望来约束隐含神经元的 激活水平，并通过堆叠多层稀疏R B M训练得到稀 疏D B N;J i等人2则以L i范数自然约束隐含神经 元的激活概率，提出了基于信息率失真理论的稀疏 表示D B N；由于ta n-s ig m o id约束在0处附近有比 L i范数更大的斜率，故柴瑞敏等人5提出一种改 进的稀疏表示D B N，得到了更稀疏的数据表示。
然而，隐含神经元变量往往具有组结构性，而 L a s s o模型并没有将变量的组结构作为先验信息，仅局限于变量层面上的稀疏性，只具有变量选择能 力而无变量组选择能力[10]。因此，很多学者将组 L a s s o模型与R B M的训练相结合，学习特征间的 组结构，增强D B N对噪声的鲁棒性。C h e n等[5]认 为，特征之间往往具有很强的统计相关性，并且很 多特征会成组地出现或者不出现，进而提出了基于 混合范式的组稀疏深度信念网络M N-D B N(M ix e d N o r m D eep B e lie f N e tw o r k)，通过 L2a混合范数对 隐含神经元的激活进行约束，其中组内通过L2范数约束，组间通过L i范数约束。D ia o等人(11]利用 L i和L2,i约束将变量和变量组选择相结合，提出 了混合结构的稀疏深度信念网络M S S-D B N (M ix e d S pa rse S tr u c t D e e p B e lie f N e tw o r k)。
由文献[12]可知，当特征组间不存在交叉时选 用组L a s s o模型较为合适，其组结构能使模型对噪 声具有较强的鲁棒性。然而，由于图像数据采集过 程中，为保证输人维度的一致性，通常需要对图像 中的目标进行平移、缩放，分割等数据处理。此外，还会对图像中目标进行多角度的数据采集，故 R B M提取的特征很多是相似的，组稀疏R B M特 征组间存在许多相似特征，因此需要把特征组间的 重叠结构作为先验信息引人到R B M的训练中。本文在组L a s s o模型的基础上引人重叠组结构，相对组L a s s o模型更具普遍性，并使用ta n-s ig m o id 正则项进一步约束，提出重叠稀疏组深度信念网络 模型 O S G-D B N(O v e r la p S p a r s e G ro u p D eep B elie f N e tw o r k)。它是一种重叠混合结构稀疏深度 信念网络O M S S-D B N (O v e rla p M ix e d S parse S tr u c t D eep B e lie f N e t w o r
k)，在变量层面也具有 稀疏性。在M N I S T、U S P S及E T H-80数据集上 的实验表明，它能有效地提取图像特征，能够学习 特征间组结构与重叠结构，并且具有良好的稀疏 性，对噪声过滤效果很好，具有更好的识别效果。同时，对人脸图像进行识别，验证O S G-D B N模型 在人脸图像库也适用。
2组稀疏受限玻尔兹曼机
R B M是一种两层结构的无向图模型，其层间 神经元全连，层内神经元无连接，结构如图1所示。v is i b le为可视层，表示输人数据；h id d e n为隐含 层，为特征的表示;W为可视层与隐含层之间的连 接权重矩阵。R B M通过最小化负对数似然来拟合 数据的概率分布，估计模型参数，常采用随机梯度 下降法求解。由文献[13]可知，R B M的隐层神经 元和可视层神经元服从任意指定的指数族分布，本 文介绍神经元服从二项分布的R B M。
[)()()...()C m™ible
F ig u r e 1 S tr u c tu r e m o d e l o f R B M
图1 R B M结构图
组稀疏R B M与R B M的结构相似，如图2所 示。以I表示隐含神经元组数（每组互不重叠），
G row九表示第z组神经元集合。在图像识别中，组 稀疏R B M将组L a s s o模型引人到R B M的训练
中，获取图像特征间的结构，用一组相关性特征表 示输人图像，能够提高R B M特征组学习能力，增 强对噪声的抑制，提高D B N的识别效果。
将组L a s s o模型引人到R B M中，增强模型对 变量组的选择能力，提高模型对噪声的鲁棒性，一 般是通过对R B M的目标函数增加组稀疏正则项，学习特征之间的结构，并用一组相关特征对图像进 行表示。给定训练样本集V，组稀疏R B M可表示 为以下优化问题：
m i n—#lg-(.!)+A#||-(0 |.)||2,1(1)其中，
\\P(hl|v l)\\2,i=#I#PCh] = 1 |V1)2
^1槡0.$
G ro u p-
优化问题（1)中目标函数的第一项为输人数据 的负对数似然函数，拟合数据的分布；
而第二项为
田进等：基于重叠稀疏组深度信念网络的图像识别
517
组稀疏约束项，使隐含神经元成组地激活或被抑 制，具有变量组选择能力。^表示第/个样本，W 表示样本个数，0表示模型参数（包括层间单元的 连接权重W ，隐含层偏置及可视层偏置C )，A 为 正则项系数。
优化问题（1)与
R B M
的预训练方式相同，常
采用随机梯度下降法来学习参数，则目标函数关于 参数0{W ，fc ，c }的梯度可通过负对数似然函数和 组稀疏正则项分别关于参数求梯度而获得。对数 似然函数关于参数的梯度如式(2)所示：3 1 d! + &
、 —Eg (vl ,h l ). , /dE 0{v ,h ).—;0) =—〈---3d ---〉#。+〈^%^}
p
*
2)
其中，
n v
n h
n v
n h
E 0(
v ,
h
) =— #
czvz — #
b }
h } —
# #.50
i-i
j-i
i-i
j-i
为能量函数，n v 表示可视层神经元数，n h 表示隐 含层神经元数，C 表示可视层第i 个神经元的偏 置V
表示可视层第i 个神经元变量，表示隐含 层第j 个神经元的偏置，0表示隐含层第j 个神经 元变量，5j 表示可视层第'个神经元与隐含层第j 个神经元间的连接权值，〈.〉#。表示数据分布的期 望，〈.〉*
表示模型分布的期望。由于、*
难以计算，故
H in t 〇n
给出通过尺步
% U
G ib b s 交替采样的C I >K 算法[7](通常取K = 1)，此时
负对数似然函数关于参数W ，fc ，c 的梯度[1]分别为$
—!
-#
g p(vl
&
、-
.
j +-1—#
{
P (
hj - 1 | vl )
vl —
P (
h
l 8 -
1 | v 8 )v 1'}
l -1
(3)
—%
#g p (v S 0)-%%j
l-l —#
{
P (
hj - 1 | vl )
—
P (
h
l 8 -
1 | v 8)} (4)
l -1
—忐 #lg p (v %)-—#{p (vi — 1 | h l )—P (v — 1 | h )} (5)+-1其中，V 8和h 8为通过一步G ib b s 采样获得的数据，
表示与隐含层第j 个神经元相连的权值向量。组稀疏正则项关于参数！和的梯度[1]分别 为：
!
- #
\\
P (
hl | Vl
)\\2,1 -
.
绍兴柯桥疫情j +-1
f c j #
11 P h l 1 21 -# P h j - 11 v )2p (h j -。| v )
()
1-1
I现在做什么行业赚钱
#
P h j
-
i | v 、2
槡 h j $
G ro u p
'
获取负对数似然函数和组稀疏正则项关于
0{!，fc ，c }的梯度表达式后，组稀疏R B M 通过随 机梯度下降法训练模型，对参数迭代更新，使得 模型的目标函数最小化，最终获得模型各个参数。3
重叠稀疏组深度信念网络模型重叠稀疏组D
B N
由多层的重叠稀疏组R B M
堆叠而成。然而，由于图像中目标的平移、旋转、缩 放等形变的影响，同种特征基会存在一定的差异，
会产生数据重叠。因此，组稀疏R B M 底层提取的 特征组之间有较多的相似特征，即特征组间存在交 叉。此外，人脑学习新事物的过程中常利用联想的 方法，即具有相似特征的物体聚类在一起。在图像 识别中，模型也可以利用相似特征学习相似的目 标。因此，通过组与组之间的重叠结构，将组间相 似特征联系在一起，减少由于大量相似特征离散地 存在于多个组中，导致多个组被同时激活，有助于 提高模型的识别率，使组L a s s o 模型更具有普遍 性。
3.1
重叠组稀疏受限玻尔兹曼机模型
重叠组稀疏R
B M
将重叠组L a s s o 模型与
R B M
的预训练相结合，其隐含神经元按每组相同
重叠比率进行分组，如图3所示。
r T T T c T T T
yisib ie
Figure 3 Structure model of OSG-DBN
图3重叠组稀疏R B M 结构
设隐含层神经元数为n
h
，可重叠组数为了，相
邻组间重叠比率为P ，则每组神经元数为（1 /
P ) X n h /7。又设第'组神经元集合为G r o u p ,，第i 组与第'/ 1组神经元重叠神经元集合为 O G o u P i ，第i 组非重叠神经元集合
为
518
Com puter Engineering [ Science
计算机工程与科学 2018，40(3)
，贝丨J ，
其中O G r ^h 为特征组间的相似特征，若特征组
光遇晨岛间无交叉，则C G row ^不学习特征。N oO G Vow ^ =
Group '
— Group /i — Group '—
1。将重叠组 La sso
模型引人到R B M
中，一般是通过对R
B M
的目标
函数増加重叠组稀疏正则项。对给定的训练样本
集V ，重叠组稀疏R B M 可表示为式（8)所示的优 化问题。
m i n
— #
\
gP (
智慧团建手机登录入口
vl -,d
)+
X
# \\
P (
hl | vl )\\
2,i (8)
其中 ，
l |p
(h i | v )||!，i ,
#
I
#
P (h
= 1 I
v )
，
' 1
h . $ G ro u p
.2
'
0 $ G o u P '可以属于相邻的两个组，"为重叠组 稀疏正则项系数。
目标函数重叠组稀疏约束项关于参数W 和" 的偏导数分别为：
I I P (01 I V ) I I 2,1 =
ury 6
i -1
。
P (h ; =
全球十大男装品牌1 | V )2P (h ; = 0 | v ) +l i
」
—--------v
(9)
"# ||P (h l | V ) ||!,1 -
J
1 = 1
penalty
I # P(hJ —
1 | vl )2，槡 h J $
G ro u p
'i
hJ $
NoOGroup
'
I
#
P(hi
—
1 | V )
2 /
槡 h J $
G ro u p
'
I ~~P (h \ —
1 | V )2，
槡
h J $
G ro u p
/i
.:hJ $
OGroup
'
获得目标函数关于参数的梯度表示后，根据式
(3)〜式（5)、式（9)和式（10)，利用随机梯度下降法 训练重叠组稀疏R B M ，直至参数收敛。
当隐含神经元个数相同且组数也相同时，重叠 组L a s s o 模型相对组L a s s o 模型而言，其组向量的 模要大，且组内每个神经元激活受到更强的抑制。 其次，重叠结构将组间相似特征联系在一起，避免 相似特征在各个组中同时激活，具有一定的稀疏作 用。如图6b 和图6c 对比所示，相对组L a s s o 模型 而言，重叠组L
a s o
模型学习的特征更稀疏。
其中 ，
penalty
='
3.2
重叠稀疏组深度信念网络模型
重叠组稀疏模型仅采用变量的组结构和重叠 结构作为先验信息，局限于变量组的稀疏性，因此 它只有变量组的选择能力而无变量选择能力。若
将重叠组L a s s o 模型与L a s s o 模型加人到R B M 的 预训练中，则可使模型既具有变量组选择能力，又 具有变量选择能力。又由于在0附近ta n -s ig m o id 函数与L 〇范数较相似，但比L i 范数具有更高的倾 斜率[9]，如图4所示，故本文采用ta n -s ig m o id L a s -
s o 模型替代常用的L i L a s s o 模型，使得模型在变
量层面上更加稀疏。F ig u r e 4
ta n -s ig m o id f u n c t i o n ,L i fu n c t io n a n d L 〇 f u n t io n 图4 t a n -s ig m o id 函数、L "
模函数及L 〇模函数
将重叠组L a s s o 模型和ta n -s ig m o id L a s s o 模 型引人到R
B M
训练中，使模型具有学习重叠组结
构能力，同时具有变量组和变量选择能力。一般是
通过对R B M 的目标函数増加重叠组稀疏正则项 和
ta n -s ig m o id 稀疏正则项。重叠稀疏组受限玻尔
兹曼机模型可表示为$
m in — #
lg P ( v l !) /
w .b .c i —1"
# || P ( hl | vl ) 2i tan -
sigmoid (hl | v l )
—1
—1
其中
11)
tan -sigmoid (
hl | vl )
2
1 / e x p (
2!
P (
hl
T
优化问题（11)的目标函数第二项为重叠组稀 疏的约束项，学习特征组结构和组间重叠结构，" 为重叠组稀疏正则 项系数。 重叠组稀疏的约束项 关于参数W 和"的偏导数见式（9)和式（10)第三 项 为 ta n -s ig m o id 稀 疏 约 束 项 ， 使 模 型 在 变 量 层 面 稀疏，#为稀疏正则项系数。稀疏约束项关于参数
W 和"的偏导数见式（12)和式（
13)。
田进等：基于重叠稀疏组深度信念网络的图像识别
519
9 \
# tan-sigmoid (hl | t /)=
6
i-i
#(
i
—/!)-(//, 11 , 〇 i
i -i
(12)
d
# an ~sigmoid (hl | v r )
i -i
#( 1 —
f 2)
P (
h
l 2 - 1
| V )P (h l 2
-
l — 1其中，
vi )
(13)
fl
-1
1 + e x p (
2 ! P ( h 2
-
D
采用小批量随机梯度下降法[14]来求解优化问 题（1)，这样能有效地避免批量梯度下降收敛速度 慢，同时也能防止随机梯度下降法收敛的不稳定。 训练过程中，多批次小批量（M in i -b a tc h )地将数据
投人模型中训练，设批次为 > 每批次容量为B ，则 各参数每批次的平均梯度分别为：
F !+1)
观 6 — 1 # ((P h l — 1 I v )—
P (h
; - 1 | V )2P (h ; - 0 | V )
penalty
#1 — f 2)P
(h
- 1 | V )P
(h
- 0 | V ))V —
P (
h 1' -
1 | V 1' )
v 1')
( 14)
B (
l /i )Ab
3 —
1 # ( P (hl —
1 | V
)
—
B l -Bf +1、
P
(0 - 1 | V )2P (h ; - 0 | V )
penalty
#(i —f !)p (0 -11 v )p (0 - 〇 i v )—
P (h
" - 1 | V ) (15)B ( l /i )
Acs
— —
# ( P ( vi —
1 | h l ) — P ( vi
—
1 | h 8 ))
B l —
B t
/1
(16)
其中，v 8和0.是由v +和0.通过一步G ib b s 采样 获得的数据。重叠稀疏组D
B N
训练算法由两部分组成：贪
心逐层训练重叠稀疏组R B M
和利用样本标签信
息微调整个网络。重叠稀疏组R
B M
训练算法如
算法1所示。
算法1重叠稀疏组R
B M
训练算法
输入：训练样本集合V ；隐含层神经元数nh ；学习率
« &训练周期M a x l e r ；总批次T
。
输出：连接权重W ；隐含层偏置"可视层偏置c 。 初始化：！
"
，c ;
F o r ^ = 1：
M a xlter
F o r t =1
：T
从条件分布P (h. I v )中对h .采样；从条件分布P (i
I h
)中对i
'
采样；
从条件分布P
(h . | i
)中对h .采样；
根据式（4)〜式（16)计算梯度，更新参数！
"
，
EndFor EndFor
4实验与结果分析
在图像识别中，将图像矩阵转变为一个列向量
并归一化，将归一化的列向量作为堆叠R B M 的输 人。通过贪心逐层训练R B M ，从而提取图像的特 征。在堆叠R
B M
之上利用一层神经网络作为分
类器，通过反向传播B P (B a c k P ro p a g a tiQ n )算法微 调整个网络，实现分类器的训练。根据分类结果与 标签信息获取各个模型的识别效果。实验选取两 个常用手写数字数据集M N I S T 、U S P S 和一个实 物数据集E T H -80来测试O S G -D
B N
的识别性能。
在自然图像上，分别从重叠组结构学习能力、稀疏 性能两个方面将O S G -D B N 与其他模型进行比较。 此外，在
E T H
80数据集上进行实验，考察O S G -
D B N
算法中组比率(组数与变量数之比）、重叠率、
重叠组稀疏约束项系数以及稀疏约束项系数。最
后在M N I S T 、U S P S 和E T H -80数据集上验证
O S G -D B N
识别效果，以及在典型的人脸图像库上
验证模型的通用性。
4.1
稀疏效果及特征学习能力
本节在自然图像上进行实验，对比研究O S G - D B N
重叠组结构学习能力和稀疏性能。实验中， 将自然图像随机裁剪为1 000张20 X 20的小块图 像，作为 S R -D B N 、M N -D B N 、O G S -D B N 和 O S G -
D B N
模型的训练集，并观察各个模型的重叠组结
构学习能力和稀疏性能。
4.1. 1 模型特征提取及组结构学习对比
为更好地比较模型特征提取及组结构学习，在 各模型学习特征及重叠组结构时，将网络结构设置 为400，预训练学习迭代设为100次，组数为20 组，重叠比率为20%。各模型特征学习及重叠组 结构性能如图5!图8所示。
图5a 表明，S R -D
B N
只采用L i
套索约束隐含
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论