C N43-1258/T P IS S N1007-130X
计算机工程与科学
C o m p u te r E n g in e e r in g[S c ie n c e
第40卷第3期2018年3月
V o l.#0,N o. 3,M a r. 2018
文章编号:1007-130X(2018)03-0515-10
基于重叠稀疏组深度信念网络的图像识别!
田进,陈秀宏,傅俊鹏,徐德荣
(江南大学数字媒体学院,江苏无锡214122)
摘要:深度信念网络的隐含神经元大部分为噪声变量,且具有组结构相关性。组稀疏深度信念网络
模型通过组L a s s o模型对隐含神经元变量进行约束,从而实现变量组选择。然而,组稀疏深度信念网络模
型未能考虑特征可同时属于多个特征组,并且隐含神经元在变量层面上不稀疏的问题。在组稀疏深度信
念网络模型上引入重叠组结构,解释了重叠组L a s s o模型在变量层面上比组L a s s o模型稀疏的原因,并在
变量层面上作进一步的稀疏,提出了重叠稀疏组深度信念网络模型。在M N I S T、U S P S、E T H-80以及人
脸数据集上的识别结果表明,重叠稀疏组深度信念网络具有更高的识别率。
关键词:深度信念网络;组L a s s o;组稀疏;重叠稀疏组
中图分类号:T P391.41 文献标志码:A
d o i:10. 3969/j.is s n. 1007-130X.2018. 03. 018
Image recognition based on an overlap
sparse group deep belief network
T I A N J in,C H E N X iu-h o n g,F U J u n-Pe n g,X U D e r o n g
(S c h o o l o f D ig it a l M e d ia, J ia n g n a n U n i v e r s it y, W u x i 214122 ,C h in a)
A b s tr a c t:M o s t h id d e n n e u ro n s in D eep
B e lie f N e tw o r k (D B N)are n o is e v a r ia b le s,a n d ha ve g ro u p
s tr u c tu r e c o r r e la tio n.G ro u p S pa rse D eep B e lif f N e tw o r k (G S D B N)c o n s tra in s th e im p lic it n e u ro n v a ria
b le s v ia g ro u p L a s s o so as to ach ie ve v a ria b le g ro u p s e le
c tio n.H o w e v e r,th e g ro u p spa rse m o
d
e l n o t o n
ly ig n o re s th e case th a t som e fe a tu re s b e lo n g to m u ltip le g ro u p s s im u lta n e o u s ly,b u t also has th e p r o b
le m th a t h id d e n n e u ro n s are n o t s p a rs e.In th is p a p e r,w e p ro p o s e O v e rla p S parse G ro u p N e tw o r k (O S G D B N),w h ic h in tro d u c e s th e o v e rla p g ro u p s tr u c tu r e a n d m a ke s th e h id d e n n e u ro n s
s p a rs e,based on G ro u p S pa rse D eep B e lie f N e tw o r k.In a d d itio n,w e also e x p la in th e re a s o n th a t th e
O S G D B N is s p a rs e r th a n G S D B N.T h e r e c o g n itio n re s u lts o n M N I S T,U S P S,E T H-80 a n d face d a ta se ts
s h o w th a t O S G D B N has a h ig h e r re c o g n itio n ra te.
K e y w o rd s:deep b e lie f n e tw o r k;g ro u p L a s s o;g ro u p spa rse;o v e rla p spa rse g ro u p
i引言
深度信念网络 D B N(D e eP B e lie f N e t w o r k)由多层受限玻尔兹曼机R B M(R e s t r ic t e d B o lt z m a n n M a c h in e)堆叠而成,是一种分层结构模型,该模型 结构与人脑结构较为相似。D B N1通过贪心逐层 训练R B M可以提取更抽象的特征,对数据进行表示。
虽然D B N在数据表征上取得了很好的效果,但是,D B N隐含神经元变量大部分为噪声变量,导 致很多数据的表示是冗余的,从而影响D B N的分 类效果2。由于稀疏表示在图像识别中取得了巨 大成果36],很多学者将L a s s o模型与R B M的训 练相结合,实现数据的稀疏表示,进而提高D B N 的分类性能。国内外对D B N的研究主要从隐含
!收稿日期=2016-04-19;修回日期=2016-09-30
基金项目:国家自然科学基金(61373055);江苏省2015年度普通高校研究生实践创新项目(SJLX15-0566)通信地址214122江苏省无锡市江南大学数字媒体学院
怎样做宫保鸡丁Address:School of Digital Media,Jiangnan University»Wuxi 214122,Jiangsu"3. R. China
516Com puter Engineering [Science计算机工程与科学 2018,40(3)
神经元的稀疏、组稀疏以及模型应用等方面进行改 进。H i n t〇n<;通过平滑的交叉熵约束隐含神经元 变量,达到设定的稀疏目标。L e e等人[8]提出稀疏 R B M,通过设定较小的期望来约束隐含神经元的 激活水平,并通过堆叠多层稀疏R B M训练得到稀 疏D B N;J i等人2则以L i范数自然约束隐含神经 元的激活概率,提出了基于信息率失真理论的稀疏 表示D B N;由于ta n-s ig m o id约束在0处附近有比 L i范数更大的斜率,故柴瑞敏等人5提出一种改 进的稀疏表示D B N,得到了更稀疏的数据表示。
然而,隐含神经元变量往往具有组结构性,而 L a s s o模型并没有将变量的组结构作为先验信息,仅局限于变量层面上的稀疏性,只具有变量选择能 力而无变量组选择能力[10]。因此,很多学者将组 L a s s o模型与R B M的训练相结合,学习特征间的 组结构,增强D B N对噪声的鲁棒性。C h e n等[5]认 为,特征之间往往具有很强的统计相关性,并且很 多特征会成组地出现或者不出现,进而提出了基于 混合范式的组稀疏深度信念网络M N-D B N(M ix e d N o r m D eep B e lie f N e tw o r k),通过 L2a混合范数对 隐含神经元的激活进行约束,其中组内通过L2范数约束,组间通过L i范数约束。D ia o等人(11]利用 L i和L2,i约束将变量和变量组选择相结合,提出 了混合结构的稀疏深度信念网络M S S-D B N (M ix e d S pa rse S tr u c t D e e p B e lie f N e tw o r k)。
由文献[12]可知,当特征组间不存在交叉时选 用组L a s s o模型较为合适,其组结构能使模型对噪 声具有较强的鲁棒性。然而,由于图像数据采集过 程中,为保证输人维度的一致性,通常需要对图像 中的目标进行平移、缩放,分割等数据处理。此外,还会对图像中目标进行多角度的数据采集,故 R B M提取的特征很多是相似的,组稀疏R B M特 征组间存在许多相似特征,因此需要把特征组间的 重叠结构作为先验信息引人到R B M的训练中。本文在组L a s s o模型的基础上引人重叠组结构,相对组L a s s o模型更具普遍性,并使用ta n-s ig m o id 正则项进一步约束,提出重叠稀疏组深度信念网络 模型 O S G-D B N(O v e r la p S p a r s e G ro u p D eep B elie f N e tw o r k)。它是一种重叠混合结构稀疏深度 信念网络O M S S-D B N (O v e rla p M ix e d S parse S tr u c t D eep B e lie f N e t w o r
k),在变量层面也具有 稀疏性。在M N I S T、U S P S及E T H-80数据集上 的实验表明,它能有效地提取图像特征,能够学习 特征间组结构与重叠结构,并且具有良好的稀疏 性,对噪声过滤效果很好,具有更好的识别效果。同时,对人脸图像进行识别,验证O S G-D B N模型 在人脸图像库也适用。
2组稀疏受限玻尔兹曼机
R B M是一种两层结构的无向图模型,其层间 神经元全连,层内神经元无连接,结构如图1所示。v is i b le为可视层,表示输人数据;h id d e n为隐含 层,为特征的表示;W为可视层与隐含层之间的连 接权重矩阵。R B M通过最小化负对数似然来拟合 数据的概率分布,估计模型参数,常采用随机梯度 下降法求解。由文献[13]可知,R B M的隐层神经 元和可视层神经元服从任意指定的指数族分布,本 文介绍神经元服从二项分布的R B M。
[)()()...()C m™ible
F ig u r e 1 S tr u c tu r e m o d e l o f R B M
图1 R B M结构图
组稀疏R B M与R B M的结构相似,如图2所 示。以I表示隐含神经元组数(每组互不重叠),
G row九表示第z组神经元集合。在图像识别中,组 稀疏R B M将组L a s s o模型引人到R B M的训练
中,获取图像特征间的结构,用一组相关性特征表 示输人图像,能够提高R B M特征组学习能力,增 强对噪声的抑制,提高D B N的识别效果。
将组L a s s o模型引人到R B M中,增强模型对 变量组的选择能力,提高模型对噪声的鲁棒性,一 般是通过对R B M的目标函数增加组稀疏正则项,学习特征之间的结构,并用一组相关特征对图像进 行表示。给定训练样本集V,组稀疏R B M可表示 为以下优化问题:
m i n—#lg-(.!)+A#||-(0 |.)||2,1(1)其中,
\\P(hl|v l)\\2,i=#I#PCh] = 1 |V1)2
^1槡0.$
G ro u p-
优化问题(1)中目标函数的第一项为输人数据 的负对数似然函数,拟合数据的分布;
而第二项为
田进等:基于重叠稀疏组深度信念网络的图像识别
517
组稀疏约束项,使隐含神经元成组地激活或被抑 制,具有变量组选择能力。^表示第/个样本,W 表示样本个数,0表示模型参数(包括层间单元的 连接权重W ,隐含层偏置及可视层偏置C ),A 为 正则项系数。
优化问题(1)与
R B M
的预训练方式相同,常
采用随机梯度下降法来学习参数,则目标函数关于 参数0{W ,fc ,c }的梯度可通过负对数似然函数和 组稀疏正则项分别关于参数求梯度而获得。对数 似然函数关于参数的梯度如式(2)所示:3 1 d! + &
、 —Eg (vl ,h l ). , /dE 0{v ,h ).—;0) =—〈---3d ---〉#。+〈^%^}
p
*
2)
其中,
n v
n h
n v
n h
E 0(
v ,
h
) =— #
czvz — #
b }
h } —
# #.50
i-i
j-i
i-i
j-i
为能量函数,n v 表示可视层神经元数,n h 表示隐 含层神经元数,C 表示可视层第i 个神经元的偏 置V
表示可视层第i 个神经元变量,表示隐含 层第j 个神经元的偏置,0表示隐含层第j 个神经 元变量,5j 表示可视层第'个神经元与隐含层第j 个神经元间的连接权值,〈.〉#。表示数据分布的期 望,〈.〉*
表示模型分布的期望。由于、*
难以计算,故
H in t 〇n
给出通过尺步
% U
G ib b s 交替采样的C I >K 算法[7](通常取K = 1),此时
负对数似然函数关于参数W ,fc ,c 的梯度[1]分别为$
—!
-#
g p(vl
&
、-
.
j +-1—#
{
P (
hj - 1 | vl )
vl —
P (
h
l 8 -
1 | v 8 )v 1'}
l -1
(3)
—%
#g p (v S 0)-%%j
l-l —#
{
P (
hj - 1 | vl )
—
P (
h
l 8 -
1 | v 8)} (4)
l -1
—忐 #lg p (v %)-—#{p (vi — 1 | h l )—P (v — 1 | h )} (5)+-1其中,V 8和h 8为通过一步G ib b s 采样获得的数据,
表示与隐含层第j 个神经元相连的权值向量。组稀疏正则项关于参数!和的梯度[1]分别 为:
!
- #
\\
P (
hl | Vl
)\\2,1 -
.
绍兴柯桥疫情j +-1
f c j #
11 P h l 1 21 -# P h j - 11 v )2p (h j -。| v )
()
1-1
I现在做什么行业赚钱
#
P h j
-
i | v 、2
槡 h j $
G ro u p
'
获取负对数似然函数和组稀疏正则项关于
0{!,fc ,c }的梯度表达式后,组稀疏R B M 通过随 机梯度下降法训练模型,对参数迭代更新,使得 模型的目标函数最小化,最终获得模型各个参数。3
重叠稀疏组深度信念网络模型重叠稀疏组D
B N
由多层的重叠稀疏组R B M
堆叠而成。然而,由于图像中目标的平移、旋转、缩 放等形变的影响,同种特征基会存在一定的差异,
会产生数据重叠。因此,组稀疏R B M 底层提取的 特征组之间有较多的相似特征,即特征组间存在交 叉。此外,人脑学习新事物的过程中常利用联想的 方法,即具有相似特征的物体聚类在一起。在图像 识别中,模型也可以利用相似特征学习相似的目 标。因此,通过组与组之间的重叠结构,将组间相 似特征联系在一起,减少由于大量相似特征离散地 存在于多个组中,导致多个组被同时激活,有助于 提高模型的识别率,使组L a s s o 模型更具有普遍 性。
3.1
重叠组稀疏受限玻尔兹曼机模型
重叠组稀疏R
B M
将重叠组L a s s o 模型与
R B M
的预训练相结合,其隐含神经元按每组相同
重叠比率进行分组,如图3所示。
r T T T c T T T
yisib ie
Figure 3 Structure model of OSG-DBN
图3重叠组稀疏R B M 结构
设隐含层神经元数为n
h
,可重叠组数为了,相
邻组间重叠比率为P ,则每组神经元数为(1 /
P ) X n h /7。又设第'组神经元集合为G r o u p ,,第i 组与第'/ 1组神经元重叠神经元集合为 O G o u P i ,第i 组非重叠神经元集合
为
518
Com puter Engineering [ Science
计算机工程与科学 2018,40(3)
,贝丨J ,
其中O G r ^h 为特征组间的相似特征,若特征组
光遇晨岛间无交叉,则C G row ^不学习特征。N oO G Vow ^ =
Group '
— Group /i — Group '—
1。将重叠组 La sso
模型引人到R B M
中,一般是通过对R
B M
的目标
函数増加重叠组稀疏正则项。对给定的训练样本
集V ,重叠组稀疏R B M 可表示为式(8)所示的优 化问题。
m i n
— #
\
gP (
智慧团建手机登录入口
vl -,d
)+
X
# \\
P (
hl | vl )\\
2,i (8)
其中 ,
l |p
(h i | v )||!,i ,
#
I
#
P (h
= 1 I
v )
,
' 1
h . $ G ro u p
.2
'
0 $ G o u P '可以属于相邻的两个组,"为重叠组 稀疏正则项系数。
目标函数重叠组稀疏约束项关于参数W 和" 的偏导数分别为:
I I P (01 I V ) I I 2,1 =
ury 6
i -1
。
P (h ; =
全球十大男装品牌1 | V )2P (h ; = 0 | v ) +l i
」
—--------v
(9)
"# ||P (h l | V ) ||!,1 -
J
1 = 1
penalty
I # P(hJ —
1 | vl )2,槡 h J $
G ro u p
'i
hJ $
NoOGroup
'
I
#
P(hi
—
1 | V )
2 /
槡 h J $
G ro u p
'
I ~~P (h \ —
1 | V )2,
槡
h J $
G ro u p
/i
.:hJ $
OGroup
'
获得目标函数关于参数的梯度表示后,根据式
(3)〜式(5)、式(9)和式(10),利用随机梯度下降法 训练重叠组稀疏R B M ,直至参数收敛。
当隐含神经元个数相同且组数也相同时,重叠 组L a s s o 模型相对组L a s s o 模型而言,其组向量的 模要大,且组内每个神经元激活受到更强的抑制。 其次,重叠结构将组间相似特征联系在一起,避免 相似特征在各个组中同时激活,具有一定的稀疏作 用。如图6b 和图6c 对比所示,相对组L a s s o 模型 而言,重叠组L
a s o
模型学习的特征更稀疏。
其中 ,
penalty
='
3.2
重叠稀疏组深度信念网络模型
重叠组稀疏模型仅采用变量的组结构和重叠 结构作为先验信息,局限于变量组的稀疏性,因此 它只有变量组的选择能力而无变量选择能力。若
将重叠组L a s s o 模型与L a s s o 模型加人到R B M 的 预训练中,则可使模型既具有变量组选择能力,又 具有变量选择能力。又由于在0附近ta n -s ig m o id 函数与L 〇范数较相似,但比L i 范数具有更高的倾 斜率[9],如图4所示,故本文采用ta n -s ig m o id L a s -
s o 模型替代常用的L i L a s s o 模型,使得模型在变
量层面上更加稀疏。F ig u r e 4
ta n -s ig m o id f u n c t i o n ,L i fu n c t io n a n d L 〇 f u n t io n 图4 t a n -s ig m o id 函数、L "
模函数及L 〇模函数
将重叠组L a s s o 模型和ta n -s ig m o id L a s s o 模 型引人到R
B M
训练中,使模型具有学习重叠组结
构能力,同时具有变量组和变量选择能力。一般是
通过对R B M 的目标函数増加重叠组稀疏正则项 和
ta n -s ig m o id 稀疏正则项。重叠稀疏组受限玻尔
兹曼机模型可表示为$
m in — #
lg P ( v l !) /
w .b .c i —1"
# || P ( hl | vl ) 2i tan -
sigmoid (hl | v l )
—1
—1
其中
11)
tan -sigmoid (
hl | vl )
2
1 / e x p (
2!
P (
hl
T
优化问题(11)的目标函数第二项为重叠组稀 疏的约束项,学习特征组结构和组间重叠结构," 为重叠组稀疏正则 项系数。 重叠组稀疏的约束项 关于参数W 和"的偏导数见式(9)和式(10)第三 项 为 ta n -s ig m o id 稀 疏 约 束 项 , 使 模 型 在 变 量 层 面 稀疏,#为稀疏正则项系数。稀疏约束项关于参数
W 和"的偏导数见式(12)和式(
13)。
田进等:基于重叠稀疏组深度信念网络的图像识别
519
9 \
# tan-sigmoid (hl | t /)=
6
i-i
#(
i
—/!)-(//, 11 , 〇 i
i -i
(12)
d
# an ~sigmoid (hl | v r )
i -i
#( 1 —
f 2)
P (
h
l 2 - 1
| V )P (h l 2
-
l — 1其中,
vi )
(13)
fl
-1
1 + e x p (
2 ! P ( h 2
-
D
采用小批量随机梯度下降法[14]来求解优化问 题(1),这样能有效地避免批量梯度下降收敛速度 慢,同时也能防止随机梯度下降法收敛的不稳定。 训练过程中,多批次小批量(M in i -b a tc h )地将数据
投人模型中训练,设批次为 > 每批次容量为B ,则 各参数每批次的平均梯度分别为:
F !+1)
观 6 — 1 # ((P h l — 1 I v )—
P (h
; - 1 | V )2P (h ; - 0 | V )
penalty
#1 — f 2)P
(h
- 1 | V )P
(h
- 0 | V ))V —
P (
h 1' -
1 | V 1' )
v 1')
( 14)
B (
l /i )Ab
3 —
1 # ( P (hl —
1 | V
)
—
B l -Bf +1、
P
(0 - 1 | V )2P (h ; - 0 | V )
penalty
#(i —f !)p (0 -11 v )p (0 - 〇 i v )—
P (h
" - 1 | V ) (15)B ( l /i )
Acs
— —
# ( P ( vi —
1 | h l ) — P ( vi
—
1 | h 8 ))
B l —
B t
/1
(16)
其中,v 8和0.是由v +和0.通过一步G ib b s 采样 获得的数据。重叠稀疏组D
B N
训练算法由两部分组成:贪
心逐层训练重叠稀疏组R B M
和利用样本标签信
息微调整个网络。重叠稀疏组R
B M
训练算法如
算法1所示。
算法1重叠稀疏组R
B M
训练算法
输入:训练样本集合V ;隐含层神经元数nh ;学习率
« &训练周期M a x l e r ;总批次T
。
输出:连接权重W ;隐含层偏置"可视层偏置c 。 初始化:!
"
,c ;
F o r ^ = 1:
M a xlter
F o r t =1
:T
从条件分布P (h. I v )中对h .采样;从条件分布P (i
I h
)中对i
'
采样;
从条件分布P
(h . | i
)中对h .采样;
根据式(4)〜式(16)计算梯度,更新参数!
"
,
EndFor EndFor
4实验与结果分析
在图像识别中,将图像矩阵转变为一个列向量
并归一化,将归一化的列向量作为堆叠R B M 的输 人。通过贪心逐层训练R B M ,从而提取图像的特 征。在堆叠R
B M
之上利用一层神经网络作为分
类器,通过反向传播B P (B a c k P ro p a g a tiQ n )算法微 调整个网络,实现分类器的训练。根据分类结果与 标签信息获取各个模型的识别效果。实验选取两 个常用手写数字数据集M N I S T 、U S P S 和一个实 物数据集E T H -80来测试O S G -D
B N
的识别性能。
在自然图像上,分别从重叠组结构学习能力、稀疏 性能两个方面将O S G -D B N 与其他模型进行比较。 此外,在
E T H
80数据集上进行实验,考察O S G -
D B N
算法中组比率(组数与变量数之比)、重叠率、
重叠组稀疏约束项系数以及稀疏约束项系数。最
后在M N I S T 、U S P S 和E T H -80数据集上验证
O S G -D B N
识别效果,以及在典型的人脸图像库上
验证模型的通用性。
4.1
稀疏效果及特征学习能力
本节在自然图像上进行实验,对比研究O S G - D B N
重叠组结构学习能力和稀疏性能。实验中, 将自然图像随机裁剪为1 000张20 X 20的小块图 像,作为 S R -D B N 、M N -D B N 、O G S -D B N 和 O S G -
D B N
模型的训练集,并观察各个模型的重叠组结
构学习能力和稀疏性能。
4.1. 1 模型特征提取及组结构学习对比
为更好地比较模型特征提取及组结构学习,在 各模型学习特征及重叠组结构时,将网络结构设置 为400,预训练学习迭代设为100次,组数为20 组,重叠比率为20%。各模型特征学习及重叠组 结构性能如图5!图8所示。
图5a 表明,S R -D
B N
只采用L i
套索约束隐含
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论