一种基于元学习的快速适应DRBM方法
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 112862094 A
(43)申请公布日 2021.05.28
(21)申请号 CN202110134999.9
(22)申请日 2021.01.29
(71)申请人 中国人民解放军国防科技大学
    地址 410073 湖南省长沙市开福区德雅路109号
(72)发明人 张新禹 刘子衿 任祖煜 霍凯 刘振 张双辉 刘永祥 姜卫东 黎湘 卢哲俊
(74)专利代理机构 43257 湖南企企卫知识产权代理有限公司
    代理人 任合明
(51)Int.CI
      G06N3/08(20060101)
      G06N3/04(20060101)
      G06F17/18(20060101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种基于元学习的快速适应DRBM方法
(57)摘要
      本发明属于机器学习领域，具体涉及一种基于元学习的DRBM方法，通过改进网络的训练‑测试算法，将算法分为元学习和模型学习两个阶段。在元学习阶段利用训练任务更新网络参数，并将更新后的网络参数作为模型学习阶段的网络参数初始值，使网络参数初始值能够使网络训练的损失函数下降更快并且更容易达到全局最优，在模型学习阶段利用测试任务更新网络参数并进行测试。该算法引入元学习的方法对DRBM的训练过程进行改进，使网络参数的元学习阶段梯度下降方向为向“最适应”点下降，使得网络能够快速适应到一个新的任务中。
法律状态
快速学习
法律状态公告日
法律状态信息
法律状态
2021-05-28
公开
公开
2021-06-15
实质审查的生效
实质审查的生效
2023-06-02
发明专利申请公布后的视为撤回IPC(主分类):G06N 3/08专利申请号:2021101349999申请公布日:20210528
发明专利申请公布后的视为撤回
权 利 要 求 说 明 书
1.一种基于元学习的快速适应DRBM方法,其特征在于,该方法分为以下步骤:
S1.建立DRBM网络结构:DRBM的网络结构可以分为三层——可见层、隐藏层和分类层,每层包含若干个神经元,神经元的连接方式是同一层内部的节点之间没有任何连接,而层与层之间的节点互相以全连接的方式相互连接在一起;每个神经元的状态均为1或者0的二元取值,1表示激活,0表示未激活,激活意味着该神经元所代表的节点对数据进行了处理;DRBM的分布由神经元的值确定,其中可见层用于表示输入数据,可见层节点个数由输入数据维度决定,可见层节点取值为输入数据各维的取值;隐藏层按照最优化的方式获取观察数据的某种统计意义上的特征,隐藏层节点个数根据数据和任务不同人为进行调整;分类层单元根据隐藏层单元提取出的数据特征进行类别判定,分类层节点个数由数据类别数量决定;
DRBM网络由网络参数进行描述;假设可见层节点个数为l,隐藏层节点个数为m,分类层节点个数为n,可见层偏置向量为b,b为1行l列向量、隐藏层偏置向量为c,c为1行m列向量、分类层偏置向量为d,d为1行n列向量,输入层和隐藏层的权重矩阵为W,W为l行m列矩阵、分类层和隐藏层的权重矩阵为U,U为n行m列矩阵;设向量θ=(W,U,b,c,d),则训练DRBM网络的目的就是寻最佳的θ值,来通过网络预测数据类别;
DRBM是一种基于能量函数确定的模型,其能量函数可以被定义为:
E(y,x,h)=-hW
T
x
T
-bx
T
-ch
T
-de
y
T
-hU
T
y
T
      (1)
其中x表示可见层的状态向量,x为1行l列向量、h表示隐藏层单元的状态向量,h为1行m列向量、y表示分类层的状态向量,y为1行n列向量,y是标签的“独热”型表示,即所有节点中只有一个节点为1,其余节点均为0;x、h、y的联合概率分布为:
       
     
其中
称为配分函数;
S2元学习阶段:

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。