NN[神经网络]中embedding的dense和sparse是什么意思？
NN[神经⽹络]中embedding的dense和sparse是什么意思？
NN[神经⽹络]中embedding的dense和sparse是什么意思？
  dense 表⽰稠密，在embedding中的dense时：
    假设我们有这样⼀个句⼦： “北京是北京”，我们将其数值化表⽰为：
dense embedding，需要你讲它转换成onehot表⽰：
连接路由器无法上网假设embedding对输出size=3，也就是hidden层的size=3*3;
eg:
报名
那么dense layer的计算过程就是⼀个矩阵相乘：
....
整个流程展开来看就是：
你会看到这个过程： 1. 计算量⾮常巨⼤ ，这个回想⼀下矩阵乘法的复杂度就知道O((N*M)*(M*M)), 2.⽽
且对于输⼊来说，转换的矩阵也很巨⼤(就是vocabulary有多⼤，这个列就有多⼤，你想想当vocabulary=500w时，这个输⼊input的表⽰矩阵⼤不⼤).
那么有没有⽅法，优化⼀下这两个问题（计算量⼤，输⼊尺⼨也⼤）呢？
sparse ：表⽰稀疏，在embedding中的dense时：
　同样假设我们有这样⼀个句⼦： “北京是北京”，我们将其数值化表⽰为：
sparse embedding，不需要你转换乘onehot编码格式：
  那么，它是如何计算的呢？
大湾区是指哪里      假设embedding对输出size=3，也就是hidden层的size=3*3;
    eg:
那么sparse layer的计算过程的“矩阵相乘”（相当于⼀个查表的过程，所以有lookup_table这个表述）：
这个计算过程为：
->  ->
->
最终得到：
靠比较软件短视频下载大全APP
你会看到，dense和sparse结果都⼀样，但是这个计算量变成列O(（N*1)*（M*M）) 减少列⼀个量级. ⽽且输⼊input的vec也极⼤的缩⼩了，毕竟存储的是index嘛.
那么会到我们开始的问题，NN[神经⽹络]中embedding的dense和sparse是什么意思？
    结合上⾯的例⼦的计算过程，dense embedding 就是要求输⼊必须为onehot,sparse embedding 不需要.
自律是什么意思益阳疫情　那么在扩⼤⼀点，NN[神经⽹络]中的dense和sparse是什么意思？
    dense和sparse描述的是该层hidden layer和前后层的⽹络连接情况，如果hidden layer 和前⼀层以及后⼀层参数连接多，我们就说他是dense layer,⽐如全连接层(fc)，相反，如果连接数⽐较少，我们说它是sparse layer。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。