神经网络与深度学习概述第三章深度学习的概念及理解
神经网络与深度学习概述第三章深度学习的概念及理解
深度学习的概念
深度学习是神经网络的一个分支，深度学习的基本结构是深度神经网络。
深度神经网络是一种具备至少一个隐含层的神经网络。与浅层神经网络相比，深度神经网络也能为复杂非线性系统建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的拟合能力。
∙深度神经网络通常是前馈型神经网络。多层前馈型神经网络都是深度神经网络，但是深度神经网络不都是多层前馈型神经网络,因为深度神经网络还包含了递归神经网络和卷积神经网络等
∙深度神经网络说的是一种结构，而不是一种算法
机器学习的分类
机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。
这里关于机器学习的内容不在进一步展开，有兴趣的读者可以参考作者之前写的两篇文章。
「上」人工智能，机器学习，数据挖掘，数据分析和深度学习到底什么意思，它们之间又有什么区别和联系？
「下」人工智能，机器学习，数据挖掘，数据分析和深度学习到底什么意思，它们之间又有什么区别和联系？
机器学习的概念很大，以下给出按照学习方式分类的常见类型：
∙监督学习（Supervised Learning）
监督学习又叫做有导师的学习，就是在你学习的时候，有个老师在旁边监督着你，随时纠正你在学习中犯的错误，当你犯错的时候就给你惩罚，但你正确的时候就给你奖励。
在监督学习中，数据都是带有标签的数据，通过模型训练这些数据，根据模型得到的结果和实际标签作比较，如果模型给出的结果与实际标签不符合时，就要调整模型，直到模型的预测结果达到一个预期的准确率。
∙非监督学习（Unsupervised Learning）
非监督学习又叫做无导师的学习，也就是没有人在旁边监督着你学习，告诉你怎样做才是对的。
在非监督学习中，数据都是没有标签的，并没有告诉模型哪些数据应该被分为哪一类是正确的，非监督学习模型一般是为了推断出数据的一些内在结构。常见的应用场景比如关联规则挖掘和聚类等 。
∙强化学习（Reinforcement Learning，RL）
强化学习是指从环境状态到行为映射的学习，以使系统行为从环境中获得的累积奖励值最大。
在强化学习中，我们设计算法得到把外界环境转化为最大化奖励量的动作。
我们并没有直接告诉主体（agent）要做什么或者要采取哪个动作，主体也不知道执行了某个动作后会从外界环境后得到什么样的奖励。因此，简单理解，强化学习就是，在作出一
个动作之前，我们也不知道这个动作能获得多少奖励，我们需要一边对未知的环境摸索，一边根据得到的结果调整下次的动作，最终得到一定环境下可以获得最大奖励量的动作。
有监督学习是事先就给你了一堆样本，你知道每一个动作能产生的什么样的奖励，而强化学习时你并不知道你这个动作能获得什么样的奖励，需要你自己摸索，因此从这个角度理解，你可以认为强化学习是一种有时间延迟的监督学习。
试错搜索(trial-and-error search)和延期强化(delayed reinforcement)这两个特性是强化学习中两个最重要的特性。
类似于玩游戏，玩得越多一般就玩得越好，因为你已经对地图、障碍等等越来越熟悉了。
∙迁移学习
简单理解，比如说我们要去买橘子，目标当然是越甜越熟越好，影响这个目标的因素可能有：橘子的颜，大小，形状，产地等等，你根据监督学习建立了一个挑选橘子的模型。
当有一天你想买的不是橘子而是苹果时，你把你买橘子的模型稍微变一下就可以买苹果了，这就是迁移学习。
∙增量学习
简单理解，前面你已经建立好了挑选橘子的模型，随着样本的不断增多，橘子的种类也不断增多，你训练出的模型变得越来越全面，越来越来好，这就是增量学习。
人脑视觉机理
前面在神经网络中也研究过大脑，但侧重点不同，当时的侧重点主要在连接和如何建立连接，而在深度学习中强调的是分层，浅层特征和如何抽象。
∙神经-中枢-大脑的工作过程是一个不断迭代、不断抽象的过程。两个关键词，抽象和迭代
∙从原始信号，做低级抽象，逐渐向高级抽象迭代，人类的逻辑思维就是这样，经常使用高度抽象的概念
例如，从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。
人脑视觉机理
总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。
特征的相关概念
特征是机器学习系统的原材料，如果数据被很好的表达成了特征那么模型的精度将会大大提高。
∙特征粒度
学习算法需要一定粒度上的特征输入才能发挥作用。
拿一张图片举例，像素级的特征根本没有价值。大数据要学什么
例如下面的摩托车，从像素级别，根本得不到任何信息，其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性的时候，比如是否具有车把手（handle），是否具有车轮（wheel），就很容易把摩托车和非摩托车区分，学习算法才能发挥作用。
摩托车的识别过程
∙浅层特征
任何事物都可以划分成粒度合适的浅层特征，而这些浅层特征一般就是神经网络第二层的输入。
比如我们收集了很多张照片，然后从这些照片中抽取400个方格，每个方格都是16×16的像素，这些方格的一部分可能是重合的。
然后随机抽取一张照片，从这张照片中抽取一个方格，这个方格也是16×16像素的，记为T，我们的目的是从之前抽取的400个方格中到一个与T最相似的方格，这个方格作为表示T的最佳方格。最后发现，这400个基本方格就是不同物体不同方向的边缘线，可以利用这400个方格得到其他图形。
换句话说，再复杂的图形都是由基本图形构件组成。
在语言识别领域就是，任一段声音都可以由多种基本声音结构组成。
浅层特征
∙结构性特征
小块的图形可以由基本的方格组成，更结构化具有概念性的图形就需要更高层的特征表示，比如V2，V4。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。