董美雪
摘要:深度学习是机器学习的一种深度模式,本文从深度学习、机器学习和人工智能的关系论述开篇,用具有代表性的AlphaGo引入深度学习的含义,阐述了满足深度学习的先决条件,简要论述神经网络的运行模式及其应用。
关键词:深度学习,大数据,GPU加速,神经元
深度学习是机器学习的一种深度模式,谈到深度学习,就离不开谈机器人的发展现状。机器人是人类制造的替代人类从事某种作业的仿生性工具,发展到现代的机器人是一种机电一体化的自动装置。智能机器人以感觉为基础,以人工智能为特征,具有一定的逻辑判断能力和自主决策能力。促进智能机器人发展的核心要素便是人工智能。人工智能就是让机器具备观察和感知的能力,可以做到一定程度的理解和推理,甚至让机器获得自适应能力,解决一些之前没有遇到过的问题。如何让机器获得观察、感知、理解、推理和自适应能力呢?这种实现机器人智能化的方法路径就是机器学习,机器学习(Machine Learning)的本质是基于互联网的海量数据以及系统强大的并行运算能力,让机器自主模拟人类学习的过程,通过不断“学习”数据来做出智能决策行为。
深度学习的含义
那么,什么是深度学习呢?
深度学习是具有深层次神经网络结构的学习方式。
神经科学研究人员发现,人类大脑表现信息的方式是通过感觉器官捕获信号数据,从视网膜传递到一个复杂的层状网络模型,进而获取观测数据展现的规则,然后传递到大脑皮质再到运动神经;大脑皮质不直接提取处理来自感官获取的数据,而是根据经聚集和分解过程处理后的信息来识别信息。人类感官每时每刻接受到无法量算的庞大数据信息,却总能以灵巧方式获取其中想要的信息,这种明确的层级结构达到了人类的完美需求,极大的降低了来自感官的庞大数据量,并保留了其中有用信息的本质特征;智能机器人模拟人类这种具有深层次神经网络结构的学习方式就是深度学习。
满足深度学习的先决条件有很多种,大数据是必不可少的一个。随着物联网和互联网的发展与广泛应用,人们产生的数据量呈指数形式增长,平均每年增长50%。除了数目的增加之外,数据的维度也得到了扩展。这些大体量高维度的数据使得现如今的数据更加全面,从而足够支撑起深度学习第一步提取数据所需。
深度学习模型中单个的神经元(模仿生物性的神经元)不具有智能特征,但是大量的神经元基于联结就能够表现出智能。这种联结出的单个神经元所需硬件非常庞大,硬件GPU加速是一种新型计算模式,它利用大规模并行处理器来加速那些具备并行特点的应用程序。深度学习提取数据越广泛,得到输出结果越真实,硬件的并行处理必不可少。
深度学习中的神经网络
深度学习中的神经网络是由大量彼此相连、概念化的人造神经元组成的,这些神经元彼此之间传递着数据,相应的权重也会随着神经网络的训练而进行调整。神经元们有着激活的阈值,当它们遇到相应的数据以及权重时会被激活,这些被激活的神经元组合起来导致了“学习”行为的产生。神经网络是构成深度学习系统的框架。神经网络的任务是找到一个未知函数的近似表达方式,它是由彼此相连的神经元所组成,这些神经元会在训练网络的过程中根据误差来更改它们的权重和偏置。激活函数将非线性变化用线性变化的组合来表示,最终产生输出[1]。
(1) 神经元(Neuron)
神经元是人类大脑神经系统的基本组成单元,模拟人类大脑的智能机器人所具有的深度学习系统,同样具有由神经元组织而成的神经网络。该神经网络接收到输入的信号,就是经由神经元处理,然后把所得信息直接输出或者传递给其它的神经元。
(2)权重(Weights,以下图示中用缩写字母W表示)
当输入信号进入到神经元后,会被乘以相应的权重因子。每个神经元接收到的每个输入信号,都有与之相应的权重因子。初始权重数值会被随机设置,然后在训练模型的过程中根据实际输出结果与预期目标结果的差别程度进行调整重置。
(3) 偏置 (Bias,以下图示中用缩写字母b表示)
用以灵活调整输出结果的另外一种线性处理叫做偏置。
如下图1所示,如果输入值向量为 16xX={x1,x2,鈥?/m:t>,xn}'> ,相应的权重值向量为 16wW={w1,w2,鈥?wn}'> ,偏置值为b,那么该单个神经元的最终输出值为 16c=X*WT锛?/m:t>b(x脳w<>锛?/m:t>
b)'> 。
(4) 激活函数
之前线性处理之后的输入信号通过激活函数进行非线性变换,从而得到输出信号。即最后输出的信号具有 16f(x?梬X*WT锛?/m:t>b)'> 的形式,其中 16f(路)'> 为激活函数。
在下面的示意图中,设 16Xk={X1鈥?/m:t>Xnx1,x2,鈥?xn}'> 等 16n'> 个输入分别对应着权重因子 16Wk={wWk1,wk2,鈥?<5rP/m:sSubPr>wdatkn}鈥kn'> 以及相应的偏置 16bk'> 。我们把输入 16xi'> 乘以对应的权重因子 16wW:aski'> 再加上 16bibk
, ,