第4章神经网络基本理论.ppt
第四章第四章 神经网络基本理论神经网络基本理论College of Electrical and Information Engineering,Hunan Univ.24.1 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。代数和超过某个阈值，神经元将产生冲动。College of Electrical and Information Engineering,Hunan Univ.34.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。Wi为神经元与其它为神经元与其它神经元的连接强度，也称权值。神经元的连接强度，也称权值。College of Electrical and Information Engineering,Hunan Univ.44.1 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类：1）阈值型函数）阈值型函数0 x00 x1f(x)0 x10 x1f(x)College of Electrical and Information Engineering,Hunan Univ.54.1 人工神经元模型人工神经元模型2）饱和型函数）饱和型函数k1x1k1xk1kxk1x1f(x)3）双曲函数）双曲函数arctan(x)f(x)College of Electrical and Information Engineering,Hunan Univ.64.1 人工神经元模型人工神经元模型4）S型函数型函数0,x)exp(11f(x)5）高斯函数）高斯函数)bxexp(f(x)22College of Electrical and Information Engineering,Hunan Univ.74.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。College of Electrical and Information Engineering,Hunan Univ.84.3 感知器模型感知器模型感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，它是一个具有单年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。层计算单元的神经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否，否则为则为0或或-1。l它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。n感知器的结构感知器的结构College of Electrical and Information Engineering,Hunan Univ.94.3 感知器模型感知器模型n感知器的学习算法感知器的学习算法为方便起见，将阈值为方便起见，将阈值(它也同样需要学习它也同样需要学习)并入并入W中，令中，令Wn+1=-，X向量也相向量也相应地增加一个分量应地增加一个分量xn+1=1，则，则1n1iii)xWf(y学习算法：学习算法：给定初始值：赋给给定初始值：赋给Wi(0)各一个较小的随机非零值，这里各一个较小的随机非零值，这里Wi(t)为为t时刻第时刻第i个个输入的权输入的权(1in)，Wn+1(t)为为t时刻的阈值；时刻的阈值；输入一样本输入一样本X=(xi,xn,1)和它的希望输出和它的希望输出d；计算实际输出计算实际输出1n1iii)(t)xWf(Y(t)修正权修正权W：Wi(t+1)=Wi(t)+d-Y(t)xi,i=1,2,n+1 转到直到转到直到W对一切样本均稳定不变为止。对一切样本均稳定不变为止。College of Electrical and Information Engineering,Hunan Univ.104.3 感知器模型感知器模型根据某样本训练时，均方差随训练次数的收敛情况根据某样本训练时，均方差随训练次数的收敛情况College of Electrical and Information Engineering,Hunan Univ.114.4 神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。以描述。l 状态方程描述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。从而调整整个神经网络的输入输出关系。n分类分类（1）从结构上划分）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。上来说，主要分为层状和网状结构。College of Electrical and Information Engineering,Hunan Univ.124.4 神经网络的构成和分类神经网络的构成和分类层状结构层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。元单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。每个神经元从前一层接收输入，发送输出给下一层。College of Electrical and Information Engineering,Hunan Univ.134.4 神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。College of Electrical and Information Engineering,Hunan Univ.144.4 神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等（3）从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。有导师学习神经网络有导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。取出来。（4）从学习算法上来划分：）从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基于遗传算法的网络。College of Electrical and Information Engineering,Hunan Univ.154.4 多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由Rumelhart再次进行发展。再次进行发展。n 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿层）、输出层组成，信号沿输入输入输出的方向逐层传递。输出的方向逐层传递。College of Electrical and Information Engineering,Hunan Univ.164.4 多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的状态方程，用沿信息的传播方向，给出网络的状态方程，用Inj(i)，Outj(i)表示第表示第i层第层第j个神经元个神经元的输入和输出，则各层的输入输出关系可描述为：的输入和输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 iiixInOut)1()1(ni,2,1第二层（隐层）第二层（隐层）niiijjOutwIn1)1()1()2()()2()2(jjInfOutlj,2,1第三层（输出层）第三层（输出层）ljjjOutwInOuty1)2()2()3()3(Col
