9512.net
甜梦文库
当前位置:首页 >> >>

时间序列预测模型及其算法研究



四川大学 硕士学位论文 时间序列预测模型及其算法研究 姓名:罗凤曼 申请学位级别:硕士 专业:模式识别与智能系统 指导教师:古钟璧 20060430

摘要

时间序列预测模型及其算法研究
模式识别与智能系统专业 研究生:罗凤曼
导 师:古钟璧

在自然科学和社会科学各领域中,大量决策问题离不开预测。预测是决策 的基础。解决预测问题的最有力的方法是发现、揭示给定动态过程或现象背后 的规律。实际中,有关事物的信息经常是不完全的,有关的理论也是不完善的, 人们对事物的了解仅限于观测数据,即时间序列,因此只能利用现有的历史数 据构造模型,进而预测未来.


本文首先介绍了时间序列预测目前采用的方法与各种预测模型。介绍了这 些方法与模型的性质特征,总结出目前的方法与模型在处理非线性系统的预测 方面的特点与需要改进的一些方面:然后介绍了近些年兴起的神经网络尤其是 前馈神经网络(BP神经网络)在非线性预测模型方面的应用及表现出来的良好 的特性与优势,同时也指出BP神经网络预测模型及其在训练算法方面的一些
固有缺陷:BP神经网络是一种静态的网络,没有时间处理能力,所以不能进行

时间序列模式的识别:标准BP算法收敛速度慢、易落入局部极小点。针对这些 缺陷,本文提出采用线性AR预测模型良好的对时间序列的模式识剐能力束进行 识别,构造出具有代表性的样本训练神经网络;同时在分析了标准遗传算法的 主要缺点的基础上,对标准遗传算法(SGA)进行了改进没计。然后用改进的遗 传算法(IGA)来优化网络的初始权阈值,最后采用L—M(Levenberg—Marquardt) BP算法来进行网络的训练与寻优。这样,既运用了AR模型良好的模型辨识能 力,又发挥了神经网络良好的非线性映射能力,还综合了遗传算法的全局优化 能力,从而使构造的预测模型更加实用、特性更好。 本文将所构造的模型与所设计的算法应用到都江堰灌区渠首氓江上游来水 预测中,并通过大量的实验与仿真,实验结果表明.本文所设计的模型与算法

摘要

是可行的,且预测效果比传统的线性预测模型以及未经过算法改进的神经网络 预测漠型都好,从而验证了本模型与算法的可行性、有效性和优越性。此外,

本模型及算法为时间序列的预测提供了一种预测的方法.具有较好的参考价值。
关键词:时间序列预测
(SGA)

非线性自回归神经网络L船P算法标准遗传算法

改进遗传算法(IGA)

II

AbsliracI

Study

on

the Model and Algorithm of Time Series Prediction

PaHern Recognition and Intelligent System

Graduate:Luo Fengrnan

Tutor:Gu Zhongbi

In each field of natural science and social science,n great deal of decision

problems

can

not get away from the
to

prediction which is the foundation of the

decision.The best method
out

settle down prediction problems iS to detect and fred
state

the law in the dynamic
is usually

process

or

phenomenon.In natural,the
the relative

needed

information

insufficient,also

theories.The people’S

tmderstandIng to the thing is limited by the observed data mamely time series.So We
Call

make

use

ofthe e】(isting history data tO establish
current



model to predict the future.

Firstly,in this paper,introduces the series ways

ways and models that the time the aspects that the current

prediction

adopt and the character
are

and summarizes

and model

needed to be

improved

in the nonlinear system prediction. advantages of the artificial neural the

Secondly,Introduces the 900d character
networks

and

especially

feed forward neural network(BP Neural

Network)in

application of the nonlinear prediction

models.Then,points
and
no

out

the weaknesses

which exists in the BP Neural Network prediction model The BP neural network is time
SO a

its training algorithm: processing ability of

kind of static network that have

that it call’t identify the time series

model.The

standard BP algorithm is

slowly

constringency

and is easy falling into the local minimum


points.Aiming

at

these weaknesses,the paper presents
model which is used to

good identify ability of the AR prediction

identify

the time series

and

set up

the representative training the analyzmg the main

samples in the

BP

Neural

Network.Meanwhile,based
nl

on

Abstract

defects of the Shfmdard Genetic

Algorithm(SGA),designing Improved

Genetic
at

Algorithm(IGA)and
last,adopting

using it

to

optimize initial weights of neural network,and
algorithm

L-M(Levenberg-Marquardt)BP

to training BP neural

network to find the best optimized recognition capability,BP Neural

point.Thus,by using

of AR

prediction

model’s

Network prediction model’s good

nonlinear

renection ability and genetic algorithm’s overall optimize ability,the model that this paper
constructs

is better practical

and has betIer qualities.
model

Applying the designed

prediction

and algorithm

to

the

prediction


ofthe

Ming river’s incoming water,head ofDujiangyan irrigation
experiments

areas,and

great deal of

and

simulations show that the model and its algorithm is feasible,the

prediction result is better than the network prediction ways

traditional

linear prediction ways and neural and its

without improved algorithm.So,the model

algorithm
algorithm

are feasible,useful provide


and ascendant.In

addition,this model and its

kind of method for time series prediction and have the better

reference value.

Koavords:Time Series Prediction,Non_linear Autoregressive Neural Network Levenberg-Marquardt Back-Propagation(LMBP)Algorithm,Standard Genetic

Algorithm(SGA),improved Genetic Algorithm(IGA)

1绪论
1.1课题提出及意义【1][2101141[5】【6】
对于预测对象的所有已知资料只有对象随时问变化的历史资料的场合,时
间序列分析预测法是系统预测的最基本的方法.近年来,时间序列建模及预测

一直是学术研究和实际应用领域的研究热点。如自然领域的河水来水量预测、 流域降水量预测,太阳黑子数预测等,社会领域中城市交通量预测、某一地区 人口增长量预测,医院门诊量预测等,经济领域中的股市价格预测、国民收入 预测、产品价格预测等。根据对许多有关时问序列预测方面的资料的分析和研 究,人们逐渐掌握了一些建模及预测的基本规律。有两种建立时问序列预测模 型的方法:如果数据闻满足线性关系,可以用传统的建模及预测方法,如自回归 CAR),滑动均值(MA)以及混合自回归滑动均值(ARIMA),即假设一组时间序列的 未来值线性相关于其历史值。反之,若数据关系是非线性的,针对某些特殊情 形,采用非线性建模的方法,但有时候仍旧用线性模型来近似拟合非线性时间 序列,但这种方法是比较粗糙的。由于线性模型易于建立和运行,也便于理解
和解释,故人们通常也用线性预测方法来解决现实世界中的许多问题。对于线

性时间序列,传统的时间序列预测方法是很有效的。然而。现实世界中也存在 许多非线性的问题,再用传统的线性预测方法不能很好的处理复杂的数据关系,
从而导致预测精度不高。为了改进对于非线性系统的预测,人们己经提出许多

非线性时问序列建模的方法。比如:双线性模型、阈自回归模型(TAR),滑动变 换自回归模型(STAR)唧】等,这些时间序列模型在解决某些非线性问题时是有 用的,但这些非线性缺乏普遍性。20世纪80年代神经网络的崛起,为解决非 线性的问题提供了一条良好的途径。因此,从90年代开始,神经网络在非线性 领域的研究与应用非常广泛。人工神经网络用于预测的最大优点在于它不需要 设计任何数学模型,只要通过过去的经验对历史数据的训练和学习,网络就能 够“模拟”并“记忆”输入变量和输出变量之问的任何复杂的“函数”关系,
处理各种模糊的、非线性的含存“噪声”的数据,并通过“联想”来实现预测。

但是,神经网络算法易陷入局部最小点的固有缺陷,会导致预测结果的不稳定


四jII上学顾十学位论文

与影响预测精度的提高。因此,对神经网络算法的研究也是目前的一个研究热 点。随着遗传算法作为具有系统优化、适应和学习的高性能计算和建模方法的 研究渐趋成熟,遗传算法为解决全局优化问题,提供了比较理想的方法。因此, 将遗传算法用来优化神经网络也已成为目前研究的热点。如何结合线性和非线
性时间序列预测模型的优点,建立实用性和通用性更好的时间序列预测的方法 和模型,在理论上和实用上都具有1}常重要的意义。

1.2研究现状【4l【51
自从1970年Box和Jenkins的著作《时间序列分析、预测和控制》问世以 来,逐渐形成了一整套时阃序列模拟、估计、建模、预测和控制的理论和方法,

在动态数据的处理分析、复杂信息的加工提取、预测未来和在线控制等方面显
示出传统的数理统计静态处理手段无可比拟的优越性。这本著作奠定了时问序 列分析方法在科研、经济、社会等各领域中旺盛的生命力。

按系统本身的性质划分,有线性系统和非线性系统。相应的有线性模型和
非线性模型。线性模型如自回归模型(AR)、滑动平均模型(MA)、自回归滑动 平均模型(ARIdA)等,线性模型概念清晰、发展已比较成熟,国内外已有许多 用线性模型进行预测的实例。国内应用方面,袁振洲p11在分析铁路货源货流数

据的内在规律及其时间序列特性的基础上,提出应用自西1归积分移动平均
(ARIMA(P,d,q))模型预测其发展趋势的理论依据,采用ARIMA方法对1989~

1994年北京局铁路的货运总量煤炭进行了预测,通过对各种方法预测结果的综 合比较和分析,ARI,MA(p,d,q)模型的预测效果令人满意。徐峰【42l等提出采 用时间序列AR模型进行震动趋势预测,将现场测得的非平稳振动序列通过 ARIMA模型和标准化处理,转化成标准正态平稳时『日J序列,模型参数估计使用 了方法简单、参数估计无偏、精度离的最小二乘法,通过现场实测数据进行验 证,计算结果表明AR模型能够很好地拟合振动信号时间序列并取得了一定的预
测精度,可以达到预测要求.然而,实际的系统线性是相对的,非线性是绝对

的。当非线性因索的影响较小,或在某一范围内影响较小时,可以用线性模型
来描述,但当这种描述或逼近得不到令人满意的结果时,就要应用非线性时序 模型,或其它的任何非线性方法。非线性预测方法主要指两个方面.一是对非


线性物理系统进行背景分析和研究,针对不同的非线性特征采用相应的非线性 模型:二是采用一些非线性的迭代、学习模型来拟合比较复杂的时间序列数据。 显然,非线性现象最好用非线性方法来描述。非线性模型与线性模型比较,其
使用范围要广泛的多。因此,目静对预测的研究热点就集中在非线性模型和方 法上面。 随着人工智能技术的发展,人工神经网络(Artificial
Neural Networks,

ANN)已得到了日益广泛的研究和应用,它的广阔前景在于其良好的预测性和实

用性,其发展潜力巨大。基于神经网络的时间序列预测方法是神经网络近几年 形成的一个分支,正得到快速发展。90年代中期,美国Frontier
Financial

公司利用神经网络来对股票市场进行预测,再由专家给出相应的建议等。国内 也有神经网络在预测分析领域中实际应用的一些探讨。杨红卫等【4习建立了基于

神经网络的毫米波雨衰减预测模型,并将结果与CCIR模型进行分析比较,说明

此模型能够降低平均误差和均方差;吴微和陈维强MI将反向传播神经网络(BP)
应用于沪市综合指数涨跌的预测,表明人工神经网络应用于股票市场的预测是 可行的。有着良好的前景.在神经网络趋势预测的研究与应用方面,施式亮等 【45】指出传统的预测方法存在的缺陷。应用神经网络建立了时间序列的矿井安全
性预测模型,提高了安全预测的精度。

神经网络模型的训练问题实际上是一种优化问题,即寻找最优的连接权值, 神经网络尽快收敛。而人工智能另一学科遗传算法正是一种非常好的全局优化 算法,因此,随着遗传算法的发展,它与神经网络结合用来优化神经网络的收 敛速度和精度有着广阔的应用前景。基于遗传算法的神经网络时序预测模型也
在逐步的探索中。

1.3人工神经网络与遗传算法发展概述【7卜【13】
本文采用线性理论中的AR模型分析方法与非线性模型中的神经网络模型

相结合,并采用遗传算法对模型的算法进行优化来进行时间序列的建模与优化。 由于AIi模型发展比较成熟,因此主要对神经网络和遗传算法的发展进行概要介
绍。

自从1943年心理学家WcCulloch和数学家Pitts提出MP神经元模型以来,


四川大学硕}学垃论文

神经网络的研究已有60多年的历史,走过了一条曲折而不平衡的发展道路,几 经兴衰。作为人工智能的神经网络系统的研究则是从20世纪50年代末60年代 初开始的。1957年,Rosenb[att提出了感知器(Perceptron)模型,试图模拟 动物和人脑的感知和学习能力,并提出了引入隐层处理元件的三层感知器的概 念。1960年,Widrow和Hoff引入了最小均方差(Least Mean--Square,L烙) 算法,并用他系统阐明了自适应线性元件(Adaline)模型及提出了一种有效的

学习方法Widrow-Hoff学习规则。从而在60年代,掀起了神经网络研究的第一
次热潮。1969年IVl.Miskey和S.Papert发表了名为“perception”的专著.

他们在专著中指出,简单的感知器的功能是有限的,它无法解决线性不可分的
两类样本的分类问题。它使整个70年代神经网络的研究处于低潮。直到80年 代初期,1982年和1984年美国物理学家J.J.Hopfield发表了两篇神经网络的 文章,提出了Hopfield网络,指出利用该网络可以求解联想记忆和优化计算的 问题;1986年D.E.Rumellhart和J.L.Mcclelland等人提出了多层前馈网络的 反向传播算法(Back Propagation),简称BP网络或BP算法,该耸法解决了感 知器不能解决的问题,Hopfield网络和BP网络及算法的提出,第二次掀起了 一股竞相研究开发神经网络的热潮。如今,神经网络的研究进入一个新的发展

时期,它的应用研究几乎覆盖了所有的领域,吸引了很多国家的科学家、研究 机构及企业界人士等,大量的有关神经网络机理、模型、算法特性分析,以及 在各方面应用的学术论文象雨后春笋般在报刊杂志上和许多国际学术会议中涌 现,神经网络以及建立在神经网络原理基础上的神经计算机成为当代商科技领
域中方兴未艾的竞争焦点。 为了借鉴自然界生物进化中自然选择和自然遗传机制来达到自学习与优化 的目的,遗传算法最早是由美国Holland教授于1962年提出,试图从生物进化 机理中发展出适合于现实世界复杂优化问题的模拟进化算法(simulated
evolutionary

optimization)。随后,Holland在1975年出版了遗传算法方面
in Natural and Artificial

的经典著作“Adaptation

Systems”,该书系统的

阐述了遗传算法的基本理论,发展了一整套模拟生物自适应系统的理论,标志 着遗传算法作为计算智能的一门分支科学的正式诞生。同年,De Jong在他的 博士论文“An
analysis of the behavior of


class of genetic adaptive

systems”中对Holland的模式做了大量严格的计算实验,得出了明确的结论,

建立了著名的De Jone五函数测试平台,对遗传算法的六种方案的性能进行了

详细的实验和分析,为后继者提供了研究范例,并为以后的广泛应用奠定了呸 实基础,其成果成为可遗传算法发展过程中的一个重要基程碑。从那以后,遗
传算法逐渐发展成为一种通过模拟自然进化过程解决晟优化问题的计算模型,

适合用j二解决科学研究和工程实际所遇到的各种搜索和优化问题。近几年来, 遗传算法已经有了很大的发展,并不断地向其他学科和领域渗透,有关遗传算 法、神经网络的结合与应用研究已经成为智能系统领域一个十分引人注目的研 究动向,从而构成了一种新型的智能系统整体优化的结构形式。

1.4主要工作和内容安排
如前面所述,时间序列分析方法很多,线性和非线性型模型都是可行的, 理论上非线性模型的预测精度高于线性模型的预测精度。对于较为复杂的系统,

由于其具有很强的非线性特性,常常会遇到预测精度不够理想的情况,这也是 实际预测中的难题。提高时间序列的预测精度,也是国内外从事此领域的科研 工作者不断追求的。因此本文根据线性理论和非线性理论,采用线性自回归模
型和BP(Back Propagatiou,简称BP)神经网络模型相结合构建预测模型,然 后采用BP训练算法、遗传算法(Genetic Algorithms简称GA)相结合,提出

了一种混合训练方法:对标准遗传算法进行改进,提高遗传算法的寻优效率; 对标准BP算法加以改进,提高神经网络的训练和收敛速度。然后用改进遗传算
法优化确定BP神经网络的初始权闽值,确定一个较好的搜索空间,然后再由改

进BP算法在这个解空间垦对网络进行讥练学习至收敛。从而实现三者的优势互
补,发挥自回归模型的辨识能力、自回归神经网络的广泛映射能力和遗传算法 的全局搜索能力。并将基于改进遗传算法和改进BP算法的非线性自回归BP神 经网络预测模型应用于都江堰灌区渠首岷江上游来水预测中,并通过~IATLAB

环境仿真来验证该模型的可行性与实用性。 本文研究工作的主要研究内容包括:
?

第一章介绍了课题背景和意义,阐述了该课题国内外的发展和现状,并综 述了人工神经网络和遗传算法的发展概况,在此基础上,提出了本文所做的主
要工作。


四川大学硕}学位论文

第二章本章系统学习和介绍了自回归(AR)模型、人工神经网络和遗传算

法的基础理论,从而为时『日J序列预测的模型建立及算法优化提供了理论依据。
第三章详细介绍了时间序列的AR(p)预测模型的辨识方法和BP神经网络 预测模型的结构确定方式选取,并基于AR模型的辨识能力和BP神经网络模型

的非线性映射能力,建立了时『日J序列的非线性自酬归BP神经网络预测模型
(NARBP预测模型)。 第四章分析了所建立的NARBP预测模型在算法方面需要研究的方面;从搜 寻到全局最优点的角度,提出了采用遗传算法和BP算法的结合算法,并对标准 遗传算法(SGA算法)进行改进,设计了改进遗传算法(IGA算法),最后给出 了IGA算法和LMBP算法相结合的优化算法对上章所构建的预测模型进行算法优 化的步骤。 第五章结合本人在研究生期间所作课题:都江堰灌区闸口岷江上游来水预 测项目,介绍所构建的[GA—NARLMBP预测模型在河水来水预测中的应用。 第六章对本文所做的工作做了总结,并指出进一步需要研究的方向与工作。

1.6本章小结
本章阐述了时间序列预测模型和方法在国内外的发展和现状,并综述了人

工神经网络和遗传算法的发展概况,在此基础上,提出了本文所做的主要工作。



理论基础



理论基础

2。1引言
传统的时间序列分析与预测理论以线性自回归(AR)模型和线性自回归滑 动平均(Ag~IA)模型为基础,对线性系统有较好的效果,但不适合于非线性系

统的时间序列建模与预测。而神经网络技术的出现,为非线性系统的时间序列 建模与预测提供了新的方法。而遗传算法为神经网络的全局寻优提供了良好的 途径。本章介绍利用自回归(AR)和神经网络进行非线性系统的时问序列建模 与利用遗传算法进行模型算法优化的基础理论。

2.2线性ARMA模型和最优预测引21【3】
时间序列的预测问题涉及到利用过去观测到的观测值预测当前与未来观测

值的随机模型构造问题。在统计学中常常使用具有随机输入的线性随机差分方 程来描述。目前最重要,也是最常用的是线性自回归滑动平均(ARMA)法。
APmtA法,是以美国统计学家Geogre E.P.Box和英国统计学家6Wilym

M.Jenkins的名字命名的一种时间序列预测方法。其预测模型分为:自回归模 型(简称AR模型)、滑动平均模型(简称MA模型)和自回归滑动平均混合模型 (简称AEtnA模型).它的基本思想是:将预测对象随时间推移而形成的数据序 列视为一个随机序列,即除去个别的因偶然原因引起的观测值外,时间序列是 一组依赖于时问t的随机变量。这组随机变量所具有的依存关系或自相关性表 征了预测对象发展的延续性,而这种自相关性一旦被相应的数学模型描述出来, 就可以从时间序列的过去值及现在值来预测其未来值。

2.2.1线性ARMA(p.q)模型

用于预测的最~般模型是线性ARMA(p,q)模型


四川夫学硕}学位论文





趾H善鸺一萎巩钆产
J=l

,’l

(2.1)
IZ.1,

其中,p,g为模型阶次,纪为模型参数。设E(qIr+Z。…)=0,即‘为0
均值,独立且同分布,与过去的r无关的随机变量。在整个过程中B有有限方 差or2。,为截断值,通常对一个零均值的随机过程】:,截断,为0。

2.2.2最优预测器 预测理论的中心足最小均方误差意义下的最优预测。对于给定的无穷多个 过去观测值,如果条件均值存在,最小均方误差预测器就是条件均值,即

l,=E(霉l Yt-m,‘一2,..●
均方误差预测器为



(2.2)

在实际应用中,人们仅能得到有限的过去观测值巧+r-I,…,K,此时,虽小

矿=耳XI‘.。,耳.。,…,I)

(2?3)

2.2.3最优AR(p)预测器

由于AR建模比MA和ARMA建模在计算上要简单,而且一个姒或AleXIA模型
可以用一个足够高阶的AR模型来近似,因此,AR模型是使用的最广泛的线性 预测模型。 ttR(p)模型是AR姒(p,q)模型的特殊情况

E=中1Z—I+eD2r,一2+…+m,‘.,+Pf
相应的最优预测器为

(2.4)

霉=olr-1+‘D2r一2+…+巾pr.p

(2-5’

理论基础

2.3人工神经网络‘51川【1s1
2.3.1人工神经网络基本概念 人工神经网络(Artificial
Neural

Networks,缩写ANN)是对人脑若干基本

特征通过数学方法进行的抽象和模拟,是一种模仿人脑结构及其功能的非线性 信,息处理系统Il”。人工神经网络具有高速的大规模并行处理特性,高维的非线

性动力特性,高度的容错性和鲁棒性,信息存储的分布特性,自组织、自适应、
自学习的非定常性,联想记忆的非定常性等。 随着人工神经网络理论研究的不断成熟,神经网络的发展进入了一个新时

期,应用研究也得到迅速发展,其应用领域包括:建模、时间序列分析、模式 识别和控制等,并在不断的拓展。进入20世纪90年代以来,人工神经网络作 为新学科、新方法和新技术,在自然科学和社会科学各个领域得到了广泛的应 用.取得了许多丰硕的成果。神经网络研究也随之得到飞速发展,各种网络结 构和算法系统应运而生,逐渐形成了较为完善的人工神经网络理论体系。人工 神经网络作为一种数学算法体系,已经解决了许多实际问题,它的生命力也恰
好在于其广泛的应用价值。

2.3.2人工神经网络的模型 人工神经网络是由大量处理单元广泛互连而成的网络,是人脑的抽象、简 化、模拟,反映人脑的基本特征。一般说来,作为神经元模型应具备三个要素: 1、具有一组突触或连接,常用W表示神经元i和神经元j之问的连接强度,

或称之为权值。与人脑神经元不同,人工神经元权值的取值可在负值与正值之
间。 2、具有反映生物神经元时空整合功能的输入信号累加器。 3、具有一个激励函数用于限制神经元输出。激励函数将输出信号压缩(限 制)在一个允许范围内,使其成为有限值,通常,神经元输出的扩充范围在[0,1] 或[-I,I]闭区间。


网川大学碗t学位论文

最早的神经元模型是1943年由荚国心理学家McCulloch和数学家Pitts提
出的帅模型。而现在最为常用的神经元模型如图2.1所示,其中^,X2,…,矗为

从其它神经元传来的输入信号,q为神经元的闽值,K为神经元f到神经元,的
连接权值.厂(?)为神经元的传递函数或激励函数。该神经元模型的输入输出关 系为


,J=∑b一一q=∑%XI(X0=q,Wj。=一1)
i-1 j?O

(2.6)

Y,2f(s』)

(2.7)

图2.1人工神经元模型

激励函数是一个神经元及网络的核心。神经网络解决问题的能力与功效除

了与网络结构有关,在很大程度上取决于网络所采用的激励函数。激励函数的 基本作用有:①控制输入对输出的激活作用;②对输入、输出进行函数转换; ③将输出幅度限制在一定范围内,如[O,1]或[一l,1]等。常用的基本激励函数有
阈值函数、分段线性函数和Sigmoid函数。

2.3.3人工神经网络的分类 可以从不同的角度对人工神经网络进行分类,如: 1、按拓扑结构分类:前馈网络、反馈网络和混合网络:



2、按学习方式分类:有监督学习和无监督学习:
3、按连接方式分类:线性关联网络和非线性关联刚络:

4、按应用对象分类:模式识别、预测预报、方案优化、智能控制和智能决
lO

理论基础

策: 5、按神经网络算法的不同分类:Back Propagation(BP)网络、Hopfield 网络、Gauss机等。

2.3.4人工神经网络的运行过程

对于各种具有不同拓扑结构的人工神经网络而言,其运行过程大致上可以 分成两个阶段:第一,网络的学习(或称之为训练);第二,网络的联想。
1、学习过程

网络的学习过程就是通过不断地向网络输入一些样本模式,网络遵循一定 的学习规则,来不断地调整网络的各层权重,使网络的输入和输出以一定精度 向给定的样本模式逼近。学习的实质就是网络通过输入和输出信息识别存在于
样本信息问的内在规律。 学习的方法可以分为两种:一种为有监督学习(Supervised Learning)或称 有教师学习;另一种为无监督学习(Unsupervised Learning)或称无教师学习。 (1)有监督学习 有监督学习是给定一组输入、输出作为样本模式,网络根据学习规则不断

地调整网络的权重,使网络的实际输出与样本的期望输出之间的误差降低到允
许的精度。有监督学习常用来进行系统规律的映射。 (2)无监督学习 无监督学习的样本模式中不包含期望输出,网络完全按照样本所提供的某

些统计规律来调整网络自身,以获得输入信息的某些固有特征,如聚类和统计
上的分布规律。无监督学习常用于信息的分类。

不同拓扑结构的神经网络,甚至相同结构的神经网络,因其学习规则的不
同,神经网络的功能各异。 2、学习规则 网络中的每一个神经元都是一个自适应单元,它的权霍是可以调整的。权 重调整方法的不同,便产生了各种各样的学习规则。

图2-2描述了网络中神经元节点j的权重Wj的调整情况。

四川大学硕}学位论文

Xl

x2



图2—2神经元节点权重的调整情况

学习信号r定义为:

贮r(wJ,x,~)
式中tj代表示教信号。

(2.8)

△%表示第j个神经元节点的权重增量,可定义为输入向量x、学>21
信号r以及学习率”三者之积的形式:

△W邗r(wJ,X,tj)Xx
第j个神经元节点在下一迭代中对应的权重可表示为:

(2.9)

wj(t+1)2W(t)+△wJ(t)
3、网络的联想

(2.10)

完成训练的神经网络己经将学习样本的信息存储于网络之中,这样的网络

已经具有映射功能。通过某种方式,使已经存储在网络中的有关信息从输出层
复现出来的过程,称为网络的联想。不同网络的联想方式也不同。前馈联想: 输入的激励模式只需一次性通过权重矩阵,就可以产生所需的响应,即输出模

式;反馈联想:输入的激励模式通过网络产生的响应,作为下一次激励再输入
网络,这样依次循环,直到输入、输出均不再变化为止。


2.3.7

BP神经网络及其学习算法

人工神经网络的模型众多,从20世纪40年代开始,先后提出了数百种人
12

理论基础

工神经网络模型,不同的模型有不同的学习算法。本文仅介绍前馈神经网络中
的BP网络(Back
Propagation

Network)及其BP算法。
Neutral

BP神经网络(Back-Propagation

Network)通常是指基于误差反

向传播算法(BP算法)的多层前向神经网络,采用有教师的训练方式。它是
D.E.Rumelhart和J.L.McCelland及其研究小组在1986年研究并设计出来的。 BP网络能学习和存贮大量的输入一输出模式映射关系,而无需事前揭示描述这

种映射关系的数学方程。由Kolmogorov定理f19】(给定任一连续函数

,:胪o∥,y=厂(x).这里R是闭区间[0,1],厂可以精确地用一个三层前向网 络实现逼近。)和BP定理flJl(给定任意g和上2在范数下:f:【0,lr--->R4,存在
一个三层BP网络,它可以在任意占平方误差精度内逼近f。)知:三层的BP网络 可以以任意的精度逼近任意的非线性函数。BP网络的学习规则是使用梯度下降

法.通过反向传播来不断调整网络的权值和阅值,使网络的误差平方和最小。
BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层 (output layer)。BP算法的学习过程,由正向传播和反向传播组成。在正向传

播过程中,输入信息先向前传播到隐节点,经过激励函数后,再把隐节点的输 出信息传播到输出节点,最后给出输出结果。每一层神经元的状态只影响下一
层神经元的状态。如果在输出层不能得到期望的输出,则进入反向传播,将误

差信号沿原来的连接通路返回,通过修改各层神经元的权值,使误差信号最小。
BP算法主要是解决多层神经网络的网络训练问题。

对于多层神经网络的输出

层,很自然的可以用理想输出和实际输出之阃的差异来进行训练,而对于隐含
层,只能知道隐含层的输出,而无法知道隐含层的理想输出,如果没有合适的 方法,就无法进行监督型学习。BP算法的发明,很好的解决了这个问题,由

已知的输出层理想输出,推导出隐含层的学习法则。另外,BP网络之『日J的关联 信息分布式存储于各个连接权中,由于神经网络中连接权的个数很多,个别神 经元的损坏只对输入输出关系产生较小的影响,这样,在缺失样本与参数的情

况下也能保证较稳定的输出,因此,BP网络还显示出了较好的容错能力刚。
设一个有四层的神经网络,其中输入输出各一层,两层隐藏层。如图2--
3:

四川大学顿}学位论文

adjust"ight
图2-3卯神经网络模型

由图2--3的网络模型可见,设各层的激励函数分别为工,正,^,w为连接
权值符号,‘p为阂值符号,则在正向传播算法中,第一个隐层第J个神经元节

点的输出为:

也,,=Z[∑Ⅵ≯五+(pCO(.)】
I;I

(2?11)

第二个隐层第m个神经元节点的输出为:
目l

瑚.。=姒∑wj。x“’㈣+cp乜’(.)】
J=-

(2?12)

输出层第k个神经元节点的输出为:
n2

瑞,I=n∑‰x“’Ⅲ+cp‘3)(.)】
m=1


(2.1a)

表示网络的即时误差的能量方程是:

毛=三饥一础)7(%~瑚)=;耋(%一盘):=;窆弓
在反向传播算法中,网络权值的学习规则是;

(2.14)

其中%表示对于第口个模式的磊络理想输出,瑶≤l网络的实际输出。

叫?~,7。’巍
s21,2,3,4代表相应的网络层,r/<’J>O是学习效率参数。 则对于输出层(输出层的神经元j):

(2.15)

衅’刮”器一矿器荔(链式法则) 其中荔=寿驷器)哦
层的权值学习法则县.

‘(2.16)


器=番咕喜‰一P修)J2}=乜叫垆№伸净辞”
∥表示妒的一阶导数,碍”定义为第j个神经元的局部梯度。因此对于输出

△哆’(Ji}+1)=蟛’(t)+J70’《”熘,
对于隐藏层(神经元k属于输出层,神经元j属于隐藏层1

(2.17)

其中

吣)_叫∞嚣刮卸参筹 善=赤c委啄’础,,=础,

(2.18)

四…大学顽十学位论史

参=亳42溉kol唱]一‘}眷---oto,j 刚2’呓…产椰…∽” =南t三2批kffil吲蛳jffio删,势
=一【∑()知一础j)妒7(以”)w铲】伊’(’{2’) =一(∑矽蜡1)妒’(t21)
=一彰2’
因此,对于隐藏层,我们有:

AW,(21(七十1)=W,(2’(≈)+俨一2’础J
总的来说:

(2.19)

咄’(I+1)=嵋’(t)+口‘”彰”X。(S-,I’
对于输出层来说:

(2.20)

《”=(%一槛,)∥(哆’)
对隐藏层来说:
”.+l

(2.21)

掣=(∑鹾””嵋“’)妒’(∥)
tzl

(2.22)

BP算法的实现步骤日丁归纳如下: 第一步:初始化权值和闽值:


第二步:对样本信息进行训练:

Stepl.给出输入信息向量X和目标向量YJ Step2.对输入X进行标准化, Step3.计算隐含层和输出层的实际输出, Step4.求目标向量与实际输出的偏差,
Step5.若误差在要求内到SteplO, Step6.计算隐含层单元误差, Step7.求误差梯度,

Step8.对权值和闽值进行修改,将误差信号沿原来的连接通路返回,通过

理论基础

修改各层神经元的权值,逐次地向输入层传播去进行计算。再经过正向传播过
程,这两个过程反复进行使得误差信号最小, Step9.回到Step3,


Stepl0.计算全部误差是否满足要求,若满足则学习结束,否则回到Step6;
第三步:输入信息向量x,经仿真计算预测输出向量Y。

从以上的理论和分析中可以总结出,基于BP算法的神经网络具有理论上
的完善性和广泛的实用性。

2.3遗传算法酬7】【16l【1 7】
2.3.1遗传算法基本概念与特点 遗传算法【【21【nI CGenetic Algorithm,简称GA)的概念最早由美国的Holland

教授在1975年提出,是一种模仿生物界的遗传和进化过程而建立起来的一种自 适应概率性搜索算法和非导数的优化算法,体现着“生存竞争、优胜劣汰、适 者生存”的竞争机制。自从它发展起来,一直是优化领域的研究热点,并且正 广泛的应用到各个领域,如模式识别、神经网络、工业控制、智能规划等。特 别对许多用传统技术难以解决的复杂优化问题.遗传算法提供了一条行之有效 的途径。大量的应用结果已经证明遗传算法具有极强的计算能力。经过多年的 发展,它已经成为~种切实可行的、鲁棒性强的优化技术和搜索方法。
遗传算法作为一种快捷、简便、容错性强的算法,与其它寻优算法相比, 具有以下特点:

I、遗传算法是对解集的编码进行运算,而不是对解集本身进行运算; 2、遗传算法的搜索始于解的一个种群,而不是某些单个解; 3、遗传算法只用适应度函数来评价解的优劣;
4、遗传算法采用的是概率搜索,而不是路径搜索。

遗传算法具有如下优点:
l、广泛的适用性.遗传算法是模拟生物界而构造的一种自然算法,以概率

为主要手段,不涉及复杂的数学知识,亦不关心问题本身的内在规律。因此, 遗传算法可以处理任意复杂的目标函数和约束条件。
J7

四川大学颈十学位论文

2、全局优化。由于遗传算法不采用路径搜索,而采用概率搜索,所以足概 率意义上的全局搜索。因此,解决的问题无论是否为凸性的,理论上都能获得 最优解,避免落入局部极小点。

2.3.2遗传算法的基本思想和构成要素 2.3.2.1遗传算法的基本思想与结构
遗传算法的基本思想是从一组随机产生的初始解,即“种群”P(t),开始

进行搜索,种群的每一个个体,即问题的一个解,称为“染色体”;遗传算法通 过染色体的“适应值”来评价染色体的好坏,适应值大的染色体被选择的几率
高,相反,适应值小的染色体被选择的可能性小,被选择的染色体进入下一代; 下~代的染色体通过交叉和变异等遗传操作,产生新的染色体,即“后代”c (t);经过若干代之后,算法收敛于最好的染色体,该染色体就是问题的最优 解或近优解。其工作流程如图2—4所示。 遗传算法的一般结构可以描述如下:
begin


t—O

初始化P(t) 评价P(t) while(终止条件不满足)do
begin

重组P(t)以产生C(t) 评价C(t) 从P(t)和C(t)中选择P(t+1)


t—tq-l
end end

理论摹础

图2—4遗传算法的工作流程图

2.3.2.2遗传算法的构成要素 1.编码



编码是指将可行解从其解空间转到遗传算法所能处理的搜索空『日J的转换操 作。遗传算法中进化过程是建立在编码机制基础上的,编码对于算法的性能和

职川大学硕t学位论文

效率影响很大 2.初始化参数的生成

遗传算法的初始化参数有种群规模,交叉率、变异率、进化代数。
3.适应度函数 适应度函数是用来区分群体中个体好坏的标准,是算法进化过程的驱动力。 在具体应用中,适应度函数的设计要结合求解问题本身的要求而定。需要强调 的足,适应度函数评估是选择操作的依据,因此适应度函数的选取至笑重要,

直接影响到遗传算法的收敛速度以及能否找到最优解。 4.基本遗传操作 遗传算法一般郁包括三个基本操作:选择(Selection,或复制
Reproduction)、交叉(Crossover,或重组Recombination)和变异(Mutation)。

它们构成了遗传算法具各强大搜索能力的核心,是模拟自然选择以及遗传过程
中发生的繁殖、杂交和突变现象的上要载体。其中选择环节是优胜劣汰的体现; 交叉是一个随机化的重组算子,它使得解空『自J扩大;变异是一个局部置换算子, 它可以防止收敛于局部最优解。 1)选择 遗传算法的基本原理就是达尔文的自然选择原理,选择足遗传算法的推动 力,选择是从群体中选择优胜的个体,淘汰劣质个体的操作,就是根据适应度

的大小,决定每个个体被选中用来进行繁殖下一代的机率。适应度高的个体, 就有较大的几率被选中,能产生较多的后代:而适应度低的个体,则被选中的 概率较小,产生的后代自然就较少;甚至有些适应度特别低的个体被淘汰掉。 2)交叉 所谓交叉运算,是指对两个相互配对的染色体按某种方式相互交换其部分 基因,从而形成两个新的个体,就是对被选中用来进行繁殖的两个个体,按照 一定的概率见(称为交叉率,在产生后代的过程中,被选来用于进行交换的个 体数与群体大小的比值),决定它们是否进行交换。遗传算法的交叉操作可视为 对生物遗传过程中基因重组的直接模拟。通过交叉,遗传算法的搜索能力得以 飞跃提高。基本的交叉算子主要有:单点交叉、两点交叉和多点交叉等。单点 交换是最基本的交换算子,其中基因码的交换点位置随机而定,两个父代染色
体在交换点处进行互换。在双点交换中,随机的选中两个交换点,在这两点之

理论基础

间的染色体串部分进行交换生成两个子体。类似的,可以定义”点交换。
3)变异

变异操作用来模拟生物在遗传过程中由于各种偶然因素引起的基因突变。 实现变异最常用的方式是以~定的变异率%(给定的很小概率值)对染色体的 某一基因位进行突变。当遗传算法通过交叉算子已接近最优解邻域时,利用变 异算子的局部随机搜索能力,可以加速向最优解收敛。遗传算法中,交叉算子
因其全局搜索能力而作为主要算子,变异算子因其局部搜索能力而作为辅助算

子。基本的变异算子主要有:基本变异、均匀变异和边界变异等。变异操作可 确保群体中遗传基因类型的多样性,以使搜索能在尽可能大的空间中进行,防 止种群收敛并滞留在任何局部最优点,从而获得质量较高的优化解。 5、终止条件 遗传算法的终止条件,一般根据所求解问题的不同有不同的终止方式。理 想的终止条件是连续若干代不再产生使目标函数更优的变量集合,即不再能繁 殖出更优的个体。比较一般的终止条件是:种群巾最优的适应度超过了预先的 设定值;也可以设定最大遗传代数。

2.3.3遗传算法的基本理论 遗传算法作为一种模拟生物进化过程这一自然界运动规律的计算方法,其 算法本身是朴素的、自然的、直接的,它很难用数学方法来预见其行为特征。

到目前为止,还没有能够完全阐明遗传算法运算特征的基础理论。但是,为了 解释遗传算法的运算操作和在某种程度上预测遗传算法的进化特性,一些描述 遗传算法进化特性的方法,比如“模式定理”、“基因块假设”、“Walsh模式变 换”等,作为遗传算法的基本理论。本文主要介绍前两种。
1、模式定理 摸式理论(Schema Theorem)最初由Holland提出,被认为是遗传算法的

重要里程碑,后来经过诸多学者的不断完善,是研究较广、影响较大的遗传算 法数学理论,它将GA的运算过程理解为模式操作过程,并从模式运算的角度 解释GA的性能特点。模式定理:在遗传算子选择、交叉与变异的作用下,具 有平均水平之上的、低阶、短定义距以及平均适应度高于群体平均适应度的模


2l

叩川大学硕L-学位论文

式在遗传算法的进化中将按几何级数增长。根据这一定理,随着遗传算法的逐 代进行,那些低阶、短定义距和高适应度的模式(GA算法的较优解)将越来越多, 最后得到的串就是这些模式的组合,因而可以期望性能会逐代得到改善,并最 终趋向全局最优点。 2、基因块假设 低阶、短距、高平均适应度的模式(基因块)在遗传算子的作用下相互结合, 朝着高阶、长距、高平均适应度的模式的方向演化,最终获得全局最优解。该 假设指出,GA算法具备寻找全局最优解的能力。

2.4本章小结
本章系统学习和介绍了自回归(AR)模型、人工神经网络和遗传算法的基 础理论,从而为时间序列预测的模型建立及算法优化提供了理论依据。

NARBP预铡模型研究



NARBP预测模型研究

3.1引言
目前,解决非线性时间序列的预测问题的模型和方法有两种:第一,用线 性模型和方法近似,这种方法简单,但预测精度不高:第二,采用非线性模型
和方法,但对于实际问韪,很难建立确定的非线性方程来概化实际模型,因此 传统的非线性方法仅对某些问题有用,不具有实用性,而人工神经网络为解决 非线性预测问题通用性问题提供了好的途径,但BP网络是一种静态的网络,没

有时『日J处理能力,所以不能进行时间序列模式的识别,对于时间序列问题的识 别,如何由时变的模式样本通过特征提取,形成具有代表性的训练样本?这往
往被认为是困难的。本章就综合了线性自回归模型的阶次易辨识能力与神经网 络模型的非线性处理能力,构建了非线性自回归神经网络(NARBP)预测模型。

3.2

AR模型辨识【21卜【24l

3.2.1胴模型阶次辨识 AR(p)模型耳=o。耳.1+中2■2+…+中,Z1+B的阶次P的辨识方法有:零 极点相消检验法、残差统计特性检验法、,检验法、赤池检验法、MDL法等,
由于前几种检验方法具有不确定性和人为性的缺点,本文介绍赤池检验法中的

AIC(最小信息准则)和MDL(最短描述长度准则),这两种方法对于辨识自
回归模型的阶次较为有效。 l、确定阶的AIC准则 AIC准则是Average
Information

Criterior的字头,又称平均信息判据,1972

年由Akaika提出,是一个基于信息量判据提出的准则。A1C准则的定义是

A/CO.)=-2hnL(0,")+e。 其中,e。为对应于n阶的参数个数
21

(3.1)

硼川大学硕十学位论文

e为参数的极大似然估计
£为似然函数 确定阶的办法足取AIC(O。)的极小值.即可求出e。,而对应的阶即可得到。


即AIC(O。)=极小。这时参数个数为0。,阶为11。

AIC准则用来确定时间序列模型得到很好的效果,在使用时所需的计算工 作量比较大。1977年Soderstrom证明AIC准则和F检验是渐进等价的。有些学 者对AIC准则做了全面的研究,认为由它确定的模型的阶往往偏高,其应用范 围范围也还需要进一步研究。
2、确定阶的MDL准则

MDL准则是由Rissanen在1983年提出的另一种信息量准则,又称最小
描述长度准则。MDL准则的定义为: ^zD正(8。)=NInL(O,”)+O。111Ⅳ (3.2)

确定阶的办法足取M毗(e。)的极小值,即可求出0。,而对应的阶即可得到。
即MDL(O.)=极小.这时参数个数为e。,阶为n


其中N为己观测的时『日】序列长度,其他符号的代表同AIC中的相同符号的 代表。MDL信息量准则是统计一致的。实验结果显示,对一个短的数据长度, AR阶数应选择在N/3一N/2范围内才会有更好的结果。

3.2.2

AR模型参数辨识

系统模璎参数辨识的方法有最小二乘估计、梯度校正法估计、极大似然估 计等方法。最小二乘估计和梯度校正法估计计算简单,而且参数估计量具有许 多优良的统计性质,对噪声特性的先验知识要求也不高。而极大似然估计需要

构造一个以观测数据和未知参数有关的似然函数,并通过极大化这个函数获得
模型的参数辨识,据此,极大似然法通常要求具有能够写出输出量的条件概率

密度函数的先验知识.因而,计算工作量较大。但是,极大似然参数估计方法 可以对具有有色噪声的系统模型进行辨识,在动态辨识中有着广泛的应用。下
面介绍最基本的参数辨识方法一最小二乘估计方法。 最小二乘法是一种古老的方法,最早由高斯(Karl Gauss)提出来的,时
24

NARBP预测模型研究

问追溯到1795年。当时,高斯为了解决从观测得到的行星轨道的数据推算行星 轨道的参数,提出了最小二乘原理。到20世纪60年代,随着电子计算机的飞 速发襞,最小二乘法成了系统辨识中参数估计的最基本方法。
AR模型的最dx-_-乘法参数估计描述如下:

AR(p)模型‘=∞lr一。十o:r一:4-…+o,t,+巴的模型的阶次为P。现在的
问题归结为怎样由已经测得的序列{y(f)}估计AR模型的参数m。,巾,二,m。。 将AR(p)模型写成
yt=叩7“04-et

(3.3)

式中儿表示t时刻的输出,e。为噪声,‘P。为已知的观测值,e为参数向量,
分别为 甲彳t叶=[—乃-l一只.2一…一Yt—口】

0叫中。中。…中。】T 记口的估计值为0。估计模型输出计算值为吼,则有


吼=艟。e
上式表示t时刻以前的观测对t时刻输出的预测,预测误差为

(3.4)

e。=y。.夕。=咒一伞:,6=‘P:。(0—6)+弓
根据最d'-乘原理基本思想:未知参数的最大可能值在各实际观测值与计

算值之差的平方乘以度量其精度的数值后所得和达到极小值处,参数估计准则
(目标函数)应做如下选择
Ⅳ Ⅳ

J=∑茸=∑脚:,(e一6)+B】2

(3.5)

由上所述,爿胄模型参数估计的最dx--乘法可以归结为:给定彳尺模型结构

和估计准则,求估计值6,使得J(百)达到最小。
当观测Ⅳ次,则可列出Ⅳ个p+l元4R方程及目标方程,写成向量形式
I,=中04-P

(3.6)

四川大学硕十学位论文

,:eTe;(Y.,6)RY.中6)
式中

(3.7)

Y_Lv(1)“2)…y(N)】T
(p1(o)
中=

一y(O)

-y(-1)…-yO—p)
-y(o)…


矿(1)
(p1∞一1)

-y(1)


一y(2一P)
●●●

-y(N一1)-y(N?2)…一y(N—p)

萨【c(1)“2)…eOq)]7,£=【£(1)8(2)…eOD】T 将J对6求偏导,当偏导为0时即可求得6的最小二乘估计为: 6Ⅱ=(中1中)一1中7Y,中要求满秩
(3.8)

3.3预测模型及结构确定
3.3.1预测模型选择

本文选择发展比较成熟、应用较广泛的一种前馈神经网络模型——BP网络
模型来构建非线性时间序列预测模型。

3.3.2

BP预测模型结构确定

确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就
确定了BP网络。确定这些选项时有一定的指导原则,但更多的是靠经验和试凑。 1)隐层数的确定: 1988年Robert Heeht-Nielson证明了对任何在闭区『日J内的连续函数,都

可以用一个隐层的13P网络来逼近,因而一个三层的BP网络可以完成任意的月维

NARBP预测模型研究

到埘维的映射。但实际中常常无法估计问题真实的复杂程度,所以实际应用中
首先考虑神经元节点采用s型传递函数的双隐层网络设计的方案,然后选择单 隐层网络设计方案进行实验对比,最后根据映射精度来确定隐层数。 Z)BP网络常用转移函数:
ly

Iy






土I —————,.一一





.厂


+I

娃.Z








.1

.1

.1‘

y-logsg(O

y=tans,g(s) 图3-1 bp网络常用的传递函数

y=purdm(s)

BP网络的传递函数有多种。Log—sigmoid型函数的输入值可取任意值,输 出值在0和I之间:tan-sigmod型传递函数tansig的输入值可取任意值,输 出值在-1到+1之间:线性传递函数purelin的输入与输出值可取任意值。BP

网络通常有一个或两个隐层,该层中的神经元均采用sigmoid型传递函数,输 出层的神经元则采用线性传递函数,整个网络的输出可以取任意值。各种传递
函数如图3-1所示。 3)每层节点数的确定:

对于时间序列的BP神经网络来说,时间序列的变量只有一个,所以输出层 节点为一个,输入层的神经元节点数由AR(p)辨识的P决定,而隐层节点数的 确定是成败的关键。若隐含层神经元节点数量太少,则网络所能获取的用以解 决问题的信息太少;若数量太多,不仅增加训练时间,更重要的是隐层节点过 多还可能出现所谓“过渡吻合”(Overfitting)问题,即测试误差增大导致泛 化能力下降,因此隐层神经元节点数的选择直接影响网络对复杂问题的映射能 力。目静尚无令人信服的理论来确定隐层神经元数,实际中常选择试算法来确 定。一般原则是:在能正确反映输入输出关系的基础上,应选用较少的隐层节
点数,以使网络结构尽量简单。可采用网络结构增长型方法进行试算,即先设 置较少的节点数,对网络进行训练,并测试学习误差,然后逐渐增加节点数,

四川大学硕t学位论文

直到学习误差不再有明显减少为止。 4)误差的选取 在神经网络训练过程中选择均方误差MSE较为合理,原因如下: ①标准BP算法中,误差定义为:

髟一I,厶、".JPm,』P)2
-J=l

(3.9)

每个样本作用时,都对权矩阵进行了一次修改。由于每次权矩阵的修改都
没宵考虑权值修改后其它样本作用的输出误差是否也减小,因此将导致迭代次 数的增加。

②累计误差BP算法的全局误差定义为:

E=去∑∑町一彤)2;∑易 ‘产l,tl
p-1

’(3.10)

其中:J’l为输出节点的个数,户为训练样本个数,f为期望输出,y为网络 实际输出。

这种算法是为了减小整个训练集的全局误差,而不针对某一特定样本,因 此如果作某种修改能使全局误差减小,并不等于说每一个特定样本的误差也都
能同时减小。它不能用来比较P和所不同的网络性能,因为对于同一网络来说, ,越大,£也越大; P值相同,m越大E也越大。

⑤均方误差MSE:

MSE。壶若蔷(霸一_y一)2
算法较合理。

。?11)

其中:脚—输出节点的个数,p一训练样本数目,氏一网络实际输出值,% 一网络期望输出值。均方误差克服了上述两种算法的缺点,所以选用均方误差

3.4

NARBP预测模型
NARBP预测模型的建立

3.4.1

目前,已提出了许多非线性随机模型,例如MARS【251、投影追逐阔、阈自

I,IARBI“鞭铡模型研究

回归模型口”、双线性模型1281和Velterra级数9]:1291等。而Lapadus和Farber[sol

最早把多层前向神经网络用作时『B】序列预测的NAR模型。本文则采用BP神经网
络逼近彳足模型柬构建NARBP预测模型。由.4R成熟的辨识理论对时间序列模式

进行识别,从时变的模式样本通过特征提取,形成具有代表性的训练样本。然
后用代表性的训练样本对BP神经网络进行训练,从而综合实现了,4R系统辨识 模型的和BP网络实现模型的非线性映射能力。

线性AR(p)模型对非线性情况的自然推广是非线性自回归(NAR)模型 l=h(01巧q+中2】,-2+…+中p】,-P)+q
(3.12)

其中h是未知的光滑函数。设E(岛lV.I’r-2’…,墨)=O,B为0均值r且有有

限方差02,即为白噪声.在这些条件下,给定‰,Z-2'…,巧的最小均方误差最
优预测器为条件均值

Y=占(巧I鼍,,r.:,…,鬈.,)


o(一t,k…,%)

’(3.13)

=h(Ol】:-l+中2巧-2 4-…+①P‘一p)
(f2P+1)

这个预测器的均方误差为02。

根据上述原理,分别构建一个隐层和两个隐层的NARBP预测模型:

‘一。

r一:

r一,

图2-6具有一个隐层的M栅P预测模型
由图可见:

丘:矗心。X。…,X.,):c{∑H【mg(∑P
,-I

E一,劬‘,.,)+(p.)】+。}

(3.14)

』;I

其中P为输入神经元数,H为隐层神经元数,g(.)足隐含层的转移函数, c(.)为输出层的转移函数,m‘一卯为神经元节点r—J到神经元节点f的连接权值

tp-、0为阈值?训练样本对和检验样本对组成方式为:瞳。k,..,Yt.p】1,Yt。

Z—p

图2—7具有两个隐层的NARBP预测模型

第一个隐层输出为:乙=g(∑,:一。一‘。。)+(Pj)
t=I
hi

(3.15)

第二个隐层的输出为:置=,(∑互‘+u)
』。I
自2


(3.16)

输出层的输出为:丘=c(∑£嵋+0)

(3.17)

3.4.2

NARBP预测模型的实现

由上述建立模型的步骤可知,该模型的实现步骤如下:

1、选择时间序列最优“尺(p)预测器模型吼=。.%+巾2t2+…+①,‘一,

NARBP预测模型研究

2、XtAR(r)预测器模型吼=中1%+m2距2+…+m,r一,的阶次进行辨识;
3、设计BP神经网络模型结构; 4、设计BP神经网络模型算法; 5、由AR(p)的阶次辨识来组织BP网络模型的训练样本和检验样本; 6、用训练样本训练BP网络,用检验样本检验训练好的BP网络,合格后用


该网络模型进行预测。

3.5本章小结
本章详细介绍了时间序列的AR(p)预测模型的辨识方法和BP神经网络预 测模型的结构确定方式选取,并基于AR模型的辨识能力和BP神经网络模型的 非线性映射能力,建立了时间序列的非线性自回归BP神经网络预测模型(NARBP 预测模型)。最后给出了该模型的实现过程。

NARBP预测模型算法优化设计



NARBP预测模型算法优化设计

4.1引言
NARBP预测模型的主体是BP神经网络。BP神经网络通过多个具有简单处 理功能的神经元的复合作用,使网络具有非线性映射能力。尽管BP算法理论具

有依据盯靠、推导过程严谨、精度较高、通用性较好等优点,但标准BP算法存
在以缺点:收敛速度缓慢:非全局搜索能力:容易陷入局部极小值。

1.BP算法是通过训练误差反传修改网络权重来实现对客观对象的识别, 对一个非线性方程的识别一般需要几千次训练,但要实现对复杂非线性关系或
模糊不确定关系的识别,则需要训练几万次,甚至几十万次,花费几个小时或 十几个小时,BP算法收敛速度慢是目前难以克服的困难。

2、非全局搜索能力。BP算法基于误差函数减少的方向,从输出层经隐含
层,然后从隐含层到输入层逐步修正网络的各个连接权值和阈值。该算法实质 上是单点搜索,不具有全局搜索能力。

3、局部极小点问题。BP神经网络的全局误差E是全体连接权系数W:。的函
数,这就意味着由E构成的连接权空『日J不是只有一个极小点的曲面,而是存在 多个局部极小点的超曲面。BP神经网络学习训练开始时网络的结构参数足随机 给定的,因此结构存在一定的随机性。由于初始权值的随机性,利用BP算法训 练网络易陷入局部极小点。

由于以上BP算法的缺点是算法本身所固有的,所以在实际应用中,BP算 法很难胜任,因此有必要研究如何改进BP网络算法。

4.2标准BP算法改进㈣p21
目前,许多研究者已经提出了许多改进的BP算法,大致有: 1、利用动量法改进BP算法

标准8P算法实质上是一种简单的梯度下降静态寻优方法,在修iEw(k)时。

四川大学硕士学位论文

只按照第1步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前 时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢。动量法权值调整 算法的具体做法是:将上一次权值调整量的一部分迭加到按本次误差计算所得
的权值调整量上,作为本次的实际权值调整量,即: △F矿(以)=一,,矿E(甩)+理△∥(一-I)
(4.1)

其中:口为动量系数,通常0<口<0.9:J7一学习率,范围在O.001~10之
问。这种方法所加的动量因子实际上相当于阻尼项。它减小了学习过程中的振 荡趋势,从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感 性,有效的抑制了网络陷入局部极小。


2、自适应调整学习速率 标准BP算法收敛速度缓慢的一个重要原因是学习率选择不当,学习率选得 太小,收敛太慢;学习率选得太大,则有可能修正过头,导致振荡甚至发散。
可采用下图所示的自适应方法调整学习率。

调整的基本指导思想是:在学习收敛的情况下,增大r/,以缩短学习时间; 当r/偏大致使不能收敛时,要及时减小玎,直到收敛为止.

图2_4自适应学习
33

NARBP预测模型算法优化设计

3、动量一自适应学习速率调整算法 采用动量法时,BP算法可以找到更优的解;采用自适应学习速率法时,BP 算法可以缩短训练时间。将以上两种方法结合起来,就得到动量一自适应学习速 率调整算法。 4、L—M学习规则 L-M(Levenberg-Marquardt)算法比前述几种使用梯度下降法的BP算法耍

快得多,但对于复杂问题,这种方法需要相当大的存储空间。
L-M(Levenberg—Marquardt)优化方法的权值调整率选为:

觚=∥J+∥玎…J



(4.2)

其中;e一误差向量;‘,一网络误差对权值导数的雅町比(Jacobian)矩 阵;∥一标量,当∥很大时上式接近于梯度法,当∥很小时上斌变成了 6auss-Newton法,Levenberg-Marquardt算法是建立在优化算法基础上的一种
学习算法。在学习过程中12按照一定的方式进行自适应调整。在迭代过程中, 当误差P出现增加的趋势时,芦也会增加,随着∥的增加,,J就可以忽略, 此时剩下口‘1J7P项,但卢增加.则p“就减小,这样就使∥。1J7P项不会因为误 差的增大而过分增大,从而使△w在较短的时间内得到正确的调整,有效缩短学 习的时间。当达到希望的误差或达到了最大的训练次数时,网络就会停止。

实践表明Levenberg—Marquardt算法比其他算法快,因此本文选择L惦P算 法作为BP网络模型的训练算法。

4.3

GA与BP相结合算法
上述改进措施在很大程度上加快了神经网络的学习速度和逼近能力,但针

对易于落入局部最小点问题,单纯的改进神经网络的算法未必会有好的效果, BP算法及前面提及的改进算法是先在某一区间内随机生成初始权阈值,然后网

络进行训练,经过反复的调整直至获得稳定的权闽值。既无从知道初始网络权
闽值位于误差曲面的什么位置,也无从知道训练过程中,误差在误差曲面上沿 什么样的途径下降,更无法判断最后的训练结果是否真的落入了局部极小点。 所以初始值对最终结果有很大影响,它是影响网络最终能达到菜一可接受误差 的重要因素。因此,网络初始权闽值的优化便成为解决BP神经网络易陷局部极
14

四川大学硕士学位论文

小点的突破口了。近些年来,随着人工智能的另一个分支遗传算法的发展,遗 传算法的全局搜索能力逐渐引起研究者的关注,作为全局优化的一种通用方法,
将其引入与应用到神经网络中进行有着必然的趋势。

遗传算法是一种全局优化算法,它的目标函数既不要求连续也不要求可微。 这种算法实质上不同于单点搜索方法,它是采用同时处理搜索空间中多个个体
的方法,有较好的全局搜索性能,有效减少了陷入局部最优解的可能。因而遗

传算法的出现使得神经网络的训练有了一个崭新的面貌,将遗传算法应用于神 经网络,可使神经网络具有自进化、自适应能力。从而构造出进化的神经网络。
目前,对遗传算法与神经网络的结合方式的研究有几种口l,大致归纳如下: 1、进化神经网络的权阈值; 2、进化神经网络的拓扑结构;

3、同时进化神经网络的权阈值与拓扑结构;
4、分析神经网络的训练数据与训练结果。
?

这些结合方式目前还处于探索与研究中,其中研究最为广泛的足利用遗传
算法进化神经网络的权阈值系数,但遗传算法也存在着自己的弱点:对于局部的 精确搜索能力不强.收敛速度缓慢等。与基于梯度下降法与高斯牛顿法结合的

Levenberg—Marquadt(LM)BP算法相比较,无论从收敛速度还是学习精度都有

所逊色嗍。
鉴于GA和BP算法的特点,本文提出了基于改进遗传算法(IGA)的LMBP 训练算法:对标准遗传算法加以改进,改善遗传算法的收敛速度和性能。由改进
遗传算法优化确定BP神经网络的初始权阂值,其基本思想是:首先,在一定的 范围内(如[0,1]、[一l,1])初始化多组(种群规模)网络权闽值;其次,根据 遗传算法“适者生存、优胜劣汰”的进化原理,以“网络误差最小”作为进化 原则;最后,经过多次迭代,获得一组优化的初始权阂值,该组值是遗传算法 所能遍历的权阙值中使网络误差最小的,是给定结构下趋于全局能量最小的网 络权阈值。用它代替一般初始权阈值的随机生成,然后应用埘算法对BP网络

进行训练、学习。直至网络收敛。这样充分发挥了遗传算法的全局搜索能力和
神经网络的非线性映射能力,从而使神经网络在非线性领域的应用更为广泛。

NARBP预测模型算法优化设计

4.4
4.4.1

SGA的改进方式16】【38l
SGA的主要缺点

标准遗传算法(SGA)主要是由基因编码、产生初始群体、评价个体优劣、 选择、杂交、变异等一系列演变过程组成。其核心技术包括两方面内容:一是 选择方法,选出的解应具有良好的特征或适应值,以便产生优良的后代,同时 在解空间应相当分散,以保证求得全局最优解;二是遗传算子应具备良好的计
算特征,即一方面要保留原有解的优良特性,另一方面要有恢复丢失的重要信 息或优良特征的功能。目前,遗传算法本身在理论上和方法上都尚待完善。因 而在应用上受到较大的限制,主要表现在如下几个方面: 1、在sG^拓扑结构方面还没有指导性的理论,解群规模、选择方式、收敛 判据、杂交变异方式等控制参数均需经验确定,也有可能出现早熟收敛,使得 它并不一定总是获得全局最优解:


2、SGA的全局优化能力部分来自于初始群体的随机生成和杂交算子,但由

于群体的有限性与解空间的高维性之间的矛盾,使得搜索的全局性受到很大限 制。另外,变异操作也赋予SGA一定的全局搜索能力,但由于变异概率常常取 得较小,从而使得这些少量变异新个体会被大量老个体“同化”,而且当早熟个 体的数量大大超过变异个体的数量时,这种“同化”作用就非常迅速,特别是 有限的群体规模和选择操作不可避免地使SCA存在“近亲繁殖”、早熟收敛的缺
陷: 3、从它的计算机理来看,GA最适于解决缺乏解析知识的、复杂的、有噪 声的和随时间变化的动态系统。目Iii『,SGA更适于求解组合优化问题,对实变 量的优化问题不太适合; 4、SGA通常需要比较长的计算时间。


所有这些均需进一步深入研究和改进,以完善其理论基础和拓广其应用领 域。

四川大学硕士学位论文

4.4.2

SG^的改进方式

在SGA的实际应用中,为了满足具体的应用要求,可从以下各方面对SGA 进行改进: 1、改进算法控制参数的设置


SGA中需要选择的算法参数主要有编码串长度,群体规模工,杂交概率卫, 变异概率以等,这些参数的设置对SGA的运行性能影响很大。目前许多学者认 识到这些算法参数需要随SGA的运行进程而作自适应变化,以便SGA具有更好 的鲁棒性、全局最优性和寻优效率。例如。根据操作串的适应度值来调整参数 段,p耵的大小;鼠,岛随进化迭代次数而变化?
2、改进编码方式 编码是GA应用中的首要问题,也是GA理论中的基础。从数值优化的观点

来看,将优化问题的解表示为数字串的形式称为编码,编码的逆过程称为译码 或解码。不合适的编码不仅影响了GA的收敛速度,而且也会极大地影响“的 搜索效率.因此在应用GA时须认真考虑编码方案。选择或设计一种便于GA求 解问题的编码方法经常需要对问题有深入的了解。SGA采用二进制数编码,但 它的缺点是编码过长,尤其是在处理多变量优化问题时该缺点更为突出。为此, 近年来有学者提出使用网格编码(grid coding),浮点编码(floating coding)
以及嵌入编码(embeded coding)等方法。

3、改进初始群体的生成方式 虽然在理论上,初始群体的个体串分布与sGA全局收敛性无关,但实际应 用中初始分布却会影响SGA的搜索效率。由于SGA的随机性较大(初始群体、杂 交位置、变异位置都是随机选择的),这使得SGA的收敛速度对初始群体的选样 的依赖性较强,收敛不稳定。用随机方法产生初始群体时,要求它们均匀分布 于解空间,使SGA从全局范围内搜索最优解。为避免出现仞始个体差异不大而 导致的GA算法“早熟收敛”现象,若能根据应用问题的具体情况,突破SGA
所采用的随机方式产生初始群体,避免产生不可行的初始个体,采用其它优化

方法如启发式方法或人工设定方式来生成初始群体,则会有助于提高SGA求解 的效率和解的质量。近年来有学者建议将人工智能、专家系统技术引入¥GA,
37

NARBP预测模型算法优化设计

提出了基于知识的初始群体的生成方法。
4、改进适应度函数的定义方式 适应度函数是指导GA工作的主要信息来源,它的定义是SGA应用中的一个 重要问题,对于有约束优化问题就更加重要。在解有约束优化问题时,SGA必 须将其转化为无约束优化问题,一般采用罚函数方法实现。设计的适应度函数, 既要使SGA的群体尽可能在解空闭内,又要能对SGA的搜索方向提供』F确的指 导,此外,该函数的计算应尽可能简便。总之,应综合考虑这些因素来设计该

函数,这通常是SGA应用中比较困难的一环。另外,在SGA运行早期个体差异
较大。当采用经典的赌轮选择方式时,后代产生的个数与父代适应度值大小成

正比,因此在早期容易使个别好的个体的后代充斥整个群体,造成早熟 (premature),而在SGA运行后期个体适应度值趋于一致,优秀的个体在产生后
代时优势不明显,使整个群体进化停滞不前(stalling)。因此,为调节SGA执 行过程中串的复制数目以提高算法的性能,对适应度函数,进行适当的拉伸或 比例变换(scating
or

stretching)是很有必要的。常用的变换有:线性比例变

(”(F)=aF+6)、幂比例变换(u(F)=F4)和指数比例变换(“(F)=e-bF)。 6、改进选择算子操作方式 选择算子操作的主要思想是模拟生物进化过程中的适者生存、优胜劣汰规 则。在选择中,低适应度值个体趋向于被淘汰,而高适应度值个体趋向于被复 制,所以选择算子的作用效果是提高了群体的平均适应度值,但与此同时也损

失了群体的多样性。选择在总体上决定个体向着目标函数值改善的方向前进。 选择算子并没有产生新个体,当然群体中最佳个体的适应度值不会提高。改进 选择算子操作的目的是为了避免有效基因的缺失,提高GA的全局收敛性和搜索 效率。选择操作与编码方式无关,而与适应度函数有关。SGA采用比例选择方 式,又称为轮盘赌选择法或蒙特卡罗法,是利用比例于各个个体适应度的概率 决定其子孙的遗留可能性。若某个个体七,其适应度为.兀,则其被选择的概率


为:P=丘,∑五,当选择的概率给定后,产生[o,i]区间的均匀随机数来决定
t≈l

哪个个体参加分配。显然选择概率大的个体,能多次被选中,它的遗传因子就 会在种群中扩大。由于适应度函数的分旆特性与具体问题有关,因此一律用SGA 的比例选择方式是不合适的,可采用适当的适应度函数变换或适应度尺度变换

四川大学硕士学位论文

方法等来予以改进,其中排序选择方式与适应度函数的分布和取值范围无关, 所以它是常被采用的改进方式。另外,也可考虑随着6A的运行,选择概率随适
应度值的改变作动态调整。显然.最优染色体保存策略也可视为选择算子操作 的一种改进方式。

6、改进交叉算子操作方式
交叉算子操作的主要思想是模拟群体内部染色体的信息交换(基因材料交 换)机制,也即,通过两个父代串的杂交产生新的子代串,杂交产生的子代串一

般与其父代串不同,并且彼此也不相同,每个子代串部分包含两个父代串的遗
传物质。杂交算子的作用足可以产生新的个体,从而检测搜索空间中的新点,

它有可能使群体中最佳个体的适应度函数值有所提高。同时须降低对有效因式 的破坏概率,以免子代不如父代。交叉也是GA区别于其它进化算法的重要特征, 采用不同的编码方式,则相应的交叉算子也将不同。杂交算子可取一点、两点、 均匀、多点等杂交方式,也可随操作串的适应度函数值作自适应变化。SGA只 采用一点交叉算子,而采用多点交叉有利于一个个体承裁多个变量问题的信息 以提高遗传搜索效率。现在常用的多点杂交主要为两点杂交与均匀杂交
(uniform crossover).目前普遍认为这两种杂交方式都优于单点杂交,而这两 者相比谁优谁劣则尚无定论.在交叉算子操作之前须先配对,目前常用的配对

策略是随机配对,当然也可考虑根据个体的适应度函数值来配对。
7、改进变异算子操作方式

变异算子操作的主要思想是模拟生物个体的随机突变现象,也即对串的某
些基因位值进行随机改变,其作用是增加GA运行中群体的多样性,是对有效基

因缺失的一种补救措施,同时也对因选择操作失去的群体多样性的恢复具有潜 在的作用。没有变异,GA的解很可能陷入局部极值状态,但是,它在SGR中的

作用是第二位的,‰一般很小,当‰很大时SGA就退化为蒙特卡罗法,变异
算子操作与编码策略有关,变异算子操作可取单点、两点、多点、有效基因、 均匀等变异方式,也可随操作串的适应度函数值作自适应变化。
8、算法终止条件的改进

常用的改进方法是基于某种判定标推,判定群体己收敛并不再有进化趋势 后作为终止条件。例如,根据连续几代个体平均适应度值(或最佳适应度值)之 差小于某个小值,或根据群体中个体适应度的方差小于某个小值,或根据群体

NARBP预测模型算=;去优化设计

中最佳适应度值与群体平均适应度值{_分接近,作为终止条件。由于实际优化
问题的复杂性和GA本身的运行机理尚不完全被认识清楚,实用中也常常用经验 固定进化迭代次数作为算法的终止条件。 9、改进父代替换方式

如按某比例从父代群体PCt)中选择性能最佳的个体作为下一代个体
e(t+n。 经过三十多年的发展,GA的研究开始逐步走向成熟。尤其在数值优化领域 得到了广泛应用。目I拊人们对SGA己进行了大量改进,并应用于更广泛的领域。 这些改进的GA之间及其与SGA之『日J均有很大差别,甚至与其它进化算法的界限

也难以区分。实际上,GA只是提供了一类算法的基本框架,它是一种算法体系,
根据不同观点,针对个同类型的问题可以研制不同的遗传算法。

4.5

IGA.NARLMBP预测模型算法优化设计
l队算法设计
IGA算法控制参数的设计

4.4.1

1、

遗传算法设计所涉及的参数主要有:种群规模、交叉率、变异率、进化代 数等等,另外,选择具体算子时,有时还会涉及选择与算子相关的参数。遗传 算法参数的选择合理与否直接关系到算法的收敛速度和精度。但是,由于影响
参数选择的因素很多,有的与问题本身内涵的客观规律有关,有的与所选择的

算子有关,所以在实际应用中,首先要对具体问题进行深入、细致的分析,找
出问题的内在规律,将问题合理地模型化,即将实际问题概化为遗传算法可以

解决的问题,才能发挥遗传算法的寻优作用。
1)种群规模 一般来说,种群规模选择小遗传算法易陷入局部解,种群规模只有达到一 定的数值时,遗传算法才能保证搜索到全局最优解,因此,初始种群规模根据 具体问题选择偏大一些。选为L=80~500。

2)交叉率pc和变异率儿 交叉率成和变异率以采用Sfinvivas等学者提出的自适应遗传算法

(AdaptiveGA),以和如能够随适应度自动改变。自适应遗传算法中,B和以
按如下公式进行自适应调整:

胪卜与当≯.,.≥厶
IpcI,广<_,k

。“。,

胪卜}咎掣胎岛
儿={

【P.1,f<‰

.,一一,%



(4.4) 他。,

其中,厶。为最大的个体适应度,厶为群体的平均适应度,f’为要交换
的两个个体中较大的适应度,,为要变异个体的适应度。%,见:,‰。,儿: 在(0,1)区间中取值,且pd>P。2,“I>P。2。
3)进化终止条件

进化计算的终止条件可以从以下几个方面进行控制:

a)Genetations(代数)——当产生的代的数目达到规定的代数的值时,算
法停止; b)Time

limit(时限)——在运行时间的秒数等于时限时,算法停止; 1imit(适应度限)——当适应度的值对于当前种群的最佳点小

c)Fitness

于等于适应度限时,算法停止;
d)Stall

generations(停滞代数)——在连续繁殖的时间序列中,若长时

间不繁殖新代,亦即目标函数无改进,到达停滞代数规定的代数时,则算法停
止: e)Stall
time

limit(停滞时限)——在秒数停滞等于停滞时限的时间间隔

期间,若目标函数无改进,则算法停止。

若这5个条件中任何一个条件满足,则该算法停止,这样可以使算法执行


速度加快。 2、IGA算法编码方式的设计


当自变量较多(如BP神经网络中的权闽值参数),即染色体的基因较多时, 如果用二进制编码,染色体的长度会很长,搜索空间也会很大,这样的遗传搜 索相当困难。因此,设计浮点编码的染色体表达方式,即个体的每个基因值用 某一范围内的一个浮点数来表示,个体的编码长度等于其决策变量的个数。每

NARBP预测模塑算法优化设计

个染色体向量被编码成一个与解向量相同长度的浮点向量。每个元素的初始选
择部是在要求的区域罩进行,而且遗传与进化运算亦被精心设汁,以确保这种 约束条件。这样一来,在执行上遗传空间即为问题空『日j,染色体即为问题变量, 直接反映了问题的规律与特性。与基于二进制编码的SGA相比。浮点编码存在 许多优势:它可以提高运算的精度和速度,特别是在搜索空问较大时更为明显, 而且避免了编码带来的附加问题,便于和其他搜索技术相结合。 3、IGA算法适应度函数的设计

将目标函数转换成适应度函数一般要遵循两个原则:优化过程中目标函数
的优化方向(如寻求目标函数的最大值或最小值)与种群进化过程中适应度函 数值增加的方向一致:适应度函数大于等于0。

基于这两个原则,在实际问题中,当目标函数f(x)本身就是求其最大值问
题时,设计适应度函数为:

fit(x)=f(x)+c,C4-厶。≥0
当目标Ij自数f(x)为求其最小值问题时,设计适应度函数为: fit(x)=C一.厂(x),C一.‘。。≥0


(4.5)

(4.6)

如果厂(x)为J}负,则设计适应度函数为:


fit(砷2瓦南而,,(。)≥o
若m(x)值较小,则可将其乘以一比例系数进行拉伸。 4、IGA算法选择算子的设计

(4?7)

选择运算是推动进化的直接推动力。如果选择压力(最佳个体选中的概率 与平均选中概率的比值)过大,遗传算法会过旱收敛,使搜索落入局部极小点; 选择压力过小,搜索过程会非常缓慢。一般来讲,在进化的初始阶段,宜采用 较小的选择压力,尽量保持种群个体的多样性;在进化的后期,宜采用较大的 选择压力,以提高优良个体的竞争力,使搜索向着最优解的方向发展。 选择算子的特性决定种群的进化趋势,设计选择策略为最佳个体保存法与
排序选择法相结合的混合选择策略:保留当前代中最佳的染色体,将其直接进

入下一代,其他染色体的生存概率采用排序法。将种群规模为JL的染色体按适
应值由大到小降序排序,排序为1的直接复制到下一代中,在其他排序号中, 设计排在第t位染色体的生存概率为:

四川大学硬十学位论文

Pt

2西考警了(1一‰)“=t(1一‰)“1

(4.8)

其中,,缸为排序为2~工中适应值最大的染色体的生存概率。
该混合选择策略既实现了进化过程中某一代的最优解可不被交叉和变异操 作所破坏,从而也加快了搜索速度,又体现了排序法以种群中染色体适应值的 大小顺序来确定各个染色体的生存概率,而不是以适应值的数值大小来确定, 从而克服了直接基于适应值进行选择易陷入局部最优的缺点,而保i芷了大适应 值染色体获得高选择概率,同时阻止某些超级染色体过快地把持遗传过程。

5、IGA算法交叉算子的设计 浮点编码的交叉算子与经典的交叉算子有很大的不同.它直接在问题空间 进行运算。在浮点编码的执行中,每个染色体向量被编码成一个浮点数向量, 且各向量在规定的区域内,交叉算子的设计也要保证后代在规定的区域内,这 是浮点编码交叉算子设计的首要条件。据此,可以设计算术交叉算子。算术交 叉算子对于凸搜索空间有这样的性质:对解空间D里的任意两点五,x2的线性组 合02q+(1-a)x2,a∈【0,1】同样是D中的一个点,此性质是实现算术交叉的重要保
证。其算术交叉的操作过程为:假定种群中的而,而被选为交叉运算的双亲,则 由双亲产生后代为:

j葺2ax;+(1一d)毛,aE[O,11
l‘=ax2+(1一a)xl,口∈【0,I】
随机数a“o,1】,从而保证了i,t∈D。该交叉也称为线性交叉。
6、IGA算法变异算子的设计

f4 9) 、…。

变异运算是指对染色体的某些基因位作改变的操作。浮点编码的变异操作 方法是根据浮点数的染色体个体设计的。设计变异的方式为均匀变异。均匀变 异由单个的亲体x变异产生单个的子代x’。其垛作为:设算子选择了父代

x=(五…x2..,而,...,xa)中的一个随机元素xk,七e(1,2,…,d)。以问题空间
[,(女),,(t)】垦的一个均匀分布的随机数《代替屯。该算子在进化的早期,推动
可能解在搜索空间内自由移动;在进化计算的后期,允许在搜索过程中离开局 部最优解,进行可能的移动,以便搜索到更好的可能解。

NARBP预测模型算法优化设计

4.4.2

BP神经网络的编码描述方法

考虑到一个输入结点为i、隐含结点为h、输出结点为O个隐层的BP神经 网络,BP网络的权闯值将包含以下几个矩阵: 1)输入层到隐含层的权值矩阵
Z∞1l I∞= l卯12

肋2I蛔22

(4.10)

fql

Iq2

,7.‰

2)隐含层到输出层的权值矩阵
,q1砌12…,q。
f∞;

,吐t^吐2…,。2。
tmht…l。l|o

(4.11)

t∞u

2)隐含层的闽值矩阵

口=




(4.12)





4)输出层的闽值矩阵


目=





(4.13)

吃 为了利用GA进行BP网络的权阙值优化,即上述4个矩阵蛔,肠,妒和口的优 化,必须考虑将以上四个矩阵转换成方便GA操作的染色体串。设种群规模为上,
则任一组完整的BP神经网络权阈值的浮点编码映射关系如下所示:

四川大学硕士学位论文

wl={机,M,仍,q),f;1,2,…,£
W相当于一个染色体,这样的染色体共有£个.

(4.14)

4.4.3

IGA--NARLMBP模型优化算法设计步骤

步骤一参数设定及种群初始化 确定种群规模(pop—size)工、网络层数和每层神经元数。在算法的仿真过 程中,可变换它们的取值,研究其对进化过程的影响。

在某一取值范围内随机产生初始种群P{Wl,w:,…,、7吒),对任一神经网络叶
(i=l,2,…,L)即为前面所映射的神经网络的所有权阐组成的浮点编码染色

体。在~IATLAB仿真中使用[a+(b-a)*rand0]函数进行初始化。(b—a)为取值范 围长度,以便确定搜索空问:a+(b-a)*rand0可产生一个(a,b)之间均匀分布
的随机数。 步骤二根据神经网络权阈值的特点设计适应度函数

在此算法中,遗传算法的搜索目标是所有进化代中使网络的误差平方和最 小的网络权阈值,而遗传算法只能朝着使适应度函数值增大的方向进化。所以, 可以根据产生的权阈值所对应的神经网络,计算出BP网络的误差平方和,适应
度函数采用误差平方和的倒数,为保证适应值不至于太小.引入一较大系数104, 适应度函数的形式如下:

E(孵)=去∑∽一只)2,i=l∥2..,三 …J?l

娜)=彘,i_l忍…,三
f:

(4.15)

(4.16)

步骤三进化运算

采用保留最佳染色体和排序法进行染色体的选择。选择算子的实现过程如
下: 1、确定选择概率见; 2、计算标准分布值: 垦 1-(1一P,)‘


(4.17)

NARBP预测模型算法优化设计

3、计算染色体的选择概率:

p=t(1一P。)“…
式中N(k)一种群中k染色体的适应值在种群中由大到小排列的序号。
4、适应值晟大的染色体直接进入下一代,并在下一代种群中的序号为l

NewRl。&(t卜I
5、计算染色体的累计选择概率值:


(4.19)

q。=∑fit(i),k=1,2,…,L
JlI

(4.20)

6、在[0,I]区问产生按升序排列的随机数序列r。 7、对染色体进行选择(下一代种群染色体的开始序号为2),若叮七一f<5<qk,

则选择第k个染色体进入下一代中。
步骤四遗传运算 1、交叉算子 1)由自适应交叉算子确定交叉概率pf:
?

2)确定交叉操作的父代:父代染色体从序号为2~L的种群范围内均匀随 机产生;

3)进行交叉操作,本文采用线性交叉,即假定种群中的xa,矗被选为交叉

运算的双亲,则按4.9式由双亲产生后代i,t。
2、变异算子 1)由自适应变异算子确定变异概率p肿; 2)变异运算:采用均匀变异,设算子选择了父代x=(而,X2,…,《9 o,.9嘞)中

的一个随机元素‰,k∈(1,2,...,力。以问题空『日Jp(女),,(t)]里的一个均 匀分布的随机数《代替也。 步骤五进化终止判断 经过反复执行适应度评价和选择.交叉,变异等过程直至满足IGA算法中 的五个收敛条件之~,则终止进化,否则转到步骤二。
步骤六样本数据的预处理 在采用遗传算法得到的初始权阈值进行BP网络训练前,需要对样本数据进

四川太学硕士学位论文

行预处璎,这是由于BP神经网络隐层多采用S型函数,这种函数的特点是中问

部分对输入的变化比较敏感,丽游端对输入的变化反应迟键,这裁意味着转移 函数对取值范围在两端的数据不如中间部分映射得精确。为了解决这个问联, 常常将剐络的输入样本进行归一化处理。本文采用如下的归一化处理公式。将
样本处溅到[一i,13区间雨。

r:2?丛=生!一l 《k—k>
式中:

卜原始数据

(4.21)

肖一、jo——原始数据的最大值和最小值

卜变换磊熬数据,遣舔之失囊据数据
网络运行后,数据的还原公式为:

x=O.5‘(r+1)‘(.x一一。^毛。)十.x。 步骤七BP网络训练

(4.22)

经过遗传操作后,选出适应发最大的个体,可反映出殿优的网络权阂值的 分布,将染色俸巾的编码值赋给神秘络,作为BP网络的拐始权溺德,再使用 本文采用前面已经介绍过的Levenberg-Marquardt改进BP算法对此进行进一步 翁训练,静在遗传算法全羯寻优静纂穑主逶行琵雾法局部爵往,进褥计算国网 络的最优解。

4.4.4

IGA-NARLBBP模型算法流裁凰

根据上述的算法设计步骤,总结IGA~NARLMBP预测模型优化算法流程圈如
下:

——

翌苎墨璺!耍型堕至兰望垡丝丝生

图4.1

IGA--'LMNARBP预测模型算法框图

四川大学硕士学位论文

4.5本章小结
本章分析了上章所构建的NARBP神经网络预测模型算法的缺陷,在提高网

络收敛速度方面,提出了采用改进的BP算法~LMBP算法;从搜寻到全局最优 点的角度,提出了采用遗传算法和BP算法的结合算法,并对标准遗传算法(SGA 算法)进行改进,设计了快速遗传算法(IGA算法),最后给出了IGA算法和Lim3P 算法相结合的优化算法对上章所构建的预测模型进行算法优化的步骤。

戍用与仿真研究

5应用与仿真研究
5.1引言 本文根据研究生期间所作课题——部江堰灌区渠首岷江上游来水预测为应
用实例,进行线性AR预测模型、本文构建的NARBP模型、本文提出的基于改进 遗传算法和LMBP训练算法的NARBP神经网络预测模型的预测仿真实验,进而对 各模型进行比较。

5.2课题背景简介
都江堰灌区渠酋(如图5.1)所在位置位于呈扇形伸展的成都平原的顶部, 是整个都江堰灌区的至高点.上游是岷江所经过的高山峡谷。下游是广阔的成 都平原。良好的地理位置使其不仅可以扼制住刚出峡谷的岷江水势又町因地势

高而控灌整个都江堰灌区。都江堰灌区渠首共有6个进口,分别是蒲阳河进口、 柏条河进口、走马河进口、江安河进口、沙沟河进口和黑石河进口。这六条河
流供应着整个川西平原的生活、生产、生态用水。

渠首岷江上游来水预测的目的为如何向六条河流进口分配水资源提供可分 配水量这一依据。在紫坪埔水库没有完全发挥计划分水之前,渠首来水完全是 靠岷江上游的自然来水,因此具有较强的随机性,但是随机性又是相对的,在
对于多年资料进行研究后可以发现来水量是有一定规律可循的,这使得渠茸来 水量具有了可预测性。近年来,都江堰管理局一直采用经验法和灰色理论混合

预测法来进行来水预测,其需要经验丰富的专家,每年都要进行一次手动计算,
通用型不强,效率不高,因此有必要将渠首岷江上游来水预测方法科学化、信 息化、智能化。

50

四川大学硕士学位论文

圈5.1都江堰灌区渠首图

5.3数据分析
都江堰渠首岷江上游来水的历史观测资料有68年(1937年到2004年)每 旬的旬平均来水流量。总共有68X36=2448个数据。在MATLAB环境下从不同

角度绘制图形,以利于观察和把握来水规律。
逐年的来水流量曲面如图5.2:

图5.2

68年来水流量曲面图
5l

翌里生堕墨堕塞
2000--2004年5年的来水流量时序图如图5.3:

图5.3 2000--2004年来水流量时序图

历年第1、2月各旬流量图如图5.4:

图5.4历年第l、2月各甸流量图

_嚣
52

历年第6、7月各旬流量图如图5.5

图5.5历年第6、7月各旬流量图

四川大学硕士学位论文

历年第11、12月流量图如图5.6:

图5.6历年第”、12月各甸流量图

从这几组图中可以分析出历年来水流量的一些特点: l、历年的来水量规律相似:枯水期(每年的卜?4月、10—12月『日J)各旬 来水量少且较平稳,而丰水期(每年的5—9月)各旬来水量大且波动较大。 2、历年同一旬的来水量在枯水期有下降的趋势,而同一句的来水量在丰水 期波动大,规律性不强。 3、历年来水量的时间序列是非线性的。

从数据分析中可以看出,历年的流量时间序列是有规律的,也就是说,是 可预测的,另外,该时间序列是非线性的,对于非线性的时间序列的预测可采
用线性模型近似预测与构建合适的非线性模型进行更好的预测。本文分别构建

白回归(AR)预测模型、本文构建的NARBP神经网络预测模型和基于改进遗传算
法和LiuIBP算法的NARBP神经网络预测模型进行预测。

5.4模型构建及仿真
5.4.1水文预测精度评定标准‘删

SL250--2000‘水文情报预测规范》对预测项目的精度评定规定如下:
1、过程预测许可误差取预见期内实测变幅的20%,一次预测的误差小于

许可误差时.为合格预测。合格次数与预测总次数之比的百分数为合格率,表

府用与仿真研究

示多次预测总体的精度水平。合格率按下列公式计算: DR:旦×100%


(5.1)

式中Q足——合格率 栉——合格预测次数 m——预测总次数
2、预测项目的精度按合格率或确定性系数的大小分为三个等级。精度等级 按表5.1规定确定。
表5.1预测项目精度登记表

l l

精度等级 合格率(%)







伽≥85.0

85.02鲫≥70.0

70.0≥∞≥60.0

5.4.2

AR模型
?

l、数据预处理

将数据处理为广义平稳随机序列,即去除数据趋势项,将原始数据序列零 均值化。设原始数据序列为flow,在MATLAB中,可采用nflow=detrend(flow) 命令来实现。 2、模型阶次和参数辨识 采用]dATLAB系统辨识工具箱对时间序列nflow进行辨识,辨识结果为:MDL 准则辨识的模型阶次为36阶,AIC准则辨识的模型阶次为76阶。辨识的参数 见下述模型。 3、AR预测模型 A(q)Y(t)=e(t) 36阶预测模型:
A(q)=I?0.5764 q^-1.O.001114q^-2-O.02694


(5.2)

q:'-3+0.002817 q^-4

+O.01858 qA-5+O.01798 q^-6+0.01606q^-7—0.01835 q“?8 ?O.00403 q^-9+O.01104q^-lO-O.006824q^-ll+0.03025 q^-12 -0.00141 q^-13+0.01829 q“-14+0.02126 q^-15+0.01305 q^-16 +0.01972q“-17+0.01861 q6?18+0.01488q^-19+0.01106 q^-20
54

竖型奎兰堡主兰堡丝苎

+0.01212 q^-21+0.006928 q^-22+0.004545 q^-23+0.0007283 qA-24 .O.003493 q^-25.O,01178 q~26+O.02618 q“-27-0.02232 q^-28

.0.008863 a^.29+O.03136 q^-30+0.009914qA-31+0.003038 q^-32 .0.04684 q^-33.0.09139 q^-34—0.04505 q^-35-0.124 q^-36


(5?3)
q^-4
?

76阶预测模型:
A(q)=I.0.545
q^-i十0.002157q^-2—0.04353

q^.3-0.01261

+0.006219《、-5+0,02005

q^-6+0.02114 q^-7-0.02198 q^-8

+0.0004572q^-9+0.001622q“-lO?0.0108q“-ll+0.03161 q“-12 .0.005422q^.13+O.01089q“-14+0.008393 q^.15+0.001343 q,、16
+0.009969 q—。17十O,009536

q^d8+0.008112

q“-19+0.004553 q/'-20

+O.007391 q一-21+0.006147 q^-22十0.006578 .0.003845 q^-25.0.01263

q^-23+0.006{)31

q^-24

p26+0.02617

q^-27-0.02884 q^-28

—0.008257 q^-29+0.03344 q^-30+0.009924 q^-31+0.01608 q^-32

.0.03029q^.33.O.06307‘l^_34—0,02395

q‘35—0.1004 q“-36

+0.01396 q'X-37.0.001053 q^-38+0.05756 q^-39-O.04698 q^-40 +0.02973 qA-41.0.02317 q^.-42.0.0009482 q^-43+0.03721

q~“

.0.03171 q^-45+0.02611 q^--46.O.007514q^-d7+0.005925 q^-48‘ +O.006537 q^49+0.007512 q“-50+0.01138q^-51+0008287q'--52 +O.009034 a^-53+0.01403 q"-54+0.006922q^-55+0.01451 q^-56 +0.006292 q^-57+0.01453 q"-58-0.01008

q^-59-0.02073

q^-60

+0.006282q^-61+0.03917q"-62+0.00826q^-63+0.01197q^-64
.0.009761 q^-65.0.01098 q^-66十0.007487

q^《7+O.02322

q^-68

.0.06391 o一-69.0.001233 q^-70?0.04368 q^-71—0D6837 q^-72 ,0.07259 a"-73+O.06968 qA-74.0.008395 q^-75+0.05325

q^-76

(5.4)

4、仿真

以00—04年(5年)来水流量数据作为检验数据,预测情况如下: 1)36阶自回归预测模型5次预测,每次结果相同,预测合格率为68?3333%,
如图5.7:

惠用与仿真研究

围5.7 AR36预测模型预测情况图

2)76阶自回归预测模型5次预测,每次结果相同,预测合格率为71.66675, 如图5.8:

图5



AR76预测模型预测情况图

5.4.3

NARBP模型

1、数据预处理

采用公式r=2+西(X.眦-一X‰.))-I对原数据序列进行归一化处理。
2、模型辨识与建立 采用AR模型MDL准则辨识模型阶次为36阶,构建输入层36个神经元,1 个输出神经元的BP神经网络,通过试算,确定采用单隐层结构36--18--i。隐
层节点的传递函数选为tansig双曲正切S型函数,输出层节点的传递函数选为

purelin函数,训练算法选为LMBP算法。参数选择为MSE=O.016,训练最大次
数取为600。 3、模型仿真 1)取1980--1999年(20年)数据序列组成训练样本进行NARBP网络模型 训练,然后取2000年一2004年(5年数据)序列作检验样本进行检验。仿真结 果如下: 第一次训练与预测 训练性能图如图5.9:

图5.9 NARBP预测模型训练性能图
57

应用与仂真研究

预测情况图如图5.10:

图5.10 NARBP预测模型预测情况图

第二次训练与预测 训练性能如图5.1l

图5.1



NARBP预测模型训练性能图


——
预测情况如图5.12:

璺型奎兰曼主芏堡丝苎

图5.12 N^lqSP预测模型预测情况图

可见,第一次训练600次还未达到性能指标,预测合格率为65.5556%;第二

次训练155次达到性能指标,预测合格率为69.4444%。分别训练和预测5次,
发现每次结果不同,合格率从55~72%不等. 3)取1960--1999年(40年)数据序列组成训练样本进行NARBP网络模型 训练,然后取2000年--2004年(5年数据)序列作检验样本进行检验。 仿真结果如下: 第一次训练和预测 训练性能如图5.13:

图5.13眦R印预测模型训练性能图
59

戍用与仿真研究

预测情况如图5.14,

图5.14 NARBP预测模型预测情况图

第二次训练和预测 训练性能如图5.15:

图5.15 NARBP预测模型训练性能图
60

————一

璺型奎芏堡主兰垒堡苎

预测情况如图5.16:

图5.16 NARBP预测模型预测情况图

可见,第一次训练264次达到性能指标,预测合格率为65%;第二次训练103

次达到性能指标,预测合格率为70.1111%。分别训练和预测5次,发现每
次结果不同,合格率从55~72%不等。

3)取1937--1999年(63年)数据序列组成训练样本进行NARBP网络模型 训练,然后取2000年--2004年(5年数据)序列作检验样本进行检验。
仿真结果如下: 第一次训练和预测 训练性能如图5.17:

图5.17 NARBP预测模型训练性能图
6l

应用与仿真研究

预测情况如图5.18:

图5 18 NARBP预测模型预测情况图

第二次训练和预测 训练性能如图5.19:

图5.19 NARBP预测模型训练性能图

四川大学硕士学位论文

预测情况如图5.20:

图5.20 NARBP预测模型预测情况图

可见,第一次训练27次达到性能指标,预测合格率为67.2222%;第二次训

练165次达到性能指标,预测合格率为72.2222%。分别训练和预测5次,发现
每次结果不同,合格率从60~75%不等。 4、分析 从以上几组仿真可以看出:

1)本文构建的NARBP预测模型的预测均能够正确跟踪实际的观测值,可


见,该模型在进行时间序列的预测是可行的。 2)NARBP模型每次预测结果都不一样,可能是后传算法修正的权阈值最
终陷入了初始权阈值附近的局部极小点。初始权阂值不同,落入的极小点也不 同,因此每次的预测结果也就不同。

5.4.4 I

GA--NARLMBP模型

l、模型结构同NARBP模型

2、由IGA算法优选NARBP神经网络模型的初始优选权阈值,然后采用LMBP
算法再次进行寻优。IGA算法的参数选择如下:种群规模L=100:权闽值初始化
63

应用与仿真研究

空间为[一10,lo]:选择概率见=0.05:最大进化代数为100。取1937—1999年(63 年)数据序列组成训练样本,将IGA算法优选出来的初始权阈值输入NARBP网
络进行模型训练,然后取2000年--2004年(5年数据)序列作检验样本进行睑 验。仿真情况如下: 训练性能如图5.21;

图5.21 IfiA--NARLMBP预测模型韧l练性能图

预测情况图如图5.22:

图5 22



GA--NARLMBP预测模型预测情况图

四川大学硕士学位论文

分别进行5次训练,每次训练和预测情况相同,训练37次收敛,预涣8合格

率达到76.111l%。可见,采用IGA算法进行了网络初始权阈值优选后,NARBP 预测模型运行速度快,结果稳定,基本上落入全局最优,预测精度较高。

5.4各模型仿真结果比较
以上三种预测模型的仿真结果总结比较如表5.2
表5.2各预测模型仿真结果比较表 预测模型 非模型 NARBP模型 IGA-NARIXBP模型 模型稳定性 稳定 不太稳定 稳定 收敛速度 快 速度不一 快 预涮精度 一般 较好 好

可见,NARBP预测模型比AR预测模型的预测精度高,但稳定性和模型收敛 速度不如^1{预测模型。IGA--NARLMBP预测模型的的模型稳定性、收敛速度、 预测精度都好,综合比较,此改进算法后的模型用于预测时间序列比其它两个 模型的性能要好,从而验证了此模型与算法用于时间序列预测的可行性、有效
性和优越性。

5.5本章小结
本章结合本人在研究生期间所作课题:都江堰灌区闸口岷江上游来水预测
项目,介绍所构建的IGA-NARLMBP预测模型在河水来水预测中的应用。并分别

与传统的AR预测模型和BP神经网络预测模型的预测结果进行比较,结果表明 本文构建的基于IGA算法与LMBP算法相结合的NARBP预测模型的预测精度、预 测平均合格率、预测模型的稳定性等指标比前两者好,从而验证了本文所建立 的基于IGA算法与umP算法相结合的NARBP预测模型的有效性和优越性。

总结和展望

6总结与展望
6.1总结
目前,对于非线性时间序列的预测方法有两种:建立线性模型近似预测与 构建合适的非线性模型进行预测。在非线性模型研究方面,近几年最为热门的 是建立神经网络进行预测,其中,BP神经网络模型是最广为应用的模型。但BP 神经网络对时『日】序列预测的固有缺陷也成为共识:不具有时间序列的识别能力,

标准BP算法收敛速度慢,算法易陷入局部最小点。这些均成为研究的热点与要 点。本文也基于此进行了研究,在第三章采用自回归(AR)模型对时间序列的 良好的辨识能力进行序列辨识,然后结合BP神经网络的良好的非线性映射能
力,构建了NARBP神经网络时问序列预测模型;算法研究方面,对标准BP算法 和现有的改进BP算法进行了研究,针对BP算法收敛速度慢的问题,选用现在 较为成熟、特性较好的LMBP算法来进行神经网络模型的训练,针对算法易陷入 局部极小点问题,根据遗传算法在求解优化问题,全局寻优的良好特性,提出 将遗传算法与BP算法相结合的思路,通过对遗传算法的研究,知道了标准遗传

算法的一些主要缺点一易出现“近亲繁殖”、早熟收敛、计算时间较长等缺陷, 因此本文从控制参数、编码、适应度函数、选择算子、交叉算子、变异算子各 方面对其作了一些改进,以提高其运算速度和全局寻优的性能,然后用改进的 改进遗传算法与LMBP算法结合用于神经网络的全局寻优。最后将所构建的基于 改进遗传算法和LMBP算法的非线性自回归神经网络应用于都江堰灌区渠首岷 江上游来水预测的实验与仿真表明,本文所构建的基于IGA算法与LMBP算法相
结合的NARBP预测模型的预测精度、预测平均合格率、预测模型的稳定性等指

标比线性的AR模型和没经过算法改进的NARBP的效果都好,进而验证了本文所
建立模型及算法的有效性和优越性。

四川大学硕士学位论文

6.2展望
对于非线性时间序列的预测仍将是未来几年的研究热点,本文所构建的模 型在这个课题方面有一定的通用性,但是这个模型本身还有许多需要研究的方 面:对BP神经网络模型神经元节点的传递函数没有进行深入的研究;.隐含层神

经元的确定是由试算确定的,没有理论依据,缺乏科学性;在算法方面,BP算 法的改进仍在研究中。遗传算法也还在不断的发展与研究中,遗传算法与BP 神经网络模型结合的方式也需要再研究。此外,引入一些新的技术与方法在本 模型中以提高本模型的通用性与优越性也是进一步研究的需要。
l、在神经元节点的传递函数方面,可以寻求更好的函数(比如小波基函数)

来替代S型函数,以进一步提高神经网络的非线性映射能力。 2、引入或设计更好的改进BP算法,使模型的收敛速度和训练精度提高, 这需要进一步的研究与实验。 3、遗传算法与BP神经网络结合方面,可以尝试通过遗传算法优化神经网 络结构,以弥补现在采用试算的方式来确定网络结构的不足。
4、在实际预测中,如果能够在模型中,加入外部影响因子项,那么实际预 测效果应该会更好。

由于时间仓促和本人水平有限,本论文中尚存在许多不足与疏漏之处,希
望得到各位专家、老师和同学的不吝教导和指正,本人不胜感激。

参考文献

参考文献
[1]霍俊编著.实用预测学.第三册。实际序列预测分析.中国发明创造者基金会。中国预测研 究会.1984。9 [2]George E.Box。GwilyIⅡM.Jenkins,Gregory 控制。中国统计出版社.1999.
C.

Reinsel,时间序列分析预测与

[3]杜金观,项静怡,戴俭华编著.时间序列分析一建模与预测.安徽教育出版社.1997
年5月

“]王科俊,王克成著.神经网络建模,预测与控制.哈尔滨工业大学出版社.1996.12 【5]苑希民,李鸿雁,流讨坤,崔广涛.神经网络和遗传算法在水科学领域的应用.中国水
利水电出版社.2002,8 [6]夏安邦,王硕.定量预测引论.东南大学出版社,2001:卜229 [6]王小乎。曹立明著.遗传算法理论、应用及软件实现.西安交通大学出版社.2002.1 [7]焦李成著.种经网络系统理论.西安电子科技大学出版社.1996:1-58 [8]Mclulloch■,Pitts—A
Logical Calculus of the Ideas Immanent in Neryous

Activity.Bulletin of Mathematical Biophysics.1943,7



[9]B.Widrow [IO]M.Minsky

and M.Hoff.1960 IRE 1『ESc0N Conr.Record:96—104。Aug.1960 and S.Papert。Perciptrons。MIT Press.1969 Distributed Processing:Exploration in

[II]D.E.Rumelhart and McClelland.Parallel

the Microstructure of cosnition.Cambridge.MANIT

Press.

1986

[12]D.E.Goldberg.Genetic algorit|lⅢs

in

search。optimization,and machine

learning.Addison-Wesley,Publishing Company,INC.1989:卜180

[13]J.1t.110lland.Adaptation

in natural

and

artificial systems.University of

Michigan Press,Michigan.1975

[14]Kohonen

T.An Introduction to

Neural Computing.Neural

Networks.1988.V01.

1(1):3—16P

[15】Lippmannn

R P AIl Introduction to Computing with Neural

Nets[,T].IEEE

ASsP

参考文献

MIGAzines.

1987.4(Z):4-22P

[16]Holland J’lL基因算法.科学(中译本).1992。(11);22—27 [17]Holland
J.H.Adaptation
in Natural

and

Artificial

Systems.2nd

ed.Cambridge。MA:NIT Press.1992:l—186

[18]高隽编著.人工神经网络原理及仿真实例.2003年08月 [19]Kolmogorov九N.
Variables by On the Representation of Continuous Functions of Several of Continuous Functions of

Superposition

One

Variable and

Addition.DokladyAkademi ia Nauk

SSS兄1957。114(5):953—956P

[20]靳蕃.神经计算智能基础.成都:西南交通大学出版社.2000.1

【21]张成乾。张国立编著.系统辨识与参数估计.北京:机械工也出版社.1986.11:86一III [22]候嫒彬,汪梅,王立琦编著。系统辨识及其MATLM3仿真.北京?辩学出版社.2004.2:
53--143

[23】王祯学,古中鐾编著.系统辨识与自适应控制.四川科学出饭社.1998.3:l一84
[24]张贤达著.现代信号处理.北京:清华大学出版社.1995:87—92 [25]Kano M,Kawato
M et

a1.Learning trajectory

control of



redundant

arm

by

feedback—error—learning.IEICE Technical

Report.1989(463):1-6


[26]Nevrton

R T&Xu Y S.Neural network control of

space

manipulator.IEEE Control

Systerms.Dec 1993,14—22

[27]Gomi

H&Kawato H.Neural

network

control for



closed—loop

sustem

using

feedback-error—learning.Neural Networks.1993,6:933—946

[28]Psaltis D

et a1.A multilayered neural network

controller.IEEE Control Systems

MIGAzine.Aprel,19鹊,17_24 [29]Saerens


J&Soquet气A neural

controller.Proceedings of

1st IEE conL

On NN.1989.211—215

[30]Nguyen
neural

D&Widrow B.The

track
of

backer—upper

all

example of self-learning in

networks.Proceedings

international

joint

conference

on

Neural

Networks,Washington Dc.1989。2:11357411363

[31]安鸿志,陈敏.非线性时间序列分析[砌,上海科学技术出版社.1998年8月.第一版
60—72

[32]王洪元,史国栋主编.人工神经网络技术及其应用.北京:中国石化出版社,2002年12
69

参考文献





[33】魏海坤编著.神经网络结构设计的理论与方法.北京:国防工业出版社.2005年2月 [34]闻新.周露,李翔,张宝伟编著.IdATIAB神经网络仿真与应用.北京:科学出版社.2003 年7月 [35]郑丽敏主编.人工智能与专家系统原理及其应用.中国农业出版社.2004年10
月.290-328

【36】玄光男【日】,程润伟,汪定伟,唐加福,黄敏译.遗传算法与工程{殳计.科学出版社,
2000

【37]李敏强,寇纪淞,林丹,李书全.遗传算法的基本理论与戍用.科学出版社。2002
【38]金菊良。丁晶著.遗传算法及其在水科学中的应用四川大学出版社.2000年8月

139]雷英杰,张善文,李续武,周刨明编著.~IATLAB遗传算法工具箱及应用.西安电子科 技大学出版社.2005年4月

[40]中华人民共和国水利部sL250一2000水文情报预测规范.北京;中国水利水电出版
社,2000

[41]袁振洲.应用自回归积分移动平均法预测铁路货源货流发展趋势.铁道学报.1996年
4月

[42】徐峰,王志芳,王宝圣.AIc模型应用于振动信号趋势预测的研究[J].清华大学学报
(自然科学版).1999年04期

[43]杨红卫,何晨.基于人工神经网络的毫米波雨衰减预测[J].上海交通大学学报,2001.
35(1):13-16

[44]吴微,陈维强.用BP神经网络预测股票市场涨跌[J】.大连理工大学学报.2001。41(1):
9—15

[45]施式亮,刘宝深.基于神经网络的煤矿安全性预测模型及应用[J】.中国安全科学学
报,1999,9(3):23—26

[46]张栋,蔡开元.基于遗传算法的神经网络两阶段学习方案仁.TJ.系统仿真学报.2003,
15;8): 1088—1090页

作者攻凄颅卜学位期问科研成果简介

作者攻读硕士学位期间科研成果简介
l。硕士研究生期『BJ发表的文章
罗风曼.周新,占,古钟璧.水资源规划智能决策支持系统的结构研究.人民黄河,2005.8
30-3l

2.硕士研究生期『日J参与的课题
(1)水资源规划智能决策支持系统 (2)都江堰溥区渠茸岷江上游来水预测 (3)都江堰灌区榘首配水系统

7l

声明

声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的
研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含 其他人已经发表或撰写过的研究成果,也不包含为获得四川大学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡

献均己在论文中作了明确的说明并表示谢意。 本学位论文成果是本人在四JwtJc学读书期『日J在导师指导下取得的,论文成
果,f四川大学所有,特此声明。

学位缴作者签名。弘受
导 师 签名

签字日期.游j月心F1
签字日期:2彩辟,月2广只

学位论文版投使用授权书

学位论文版权使嗣授权书
本学绽论文{挈者宠全了勰四列大学有关缳磐、镬援学您沦交爨髓是,裔投 强整萍离濑象有关嚣秘或辍搦送交论文翡复露箨_帮磁焱,兔浮论文被套阗移偌 阅。本人授权魍j||大学可以搀学位论文的全部残瓤分内容编入骞关数掇痒逃镫 捡索,霹以采瘸影印、缝鼯或扫攒繁爱皋《筝段绦存、汇编学整论文? (保密的学位论文在解密后适用本授权书)

学位论文作者签名:

罗熊

导师签字:/季侈∥易一


签字掰期;Ⅺg年r胃西西
学位论文千#者毕遭看轰淘:

镰字日躅:劾嬲莎牮y-冀之产日

王襻她撕窀辱嘶移哗纷冁船子。卿7殍
遴{羲筑:缝: 女#编;





时光飞逝,三年的硕士研究生学习生涯即将结束。回首这三年所承载的学 习、科研、生活,其中的努力、探索、乐趣等等,不免感慨。 这段求知与科研的历程,以及学位论文完成的过程中,离不开两位导师古 钟璧教授和周新志副教授的谆谆教诲和悉心指导。古老师的厚德教学,所推崇 和践行的海纳百川、有容乃大的气概与胸襟,以及教书解惑外,注重学生的内 外兼修特别是人文素养的培养,这些对我均受益匪浅。周老师的严谨治学,对 待学术和科研的一丝不苟与不断探索,个人丰富的专业知识,精湛的学术造诣, 以及正直坦诚、为人师表的优秀品质,也将让我终生受益。非常感谢两位老师 在我论文的选题、定位、成稿过程中给予的精心指导。值此论文完成之际,衷
心向两位导师表示崇高的敬意与深深地感谢!

在作课题期间,我们水利模型组的组长贺新博士、赵成萍老师在课题中所
提供的资料、所开展的与水利学院的老师和都江堰管理局的领导、高级工程师

以及组问的各种研讨会,为课题的完成提供了好的研究条件与氛围,非常感谢 他们,特别感谢同组的丁宁师弟在自回归预测部分所作的工作。 在智能控制研究所作课题和论文期间,得到了所里各位老师和同学、师弟 师妹们提供的各种帮助与方便之处,在此一并呈上感激之情。 在四JIl大学电子信息学院2003级智能控制的这个集体中,杨真、陈瑜、卫 朝霞、李敬、费克玲、孙天健、孙锐、陈鹏、胡敬鹏、艾龙,各位同级同学各 具特色,塌实、认真、搞笑,幽默…,在这个奋进、团结、融洽的集体里,我的 研究生生涯过得很多彩,我的论文也在互相加油与“比较”中愉悦地完成,一 直想对你们说:很幸庆遇到你们,很幸庆和你们是同窗! 在这段大学毕业几年后再深造、完成学业的日子里,时时有父母、公公婆 婆、丈夫和女儿给予的物资、精神和生活上的各种支持相伴,在此谨表达我对 他们深深的谢意与无限的爱! 衷心感谢所有关心、支持、帮助过我的所有的人们!

时间序列预测模型及其算法研究
作者: 学位授予单位: 罗凤曼 四川大学

参考文献(47条) 1.霍俊 实用预测学,第三册,实际序列预测分析 1984 2.George E Box.Gwi lym M Jenkins.Gregory C Reinsel 时间序列分析预测与控制 1999 3.杜金观.项静怡.戴俭华 时间序列分析一建模与预测 1997 4.王科俊.王克成 神经网络建模、预测与控制 1996 5.苑希民.李鸿雁.流树坤.崔广涛 神经网络和遗传算法在水科学领域的应用 2002 6.夏安邦.王硕 定量预测引论 2001 7.王小平.曹立明 遗传算法理论、应用及软件实现 2002 8.焦李成 神经网络系统理论 1996 9.Mclul loch W.Pitts W A Logical Calculus of the Ideas Immanent in Nervous Activity 1943(07) 10.B Widrow.m Hoff 1960 IRE WESCON Conr.Record:96-104 1960 11.M Minsky.S Papert Perciptrons 1969 12.D E Rumelhart.McClelland Parallel Distributed Processing:Exploration in the Microstructure of cognition 1986 13.D E Goldberg Genetic algorithms in search,optimization,and machine learning 1989 14.J H Holland Adaptation in natural and artificial systems 1975 15.Kohonen T An Introduct ion to Neural Comput ing 1988(01) 16.Lippmannn R P An Introduction to Computing with Neural Nets 1987(02) 17.Holland J H 基因算法 1992(11) 18.Holland J H Adaptation in Natural and Artificial Systems 1992 19.高隽 人工神经网络原理及仿真实例 2003 20.Kolmogorov A N On the Representation of Continuous Functions of Several Variables by Superposition of Continuous Functions of One Variable and Addition 1957(05) 21.靳蕃 神经计算智能基础 2000 22.张成乾.张国立 系统辨识与参数估计 1986 23.候媛彬.汪梅.王立琦 系统辨识及其MATLAB仿真 2004 24.王祯学.古中璧 系统辨识与自适应控制 1998 25.张贤达 现代信号处理 1995 26.Kano M.Kawato M Learning trajectory control of a redundant arm by feedback-error-learning 1989(463) 27.Newton R T.Xu Y S Neural network control of a space manipulator 1993 28.Gomi H.Kawato M Neural network control for a closed-loop sustem using feedback-error-learning 1993 29.Psaltis D A multilayered neural network controller 1988 30.Saerens K J.Soquet A A neural controller 1989

31.Nguyen D.Widrow B The track backer-upper an example of self-learning in neural networks 1989 32.安鸿志.陈敏 非线性时间序列分析 1998 33.王洪元.史国栋 人工神经网络技术及其应用 2002 34.魏海坤 神经网络结构设计的理论与方法 2005 35.闻新.周露.李翔.张宝伟 MATlAB神经网络仿真与应用 2003 36.郑丽敏 人工智能与专家系统原理及其应用 2004 37.玄光男.程润伟.汪定伟.唐加福.黄敏 遗传算法与工程设计 2000 38.李敏强.寇纪淞.林丹.李书全 遗传算法的基本理论与应用 2002 39.金菊良.丁晶 遗传算法及其在水科学中的应用 2000 40.雷英杰.张善文.李续武.周创明 MATLAB遗传算法工具箱及应用 2005 41.中华人民共和国水利部 SL 250-2000.水文情报预测规范 2000 42.袁振洲 应用自回归积分移动平均法预测铁路货源货流发展趋势[期刊论文]-铁道学报 1996(z1) 43.徐峰.王志芳.王宝圣 AR模型应用于振动信号趋势预测的研究[期刊论文]-清华大学学报(自然科学版) 1999(4) 44.杨红卫.何晨.诸鸿文.宋文涛 基于人工神经网络的毫米波雨衰减预报[期刊论文]-上海交通大学学报 2001(1) 45.吴微.陈维强.刘波 用BP神经网络预测股票市场涨跌[期刊论文]-大连理工大学学报 2001(1) 46.施式亮.刘宝琛 基于神经网络的煤矿安全性预测模型及应用[期刊论文]-中国安全科学学报 1999(3) 47.张栋.蔡开元 基于遗传算法的神经网络两阶段学习方案[期刊论文]-系统仿真学报 2003(8)

本文链接:http://d.g.wanfangdata.com.cn/Thesis_Y994029.aspx 授权使用:复旦大学图书馆(fddxtsg),授权号:4f8ccaaa-eb24-422d-ad79-9ddf01750d38 下载时间:2010年8月27日



更多相关文章:
时间序列分析开题报告
分析等),统计模型的建立与推断,以及关 于时间序列的最优预测、控制与滤波等...[10] 张利.基于时间序列 ARMA 模型分析预测算法研究及系统实现[D].江苏大 ...
多层时间序列回归模型方法综述
多水平 Poisson 回归 多水平时间序列分析 多元多水平模型 多水平结构方程模型 虽然多层统计模型应用于不同的研究方向有不同的模型, 但这些模型的基本 原理是相同的...
基于遗传算法的BP神经网络时间序列预测算法及其应用_图文
至今,各行各业的研究人员已经建立了许多的时间序列预测模型及算法,这些 预测算法针对线性系统的时间序列预测具有很好的效果。但是, ...
时间序列分析方法及应用7
增长为例研究 学生姓名:学号: 指导教师:职称: 院系:数学与统计学院 专业班级:...而且运用时间序列模型还可以预测和控制现象 的未来行为, 由于时间序列数据之间的...
时间序列相关算法
(本篇文章是用于瓦斯涌出量的分析, 不是危险源头的辨识, 但是关于时间序列数据...正向云算法与逆向云算法是云模型理论的两个最重要的算法。通过正向云算法 , ...
时间序列分析
时间序列分析简介它包括一般统计分析(如自相关分析,谱分析等),统计模型的建立与...时间序列分析具体算法编辑 用随机过程理论和数理统计学方法,研究随机数据序列所...
时间序列分析与动态数据建模
时间序列建模分析 70页 免费 时间序列分析-建模与预测... 6页 2下载券 时间...伯格在谱估计准则的提出和具体算法上有所创 新,由此演变出来的算法有很多种,被...
时间序列预测性诊断分析方法研究及应用
基于目前时间序列可预测性诊断分析方法的研究并不是...近似熵的实用快速算法(The fast algo-rithm of ...预测是可行的,且比利用传统的线性预测模型所获得的...
基于ARIMA模型算法的频谱时间序列预测分析
《科技创新导报》2011 年第 15 期 摘要:结合频谱时间序列的特点,选择 ARIMA 模型作为预测模型,通过 ARIMA 模型算法的 流程分析,初步论证预测模型及预测精度的可靠...
时间序列分析作业
截取前 1200 个数据进行理 分析,然后建立模型。之 《时间序列分析与应用》 ...实数遗传算法的改进研究[J]. 生物数学学报. 2006(01) [3] 孙晓云,高鑫,王鹏...
更多相关标签:

All rights reserved Powered by 甜梦文库 9512.net

copyright ©right 2010-2021。
甜梦文库内容来自网络,如有侵犯请联系客服。zhit325@126.com|网站地图