随机过程(第3版十二五普通高等教育本科规划教材)/中国科学技术大学数学教学丛书

作者简介

内容简介

第1章 引论
　　1.1 引言
　　1.1.1 基本概念和例子
　　随机过程是对一连串随机事件间动态关系的定量描述，它是在自然科学、工程科学、社会科学各领域研究随机现象的有力工具，其应用包罗万象：气象预报、天文观测、通信工程、原子物理、宇航遥控、生物医学、管理科学、运筹决策、计算机科学、经济分析、金融工程、人口理论、可靠性与质量控制等许许多多领域都离不开用随机过程的理论来建立各种数学模型。
　　一般，把一族随机变量定义为随机过程，英文叫stochastic process。“stocha-stic”一词源于希腊语，意思是“猜”，但这门科学不是乱猜，在研究随机过程时人们透过表面的偶然性找出必然的内在规律并以概率的形式来描述这些规律。从偶然中悟出必然正是这一学科的魅力所在。
　　随机过程的早期历史属于物理领域，人们可以追述到Gibbs，Bo1tzman，Poincare等人在统计力学中的研究以及后来Einstein，Wiener，1evy等人的开创性工作。Er-1ang等则在电话流中研究了Poisson过程，而整个学科的理论基础则是由Ko1mor-gorov和Doob奠定的，“Stochastic”这一用词也在这时流行，生灭过程是Fe11er首先引进的。Cramer和1evy研究了平稳过程。Xinchin，Pa1m发展了排队论中的过程理论。Doob则研究Markov过程和鞅，这些都是早期研究的重要里程碑。目前，这一学科仍在理论和应用两方面以空前的深度和广度在迅速发展着，下面对随机过程作正式定义。
　　定义1.1 随机过程就是一族随机变量{x(c)，t∈T}，其中c是参数，它属于某个指标集T，T称为参数集。
　　一般，t代表时间，当时也称随机过程为随机序列，对x(t)可以这样看：随机变量是定义在空间Q上的，所以是随而变化的，于是可以记为x(c，u)。当固定一次随机试验，即取定时，就是一条样本路径，它是t的函数，它可能是连续的，也可能是有间断点和跳跃的，这是我们通常所观测到的过程，另一方面固定了时间就是一个随机变量，其取值随着随机试验的结果而变化，变化有一定的规律，叫做概率分布，随机过程在时刻取的值称作是过程所处的状态，状态的全体称为状态空间，根据T及状态空间的不同我们可以对过程进行分类，依照状态空间可分为连续状态和离散状态；依参数集T，当T为有限集或可数集则称之为离散参数过程，否则称为连续参数过程，当T是高维向量则称x(t)是随机场。
　　例1.1 英国植物学家Brown注意到漂浮在液面上的微小粒子不断进行不规则的运动，这种运动叫做Brown运动，它是分子大量随机碰撞的结果，若记为粒子在平面坐标上的位置，则它是平面上的Brown运动，在统计物理中对它有深入的研究。
　　例1.2 一醉汉在路上行走，以概率p前进一步，概率1-p后退一步，以x(t)记他在街上的位置，则x(t)就是直线上的随机游动。
　　例1.3 神经细胞在细胞膜的位势达到某一临界值C时就要兴奋。刺激和抑制两种脉冲以一定的速率（比如Poisson过程）抵达细胞，前者使位势升高，后者使位势降低，升降的幅度服从相同的分布H (x)。神经细胞在兴奋过后位势恢复到o，过程再度重复，记2为两次兴奋的间隔时间，并记又为时刻时细胞膜的位势，则过程的一次实现如图1.1所示。
　　图1.1 神经细胞的位势
　　例1.4 到达总机交换台的呼叫次数为Poisson过程，每次呼叫是相互独立的，而间隔时间服从指数分布，交换台在同一时间只能接通个呼叫，人们常要了解在某一时刻的排队长度以及呼叫的平均等待时间，这是一种排队模型。
　　例1.5 流行病学的研究中有如下模型：在时刻o时易感人群大小为x(O)，Y (O)是已受传染的人数，假定易感人群被传染的概率为p，则经过一段传染周期后（记为单位时间）x (O)中有x(1)没有染上病而Y(1)却受到传染，传染过程一直蔓延到再没有人会染上这种流行病时停止，于是，且当j≤i时有就是以上式为状态转移概率的Markov过程。
　　例1.6 设又(t)为信号流，它满足方程
　　其中。为实参数，代表误差，真正的信号x(t)并不可能观测到，人们所能观测到的是z(c)为噪声，从观测值Y(2)出发，检测出x(t)是通信工程中的重要课题，这是过程的预测与滤波问题。
　　例1.7 水库库容调度，记y(t)为(t，t+1)年间的水库蓄水量，它是随机的。M为每年年底固定的清库泄洪量，又，其中为大坝的设计库容，过程x(t)为一Markov过程，把水库库容改为商店仓库的库存模型类似。
　　例1.8 记x(t)为时刻t的商品价格，若x(t)适合线性模型
　　其中ak，Pi为实参数，z(t)为独立同分布的不可观测的随机变量，则x(t)服从ARMA模型一混合自回归滑动平均模型，这是在经济预测中十分有用的时间序列模型。
　　1.1.2 有限维分布和数字特征
　　知道了分布函数就能了解随机变量x。类似地，对随机过程{定义为过程的一维分布，x(c)的期望为过程的均值函数，记作。而则被定义为过程的方差函数， 不仅如此，我们还需要了解随机变量又(t1)与又(t2)的联合分布，这也就是过程在两不同时刻值的联合二维分布，记作，数字特征和称为过程的自相关函数和协方差函数，分别记为和。显然自相关函数和协方差函数有对称性，即对任何有和。当时。容易证明自相关函数和协方差函数是非负定的，以协方差函数为例，即对任何及任意实数，我们恒有
　　(1.1)
　　因为协方差运算有线性性质，由
　　知(1.1)成立，故它是非负定的， 进而我们定义随机过程的有限维分布族，它是全体，其中
　　(1.2)
　　知道了随机过程的有限维分布族就知道了过程{x(c)，t∈T}中任意几个随机变量的联合分布，也就完全了解了这些变量之间的相互依赖关系。有限维分布也有对称性，它与变量X的排序无关，对的任一置换有
　　有限维分布还有相容性，意思是当某些时高维分布的边缘分布与相应的低维分布是一致的，也即对有
　　有趣的是，若一族给定的分布函数有上述对称性和相容性则保证了存在一个随机过程，使它的有限维分布族正好就是给定的分布函数族，这是1931年由Ko1mogorov证明的相容性基本定理。
　　例1.9 设x，1为第n次独立地扔一六面骰子的结果，则为一随机过程，参数集T为{1，2， }。而状态空间为{1，2，3，4，5，6}。序列就是的一次可能的实现，均值函数，除方差函数为善外，协方差函数恒等于。任何有限维分布，其中F(x)为X1的分布函数。
　　当然这种独立情形是太过于简单了，对于大多数随机过程，x(t)之间是相依的，研究它们之间的相依关系是我们的主要课题，根据相依关系的不同，人们可以研究随机过程的不同类型。
　　1.1.3 平稳过程和独立增量过程
　　如果两个随机变量X1，X2的分布函数与对任何都是相等的，则称它们是同分布的，记作，类似地，如果一个随机向量与另一随机向量有相同的联合分布，则也称它们是同分布的，记作x皇y。有一类重要的随机过程，它处于某种概率平衡状态，其主要性质只与变量x(t)之间的时间间隔有关，而与我们考查的起始点无关，这类过程叫做平稳过程，具体而言我们有如下定义。
　　定义1.2 如果随机过程x(t)对任意的和任何有
　　(1.3)
　　则称为严格平稳的。
　　条件(1.3)很强也不易验证，所以退而求其次有所谓宽平稳或二阶平稳过程，引入如下定义。
　　定义1.3 如果随机过程的所有二阶矩存在并有及协方差函数Rx(t，s)只与时间差有关，则称为宽平稳的或二阶矩平稳的。
　　对于宽平稳过程，由于对，所以可以记为Rx(t-s)。显然对所有，即为偶函数，所以Rx(c)的图形是关于坐标轴对称的，其在o点的值Rx (0)就是过程的方差函数，即。
　　尽管x(t)之间常常不是相互独立的，但人们可以假定过程的增量之间是相互独立的，这就是如下定义。
　　定义1.4 如果对任意的，随机交量是相互独立的，则x(t)称为独立增量过程，如果进一步有对任意的，则过程称为有平稳独立增量的过程。
　　可以证明平稳独立增量过程的均值函数一定是6的线性函数，我们以后要介绍的Poisson过程和Brown运动都是这类过程，这两类过程是过程理论中的两块最重要的基石。
　　例1.10 设是一串独立同分布的随机变量，定义，则过程就是独立增量过程，一般称x，1为独立和。
　　重要的相依类型还有Markov链及Markov过程（这构成了第3章的主题）、更新过程和鞅等，更新过程是运筹学、排队论等管理学科中的重要工具；鞅是近代概率论及随机过程理论中的重要概念，受篇幅及课时限制都只能介绍最基本的概念而无法一一展开详细讨论，读者应注意到过程的分类不是绝对的，一个具体的过程可以同时属于上述多种类型，比如第2章要讨论的Poisson过程既有独立增量又有平稳增量，它既是连续时间的Markov链又是一类特殊的更新过程，若道程的参数为A，则Poisson过程又(t)减去均值函数即还是一个鞅。
　　1.2 条件期望和矩母函数
　　1.2.1 条件期望
　　要研究随机过程离不开讨论一族随机变量相互之间的关系，这时常要用到条件概率和条件期望这些基本的概念和工具，本节将对有关概念和工具作一简要回顾，学过概率论的读者都一定知道什么是事件的条件概率，即给定事件B发生时事件A发生的条件概率P(A 1 B)等于。但究竟给了随机变量Y的取值后另一随机变量又的条件期望是什么却未必能说清楚，先看离散型随机变量又和一般对所有使的y，定义给定Y=y时又取z的条件概率为
　　(1.4)
　　而给定，又的条件分布函数则定义为
　　(1.5)
　　相应地，给定的条件期望定义为
　　(1.6)
　　对一般的连续型随机变量往往为，(1.4)式没有意义，我们怎么来定义条件期望呢？常用的办法是如果对任何包含y的小区间△y总有，则定义。否则，若P，就可以定义
　　这里的表示使包含g的小区间的长度缩小为。除了个别例外的g值这一极限总是存在，相应地，定义给定Y=y时，又的条件分布函数为
　　(1.7)
　　记作。进一步，如果存在一非负函数（记为），使得对任何集合A恒有
　　(1.8)
　　且，则称为在给定Y=y时又的条件密度，不难看出条件分布函数是关于条件密度对变量z从到z的积分，即
　　(1.9)
　　要研究随机过程离不开讨论一族随机变量相互之间的关系，这时常要用到条件概率和条件期望这些基本的概念和工具，本节将对有关概念和工具作一简要回顾，学过概率论的读者都一定知道什么是事件的条件概率，即给定事件B发生时事件A发生的条件概率P(A 1 B)等于。但究竟给了随机变量Y的取值后另一随机变量又的条件期望是什么却未必能说清楚，先看离散型随机变量又和一般对所有使的y，定义给定Y=y时又取z的条件概率为
　　(1.4)
　　而给定，又的条件分布函数则定义为
　　(1.5)
　　相应地，给定的条件期望定义为
　　(1.6)
　　对一般的连续型随机变量往往为，(1.4)式没有意义，我们怎么来定义条件期望呢？常用的办法是如果对任何包含y的小区间△y总有，则定义。否则，若P，就可以定义
　　这里的表示使包含g的小区间的长度缩小为。除了个别例外的g值这一极限总是存在，相应地，定义给定Y=y时，又的条件分布函数为
　　(1.7)
　　记作。进一步，如果存在一非负函数（记为），使得对任何集合A恒有
　　(1.8)
　　且，则称为在给定Y=y时又的条件密度，不难看出条件分布函数是关于条件密度对变量z从到z的积分，即
　　(1.9)