课材料三：
第二节 分布函数(Distribution function)数学期(Expectation)
方差(Variance)
节介绍概率分布函数数学期方差等方面基础知识
概率(Probability)
1概率定义(Definition of Probability)
然界类社会中着两类现象类决定性现象特征定条件必然会发生现象类机现象特征基条件变情况观察试验结果会换句话说试验观察言会时出现种结果时出现样结果呈现出种偶然情况种现象称机现象
机现象偶然性面必然性面种必然性表现量试验中机事件出现频率稳定性机事件出现频率常某固定常数附变动种规律性称统计规律性
频率稳定性说明机事件发生性机事件身固定意志改变种客观属性进行度量
机事件A数P（A）表示该事件发生性数P（A）称机事件A概率概率度量机事件发生性
机现象光知道出现什结果价值指出种结果出现性具意义概率概念机现象进行定量研究建立新数学分支——概率
概率定义
定义事件域F集合函数P称概率果满足三条件：
（i）P（A）≥0切F
（ii）P（Ω）1
（iii）i12…两两互相容
性质（iii）称列加性（conformable addition）完全加性
推1：事件A
推2：事件概率0
推3：
2条件概率(Conditional Probability)
果P（B）＞0记称P（A|B）事件B发生条件事件A发生条件概率
转化：果（P（A）＞0）称概率法原理
推广法原理：
中＞0
3全概率公式贝叶斯（Bayes）公式
设事件A1A2…An……样空间Ω分割AiAjφi≠j：
里AiB两两互相容
公式称全概率公式
利全概率公式
公式称贝叶斯公式
贝叶斯公式概率数理统计中着方面应假定A1A2…导致试验结果原P（Ai）称先验概率反映种原发生性般验总结次试验前已知道现试验产生事件B信息助探讨事件发生原条件概率P（Ai|B）称验概率反映试验种原发生性新知识
4事件(Random event)独立性(Independence)
1）两事件独立性
定义 事件AB
P（AB）P（A）P（B）
称统计独立简称独立
推1 事件独立P（B）＞0
P（A|B）P（A）
[证明]条件概率定义
事件AB相互独立A关B条件概率等条件概率P（A）表示B发生事件A否发生没提供消息独立性种关系数学加严格定义
推2 事件AB独立列事件相互独立：
[证明]
B相互独立立刻推出相互独立推出A相互独立
2）事件独立性
定义 n事件A1A2…An组合1≤i＜j＜…≤n成立着
称A1A2…An相互独立
里第行式子第二行式子等等应满足
等式
二机变量(Random Variable)概率分布函数(Probability Distribution Function)
1机变量(Random Variable)
果A某机事件定通示性函数数值发生联系：
样试验结果数表示数着试验结果变化样点函数种量称机变量机变量分离散型机变量连续型机变量
2概率分布函数（pdfprobability density function）
称F（x）P{＜x}＜x＜机变量分布函数cdf连续型机变量存函数f(x)
f（x）称机变量（分布）密度函数（density function）
3机量（Random Vector）分布
机现象中次试验结果数描述时数描述试验结果量（Χ1Χ2…Χn）称n维机量
机量联合分布函数离散型连续型分离散型场合概率分布集中限列点项分布例子连续型场合存着非负函数f(x1x2…
xn)
里f(x1…xn)称密度函数满足两条件
≥0
般(ξη)二维机量分布函数F(xy)F(xy)出ξη分布函数事实
＜＜＜
理
＜
F1(x)F2(y)称F(xy)边际分布函数（Marginal Distribution Function）
[例] F(xy)连续型分布函数密度函数f(xy)
F1(x)连续型分布函数密度函数
理F2(x)连续型分布函数密度函数
f1(x)f2(y)边际分布密度函数
[二元正态分布] 函数
里abr常数＞0＞0|r|＜1称二元正态分布密度函数
定理：二元正态分布边际分布正态分布
条件分布(Conditional Distribution)
离散型：已知ξxi（p1(xi)＞0）事件{ηyi}条件概率
式子定义机变量η关机变量ξ条件分布
连续型：定ξx条件η分布密度函数
理行定ηy条件ξ分布密度函数
里然求f2(y)≠0
定理：二元正态分布条件分布然正态分布
均值 x线性函数结统计问题中重
4机变量独立性
定义 设ξ1…ξnn机变量意x1…xn成立
＜＜＜＜ （1）
称相互独立
分布函数联合分布函数（1）等价切x1…xn成立
种场合机变量（边际）分布函数唯确定联合分布函数(Joint Distribution Function)
离散型机变量（1）等价组取值（x1…xn）成立
连续型机变量条件（1）等价形式切x1…xn成立
里f(x1…xn)联合分布密度函数(Joint density function)fi(xi)机变量密度函数
外注意相互独立中意r(2≤r＜n）机变量相互独立例证明相互独立
＜＜＜＜＜
＜＜＜
＜＜
机变量独立性概念概率中基概念重概念
5机量变换(Transformation)分布
密度函数求分布时
＜＜
（1）
存唯反函数密度函数
（2）
较（1）（2）知
中J坐标变换雅行列式(Jacobian Determinant)
里假定述偏导数存连续
机变量函数独立性
定理 ξ1…ξn相互独立机变量相互独立里意元函数
三数字期方差
1数学期
般果X机变量概率密度函数f(x)期值
许问题中仅需知道E[X]想知道X某函数g(X)数学期
样方法定义元机变量函数数学期假设机变量X1X2…Xn联合概率密度函数
果机变量离散面公式里积分号号代
利定义列结果
（1）果a0a1…an常数
（2）果X1X2…Xn相互独立机变量
2方差(Variance)协方差(Covariance)
机变量Xr阶中心矩定义记果称X分布方差X方差常常记正方根称X标准差关方差公式
XY间协方差记
XY间协方差间相关性测度果XY相互独立0导致面相关系数定义XY间相关系数记定义
定义取值定11间果XY相互独立0果YaX+b里ab等0常数|ρXY|1时说XY完全相关XY值越接线性关系|ρXY|值接1
利定义面结果：果a0a1…an常数X1X2…Xn机变量
特
3机量协方差矩阵
机量言相似定义期协方差矩阵X表示机变量组成量
假设X期值
机量期值等分量期值组成量
定义机量X协方差矩阵(Covariance Matrix)
X协方差矩阵常常记正定矩阵证明：
意零量 构造变量
Y方差
证明非负定
线性变换量均值协方差
果Pm×n常数矩阵m≤nZPXm维机量
a）
b）
四条件分布(Conditional Distribution)条件数学期(Conditional Expectation)条件方差（Conditional Variance）
条件均值（Conditional Mean）条件分布均值定义
条件均值函数
条件方差（Conditional Variance）
条件方差条件分布方差：
（离散时）
利式简化计算
：
记号Ex[·]表示X值期
重公式
1）
思考：否成立？
2）
3）方差分解公式(Decomposition of Variance )
推导：分两步先证明
i）
：
进
考察
∴
ii）意Y：
XE（Y|X）相关
方差分解公式：
方差分解结果表明双变量分布中y变差出两源：
1E[y|x]x变化事实产生变差回方差（Regression Variance）：
回方差Varx[E[y|x]]
2条件分布中y围绕条件均值变化产生变差残差方差(Residual Variance)：
残差方差Ex[Var[y|x]]
样 Var[y]回方差 + 残差方差
方差分解公式非常重公式常应寻求方差估计量方法中实际例子
[例子] 设XY服二元正态分布联合分布已知道定X条件条件分布然正态分布
然
－1＜ρ＜1条件＞满足方差分解公式容易知道
六极限分布理(Limit Distribution Theory)
1 极限定义
1）分布函数弱收敛(Weak Convergence of the Distribution Function)
定义1 分布函数列{Fn(x)}果存非降函数F(x)
F(x)连续点成立称Fn(x)弱收敛F(x)记
中心极限定理分布函数弱收敛例子
2）机变量收敛性(Convergence of the Random Variable)
概率中极限定理研究机变量序列某种收敛性机变量收敛性定义导致极限定理机变量收敛性确种定义理解极限定义分析线性回样结果重现讨问题
a）分布收敛(Convergence in Distribution)
分布函数弱收敛讨启发引进定义
定义2（分布收敛） 设机变量ξnξ分布函数分Fn(x)F(x)果称{ξn}分布收敛ξ记
b）概率收敛(Convergence in Probability)
定义3（概率收敛） 果
意ε＞0成立称概率收敛记
c）r阶收敛
定义4（r阶收敛） 设机变量＜＜中r＞0常数果 称阶收敛记
面定理揭示r阶收敛概率收敛关系
定理8
2）极限应
贝努里分布普松分布
a）似计算
n次贝努里试验中正出现k次成功概率b（knp）：
中q1pb(knp)k012…n称二项分布
应问题中常常遇样贝努里试验中相说np积适中种情况便似公式
定理（普松） 贝努里试验中pn代表事件A试验中出现概率试验总数n关果时
b) 中心极限定理(Central Limit Theorem)
X1X2…Xn…串相互独立相分布机变量序列
讨标准化机变量
极限分布
林德贝格勒维（Lindeberg and Levy）建立列中心极限定理
定理2（林德贝格勒维） 0＜＜
＜
2 契雪夫（Chebyshevs Inequality）等式
具限方差机变量X
≥≤ （1）
中正数
[证明] F(x)X分布函数显然
≥
≤
≤ （2）
证等式（1）时（1）改写成
＜≥
≤ （3）
契雪夫等式利机变量X数学期EX方差X概率分布进行估计例（3）断言X分布什X落中概率契雪夫等式利数学期方差描述机变量变化情况理研究实际应中价值
3数定律
定义 ξ1ξ2…ξn…机变量序列令
果存样常数序列a1a2…an…意ε＞0恒
＜
称序列{ξn}服数定律（数法）
契雪夫数定律 设X1X2…Xn…两两相关机变量构成序列机变量限方差公界C
≤C≤C…≤C…
意＞0皆
＜1 （4）
[证明] {ξk}两两相关
≤
契雪夫等式
＜≥≥
1≥＜≥
时（4）定理证
贝努里数定律 设n次贝努里试验中事件A出现次数p事件A次试验中出现概率意＞0
＜1
[证明] 定义机变量
≤
≤≤
贝努里数定律建立量重复独立试验中事件出现频率稳定性正种稳定性概率概念客观意义贝努里数定律提供通试验确定事件概率方法然频率概率p较偏差性便通做试验确定某事件发生频率作相应概率估计种方法称参数估计数理统计中研究课题参数估计重理基础数定律
七实例
次全民选举中总5候选ABCDE竞选总统全民投票结果：
ABCDE 33
BDCEA 16
CDBAE 3
CEBDA 8
DECBA 18
ECBDA 22
问谁总统？
请制定合理选举规5候选选
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
第二节 分布函数(Distribution function)数学期(Expectation)
方差(Variance)
节介绍概率分布函数数学期方差等方面基础知识
概率(Probability)
1概率定义(Definition of Probability)
然界类社会中着两类现象类决定性现象特征定条件必然会发生现象类机现象特征基条件变情况观察试验结果会换句话说试验观察言会时出现种结果时出现样结果呈现出种偶然情况种现象称机现象
机现象偶然性面必然性面种必然性表现量试验中机事件出现频率稳定性机事件出现频率常某固定常数附变动种规律性称统计规律性
频率稳定性说明机事件发生性机事件身固定意志改变种客观属性进行度量
机事件A数P（A）表示该事件发生性数P（A）称机事件A概率概率度量机事件发生性
机现象光知道出现什结果价值指出种结果出现性具意义概率概念机现象进行定量研究建立新数学分支——概率
概率定义
定义事件域F集合函数P称概率果满足三条件：
（i）P（A）≥0切F
（ii）P（Ω）1
（iii）i12…两两互相容
性质（iii）称列加性（conformable addition）完全加性
推1：事件A
推2：事件概率0
推3：
2条件概率(Conditional Probability)
果P（B）＞0记称P（A|B）事件B发生条件事件A发生条件概率
转化：果（P（A）＞0）称概率法原理
推广法原理：
中＞0
3全概率公式贝叶斯（Bayes）公式
设事件A1A2…An……样空间Ω分割AiAjφi≠j：
里AiB两两互相容
公式称全概率公式
利全概率公式
公式称贝叶斯公式
贝叶斯公式概率数理统计中着方面应假定A1A2…导致试验结果原P（Ai）称先验概率反映种原发生性般验总结次试验前已知道现试验产生事件B信息助探讨事件发生原条件概率P（Ai|B）称验概率反映试验种原发生性新知识
4事件(Random event)独立性(Independence)
1）两事件独立性
定义 事件AB
P（AB）P（A）P（B）
称统计独立简称独立
推1 事件独立P（B）＞0
P（A|B）P（A）
[证明]条件概率定义
事件AB相互独立A关B条件概率等条件概率P（A）表示B发生事件A否发生没提供消息独立性种关系数学加严格定义
推2 事件AB独立列事件相互独立：
[证明]
B相互独立立刻推出相互独立推出A相互独立
2）事件独立性
定义 n事件A1A2…An组合1≤i＜j＜…≤n成立着
称A1A2…An相互独立
里第行式子第二行式子等等应满足
等式
二机变量(Random Variable)概率分布函数(Probability Distribution Function)
1机变量(Random Variable)
果A某机事件定通示性函数数值发生联系：
样试验结果数表示数着试验结果变化样点函数种量称机变量机变量分离散型机变量连续型机变量
2概率分布函数（pdfprobability density function）
称F（x）P{＜x}＜x＜机变量分布函数cdf连续型机变量存函数f(x)
f（x）称机变量（分布）密度函数（density function）
3机量（Random Vector）分布
机现象中次试验结果数描述时数描述试验结果量（Χ1Χ2…Χn）称n维机量
机量联合分布函数离散型连续型分离散型场合概率分布集中限列点项分布例子连续型场合存着非负函数f(x1x2…
xn)
里f(x1…xn)称密度函数满足两条件
≥0
般(ξη)二维机量分布函数F(xy)F(xy)出ξη分布函数事实
＜＜＜
理
＜
F1(x)F2(y)称F(xy)边际分布函数（Marginal Distribution Function）
[例] F(xy)连续型分布函数密度函数f(xy)
F1(x)连续型分布函数密度函数
理F2(x)连续型分布函数密度函数
f1(x)f2(y)边际分布密度函数
[二元正态分布] 函数
里abr常数＞0＞0|r|＜1称二元正态分布密度函数
定理：二元正态分布边际分布正态分布
条件分布(Conditional Distribution)
离散型：已知ξxi（p1(xi)＞0）事件{ηyi}条件概率
式子定义机变量η关机变量ξ条件分布
连续型：定ξx条件η分布密度函数
理行定ηy条件ξ分布密度函数
里然求f2(y)≠0
定理：二元正态分布条件分布然正态分布
均值 x线性函数结统计问题中重
4机变量独立性
定义 设ξ1…ξnn机变量意x1…xn成立
＜＜＜＜ （1）
称相互独立
分布函数联合分布函数（1）等价切x1…xn成立
种场合机变量（边际）分布函数唯确定联合分布函数(Joint Distribution Function)
离散型机变量（1）等价组取值（x1…xn）成立
连续型机变量条件（1）等价形式切x1…xn成立
里f(x1…xn)联合分布密度函数(Joint density function)fi(xi)机变量密度函数
外注意相互独立中意r(2≤r＜n）机变量相互独立例证明相互独立
＜＜＜＜＜
＜＜＜
＜＜
机变量独立性概念概率中基概念重概念
5机量变换(Transformation)分布
密度函数求分布时
＜＜
（1）
存唯反函数密度函数
（2）
较（1）（2）知
中J坐标变换雅行列式(Jacobian Determinant)
里假定述偏导数存连续
机变量函数独立性
定理 ξ1…ξn相互独立机变量相互独立里意元函数
三数字期方差
1数学期
般果X机变量概率密度函数f(x)期值
许问题中仅需知道E[X]想知道X某函数g(X)数学期
样方法定义元机变量函数数学期假设机变量X1X2…Xn联合概率密度函数
果机变量离散面公式里积分号号代
利定义列结果
（1）果a0a1…an常数
（2）果X1X2…Xn相互独立机变量
2方差(Variance)协方差(Covariance)
机变量Xr阶中心矩定义记果称X分布方差X方差常常记正方根称X标准差关方差公式
XY间协方差记
XY间协方差间相关性测度果XY相互独立0导致面相关系数定义XY间相关系数记定义
定义取值定11间果XY相互独立0果YaX+b里ab等0常数|ρXY|1时说XY完全相关XY值越接线性关系|ρXY|值接1
利定义面结果：果a0a1…an常数X1X2…Xn机变量
特
3机量协方差矩阵
机量言相似定义期协方差矩阵X表示机变量组成量
假设X期值
机量期值等分量期值组成量
定义机量X协方差矩阵(Covariance Matrix)
X协方差矩阵常常记正定矩阵证明：
意零量 构造变量
Y方差
证明非负定
线性变换量均值协方差
果Pm×n常数矩阵m≤nZPXm维机量
a）
b）
四条件分布(Conditional Distribution)条件数学期(Conditional Expectation)条件方差（Conditional Variance）
条件均值（Conditional Mean）条件分布均值定义
条件均值函数
条件方差（Conditional Variance）
条件方差条件分布方差：
（离散时）
利式简化计算
：
记号Ex[·]表示X值期
重公式
1）
思考：否成立？
2）
3）方差分解公式(Decomposition of Variance )
推导：分两步先证明
i）
：
进
考察
∴
ii）意Y：
XE（Y|X）相关
方差分解公式：
方差分解结果表明双变量分布中y变差出两源：
1E[y|x]x变化事实产生变差回方差（Regression Variance）：
回方差Varx[E[y|x]]
2条件分布中y围绕条件均值变化产生变差残差方差(Residual Variance)：
残差方差Ex[Var[y|x]]
样 Var[y]回方差 + 残差方差
方差分解公式非常重公式常应寻求方差估计量方法中实际例子
[例子] 设XY服二元正态分布联合分布已知道定X条件条件分布然正态分布
然
－1＜ρ＜1条件＞满足方差分解公式容易知道
六极限分布理(Limit Distribution Theory)
1 极限定义
1）分布函数弱收敛(Weak Convergence of the Distribution Function)
定义1 分布函数列{Fn(x)}果存非降函数F(x)
F(x)连续点成立称Fn(x)弱收敛F(x)记
中心极限定理分布函数弱收敛例子
2）机变量收敛性(Convergence of the Random Variable)
概率中极限定理研究机变量序列某种收敛性机变量收敛性定义导致极限定理机变量收敛性确种定义理解极限定义分析线性回样结果重现讨问题
a）分布收敛(Convergence in Distribution)
分布函数弱收敛讨启发引进定义
定义2（分布收敛） 设机变量ξnξ分布函数分Fn(x)F(x)果称{ξn}分布收敛ξ记
b）概率收敛(Convergence in Probability)
定义3（概率收敛） 果
意ε＞0成立称概率收敛记
c）r阶收敛
定义4（r阶收敛） 设机变量＜＜中r＞0常数果 称阶收敛记
面定理揭示r阶收敛概率收敛关系
定理8
2）极限应
贝努里分布普松分布
a）似计算
n次贝努里试验中正出现k次成功概率b（knp）：
中q1pb(knp)k012…n称二项分布
应问题中常常遇样贝努里试验中相说np积适中种情况便似公式
定理（普松） 贝努里试验中pn代表事件A试验中出现概率试验总数n关果时
b) 中心极限定理(Central Limit Theorem)
X1X2…Xn…串相互独立相分布机变量序列
讨标准化机变量
极限分布
林德贝格勒维（Lindeberg and Levy）建立列中心极限定理
定理2（林德贝格勒维） 0＜＜
＜
2 契雪夫（Chebyshevs Inequality）等式
具限方差机变量X
≥≤ （1）
中正数
[证明] F(x)X分布函数显然
≥
≤
≤ （2）
证等式（1）时（1）改写成
＜≥
≤ （3）
契雪夫等式利机变量X数学期EX方差X概率分布进行估计例（3）断言X分布什X落中概率契雪夫等式利数学期方差描述机变量变化情况理研究实际应中价值
3数定律
定义 ξ1ξ2…ξn…机变量序列令
果存样常数序列a1a2…an…意ε＞0恒
＜
称序列{ξn}服数定律（数法）
契雪夫数定律 设X1X2…Xn…两两相关机变量构成序列机变量限方差公界C
≤C≤C…≤C…
意＞0皆
＜1 （4）
[证明] {ξk}两两相关
≤
契雪夫等式
＜≥≥
1≥＜≥
时（4）定理证
贝努里数定律 设n次贝努里试验中事件A出现次数p事件A次试验中出现概率意＞0
＜1
[证明] 定义机变量
≤
≤≤
贝努里数定律建立量重复独立试验中事件出现频率稳定性正种稳定性概率概念客观意义贝努里数定律提供通试验确定事件概率方法然频率概率p较偏差性便通做试验确定某事件发生频率作相应概率估计种方法称参数估计数理统计中研究课题参数估计重理基础数定律
七实例
次全民选举中总5候选ABCDE竞选总统全民投票结果：
ABCDE 33
BDCEA 16
CDBAE 3
CEBDA 8
DECBA 18
ECBDA 22
问谁总统？
请制定合理选举规5候选选
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档