计量济学数学基础
数学基础 (Mathematics)
第节 矩阵(Matrix)二次型(Quadratic Forms)
第二节 分布函数(Distribution Function)数学期(Expectation)方差(Variance)
第三节 数理统计（Mathematical Statistics）
第节 矩阵二次型(Matrix and its Quadratic Forms)
11 矩阵基概念运算
m×n矩阵表示：
矩阵加法较简单CA+Bcijaij+bij
矩阵法定义较特殊Am×n1矩阵Bn1×n矩阵CABm×n矩阵般讲AB≠BA运算成立：
l 结合律（Associative Law） (AB)CA（BC）
l 分配律（Distributive Law） A(B+C)AB+AC
问题：(A+B)2A2+2AB+B2否成立？
量（Vector）序数组行列排列 行量(row vector)行量列量(column vector)列量
果α标量αA[αaij]
矩阵转置矩阵(transpose matrix)记通行量变成相应列量
显然()′（+）′+
l 积转置（Transpose of production ）
l 逆矩阵（inverse matrix）果n级方阵(square matrix)AB满足ABBAI称AB逆矩阵显然结果成立：
12 特殊矩阵
1）恒等矩阵(identity matrix)
角线元素全1余全0记I
2）标量矩阵(scalar matrix)
形αI矩阵中α标量
3）幂等矩阵(idempotent matrix)
果矩阵具性质样矩阵称幂等矩阵
定理：幂等矩阵特征根1零
4）正定矩阵（positive definite）负定矩阵（negative definite）非负定矩阵(nonnegative ) 半正定矩阵（positive semidefinite ）非正定矩阵(nonpositive definite) 半负定矩阵（negative semidefinite）
意非零量＞0（＜0）称A正（负）定矩阵≥0（≤0）非负（非正）定矩阵果A非负定记A≥0果正定记A＞0协方差矩阵半正定矩阵结：
a）恒等矩阵单位矩阵正定
b）果正定正定
c）果正定逆矩阵正定
d）果n×m矩阵n＞m正定非负定矩阵
5）称矩阵（symmetric matrix）
果′称称矩阵
13 矩阵迹（trace）
n×n矩阵迹定义角线元素记结显然
1） （标量） 特例
2）
3）
4）特例
５）循环排列原 tr(ABCD)tr(BCDA)tr(CDAB)tr(DABC)
定理：实称矩阵A迹等特征根
A实称矩阵矩阵C中
14 矩阵秩(rank)
矩阵A行秩列秩定相等矩阵秩定义行秩列秩记r(A)加证明出结果：
1）≤（行数列数）
2）≤≤中AB分m×n1n1×n矩阵特例：果ABn×n矩阵AB0≤
3）中n×n方阵
4）≤
5）设n×n矩阵
6）设n×n矩阵
15 统计量矩阵表示
量理解特殊矩阵元素1n维列量（11…1）果假定计量济模型中许统计量矩阵形式表示出方便进行数学推导
显易见样均值方差矩阵表示：
1）样均值矩阵表示
事实
2）样方差矩阵表示
易知：中矩阵元素阶方阵
矩阵角线元素非角线元素称矩阵
样方差：
定理：矩阵幂等矩阵
16 矩阵二次型元正态分布
1）矩阵二次型（Quadratic Forms）线性变换（linear transferring）
设P数域系数数域P中二次齐次项式
……………………………
（1）
称数域Pn元二次型者致引起混淆时简称二次型例
理数域三元二次型讨方便（1）中＜系数写简单写成
中样处理许问题时常常希通变量线性换简化关二次型引入
定义1 设两组文字系数数域P中级关系式
（2）
称线性换简称线性换果系数行列式
线性换（2）称非退化
讨二次型时矩阵力工具先二次型线性换矩阵表示
令
＜
二次型（1）写成
……………………………………
（3）
（3）系数排成n×n矩阵
（4）
称二次型（3）矩阵
样矩阵称称矩阵二次型矩阵称
令
二次型矩阵积表示出
应该二次型（1）矩阵元素正项系数半二次型矩阵相互唯决定二次型
令
线性换（2）写成
者
知道非退化线性换二次型变成二次型现换二次型原二次型间什关系说找出换二次矩阵原二次型矩阵间关系
设
（5）
二次型作非退化线性换
（6）
二次型
现矩阵BA关系
（6）代入（5）
容易出矩阵称事实
前两二次型矩阵关系相应引入
定义2 数域Pn×n矩阵AB称合果数域P逆n×n矩阵C
合矩阵间关系难出合关系具
1）反身性：
2）称性：
3）传递性：
非退化线性换新二次型矩阵原二次型矩阵合样二次型变换通矩阵表示出探讨提供力工具
指出变换二次型时总求作线性换非退化点然坐标变换定非退化般线性换
非退化时面关系
线性换二次型原样二次型性质推知原二次型性质
定理：A实称矩阵存逆矩阵C满足：
2）元正态分布
a）二元正态分布
直观二元正态分布两正态机变量联合分布果两机变量X1X2联合密度函数
里＜＜＞0＞0＜＜1
称X1X2服二元正态分布通计算X1X2边际分布分式中参数X1X2相关系数
果X1X2服二元正态分布定条件X2条件分布正态条件密度函数
里
条件均值线性函数二元正态分布具独特性质果X1X2相互独立时般两机变量
时果联合概率密度函数写成矩阵形式形式简单记二元正态概率密度函数写成简单形式
里
b）元正态分布
均值协方差矩阵元正态分布记
c）元正态分布二次型分布
果
里nX维数简单证明结果称逆矩阵存逆矩阵A
17 幂等矩阵二次型
1幂等矩阵满足A2A矩阵称幂等矩阵
幂等矩阵称非称计量统计学中研究幂等矩阵称幂等矩阵关结果：
1）幂等矩阵特征根1零
证明：设A特征根AE时AA2
2）唯满秩称幂等矩阵单位矩阵
证明：∵A2A
单位矩阵外幂等矩阵奇异
3）A幂等矩阵I－A幂等矩阵秩（A）+秩（I－A）n
4）称幂等矩阵秩等迹
容易知道M0秩
M0角元素
5）服分布（果
：
6） Xn×m矩阵秩（X）m
M幂等矩阵
18 微分矩阵微分表示
1）微分应
微分应济学领域中广泛作似计算说明种技巧运作考虑例子设P代表GDP减指数Y代表实际GDP名义GDPP×Y：
（P×Y）变动百分≈（P变动百分）+（Y变动百分）
样率变动百分似分子变动百分减分母变动百分例：设Y代表GDPL代表口数均GDP：
（YL）变动百分≈（Y变动百分）－（L变动百分）
问题1：1）述2似公式什条件成立？
2）推导述两公式
3）宏观济中GDP确定4组成部分：GDPC+I+G+NX否公式计算GDP变动百分：
GDP变动百分≈（消费C变动百分）+（投资I变百分）+（政府购买G变动百分）+（净出口NX变动百分）
果边值较？什？
2）计量模型推导
带技术进步Solow模型
假定生产函数希克斯（Hicks）中性技术进步条件产出增长型函数般形式Solow模型：
（1）
A（t）作进步假定令里A0基技术水表示技术进步产出增长部分称技术进步增长率（1）式变：
（2）
（2）式两边取数求导：
（3）
YLK实际数离散（3）进行离散化令年：
（4）
表示产出劳动力弹性表示产出资弹性（4）式实际科技进步贡献率测算模型注意：
里表示科技进步产出增长贡献率表示劳动力增长产出增长贡献率表示资增长产出增长贡献率：
（5）
（5）式出技术进步贡献率测算公式
通假定定规模报酬变条件较合理效预防克服变量间出现线性（4）式根：
设：
（6）
般讲D1序列存异方差性（6）式测算科技进步增长率终模型
3）矩阵微分
果写成梯度量
二阶偏导数矩阵
特果
样
果A称矩阵
般
4）矩阵分块（partitioned matrix）
表述矩阵元素时——构造方程组——元素子矩阵形式进行分组时例写
A称分块矩阵子矩阵标矩阵中元素标样方式定义普通特殊情形分块角矩阵
中A11A22方阵
分块矩阵加法法
加法法推广分块矩阵致分块矩阵AB：
（1）
（2）
中矩阵必须适运算加法AijBij阶数必须相法中数ijAij列数必须等Bij行数矩阵相必需条件满足
两常遇情况形式：
（3）
（4）
分块矩阵行列式
类似角矩阵行列式分块角矩阵行列式
（5）
般2×2分块矩阵结果：
（6）
2×2分块矩阵结果极繁琐工作中必
分块矩阵逆
分块角矩阵逆：
（7）
直接相证实
般2×2分块矩阵分块逆形式：
（8）
中
简单逆A证实计算称性左块写作：
问题：请推倒面公式（5）（6）（7）（8）
均值偏差
述容应计算：假设n元素列量x开始令
关心A1中右角元素根（8）中F2定义
逆矩阵中右角值
现假设含干列矩阵X代列x求[Z′Z]1中右块里Z[iX]类似结果
暗示着[Z′Z]1右块K×K矩阵第jk元素K×K矩阵逆样数矩阵含列1时方交叉积矩阵逆元素原始数相应列均值离差形式计算出
第二节 分布函数(Distribution function)数学期(Expectation)
方差(Variance)
节介绍概率分布函数数学期方差等方面基础知识
概率(Probability)
1概率定义(Definition of Probability)
然界类社会中着两类现象类决定性现象特征定条件必然会发生现象类机现象特征基条件变情况观察试验结果会换句话说试验观察言会时出现种结果时出现样结果呈现出种偶然情况种现象称机现象
机现象偶然性面必然性面种必然性表现量试验中机事件出现频率稳定性机事件出现频率常某固定常数附变动种规律性称统计规律性
频率稳定性说明机事件发生性机事件身固定意志改变种客观属性进行度量
机事件A数P（A）表示该事件发生性数P（A）称机事件A概率概率度量机事件发生性
机现象光知道出现什结果价值指出种结果出现性具意义概率概念机现象进行定量研究建立新数学分支——概率
概率定义
定义事件域F集合函数P称概率果满足三条件：
（i）P（A）≥0切F
（ii）P（Ω）1
（iii）i12…两两互相容
性质（iii）称列加性（conformable addition）完全加性
推1：事件A
推2：事件概率0
推3：
2条件概率(Conditional Probability)
果P（B）＞0记称P（A|B）事件B发生条件事件A发生条件概率
转化：果（P（A）＞0）称概率法原理
推广法原理：
中＞0
3全概率公式贝叶斯（Bayes）公式
设事件A1A2…An……样空间Ω分割AiAjφi≠j：
里AiB两两互相容
公式称全概率公式
利全概率公式
公式称贝叶斯公式
贝叶斯公式概率数理统计中着方面应假定A1A2…导致试验结果原P（Ai）称先验概率反映种原发生性般验总结次试验前已知道现试验产生事件B信息助探讨事件发生原条件概率P（Ai|B）称验概率反映试验种原发生性新知识
4事件(Random event)独立性(Independence)
1）两事件独立性
定义 事件AB
P（AB）P（A）P（B）
称统计独立简称独立
推1 事件独立P（B）＞0
P（A|B）P（A）
[证明]条件概率定义
事件AB相互独立A关B条件概率等条件概率P（A）表示B发生事件A否发生没提供消息独立性种关系数学加严格定义
推2 事件AB独立列事件相互独立：
[证明]
B相互独立立刻推出相互独立推出A相互独立
2）事件独立性
定义 n事件A1A2…An组合1≤i＜j＜…≤n成立着
称A1A2…An相互独立
里第行式子第二行式子等等应满足
等式
二机变量(Random Variable)概率分布函数(Probability Distribution Function)
1机变量(Random Variable)
果A某机事件定通示性函数数值发生联系：
样试验结果数表示数着试验结果变化样点函数种量称机变量机变量分离散型机变量连续型机变量
2概率分布函数（pdfprobability density function）
称F（x）P{＜x}＜x＜机变量分布函数cdf连续型机变量存函数f(x)
f（x）称机变量（分布）密度函数（density function）
3机量（Random Vector）分布
机现象中次试验结果数描述时数描述试验结果量（Χ1Χ2…Χn）称n维机量
机量联合分布函数离散型连续型分离散型场合概率分布集中限列点项分布例子连续型场合存着非负函数f(x1x2…xn)
里f(x1…xn)称密度函数满足两条件
≥0
般(ξη)二维机量分布函数F(xy)F(xy)出ξη分布函数事实
＜＜＜
理
＜
F1(x)F2(y)称F(xy)边际分布函数（Marginal Distribution Function）
[例] F(xy)连续型分布函数密度函数f(xy)
F1(x)连续型分布函数密度函数
理F2(x)连续型分布函数密度函数
f1(x)f2(y)边际分布密度函数
[二元正态分布] 函数
里abr常数＞0＞0|r|＜1称二元正态分布密度函数
定理：二元正态分布边际分布正态分布
条件分布(Conditional Distribution)
离散型：已知ξxi（p1(xi)＞0）事件{ηyi}条件概率
式子定义机变量η关机变量ξ条件分布
连续型：定ξx条件η分布密度函数
理行定ηy条件ξ分布密度函数
里然求f2(y)≠0
定理：二元正态分布条件分布然正态分布
均值 x线性函数结统计问题中重
4机变量独立性
定义 设ξ1…ξnn机变量意x1…xn成立
＜＜＜＜ （1）
称相互独立
分布函数联合分布函数（1）等价切x1…xn成立
种场合机变量（边际）分布函数唯确定联合分布函数(Joint Distribution Function)
离散型机变量（1）等价组取值（x1…xn）成立
连续型机变量条件（1）等价形式切x1…xn成立
里f(x1…xn)联合分布密度函数(Joint density function)fi(xi)机变量密度函数
外注意相互独立中意r(2≤r＜n）机变量相互独立例证明相互独立
＜＜＜＜＜
＜＜＜
＜＜
机变量独立性概念概率中基概念重概念
5机量变换(Transformation)分布
密度函数求分布时
＜＜
（1）
存唯反函数密度函数
（2）
较（1）（2）知
中J坐标变换雅行列式(Jacobian Determinant)
里假定述偏导数存连续
机变量函数独立性
定理 ξ1…ξn相互独立机变量相互独立里意元函数
三数字期方差
1数学期
般果X机变量概率密度函数f(x)期值
许问题中仅需知道E[X]想知道X某函数g(X)数学期
样方法定义元机变量函数数学期假设机变量X1X2…Xn联合概率密度函数
果机变量离散面公式里积分号号代
利定义列结果
（1）果a0a1…an常数
（2）果X1X2…Xn相互独立机变量
2方差(Variance)协方差(Covariance)
机变量Xr阶中心矩定义记果称X分布方差X方差常常记正方根称X标准差关方差公式
XY间协方差记
XY间协方差间相关性测度果XY相互独立0导致面相关系数定义XY间相关系数记定义
定义取值定11间果XY相互独立0果YaX+b里ab等0常数|ρXY|1时说XY完全相关XY值越接线性关系|ρXY|值接1
利定义面结果：果a0a1…an常数X1X2…Xn机变量
特
3机量协方差矩阵
机量言相似定义期协方差矩阵X表示机变量组成量
假设X期值
机量期值等分量期值组成量
定义机量X协方差矩阵(Covariance Matrix)
X协方差矩阵常常记正定矩阵证明：
意零量 构造变量
Y方差
证明非负定
线性变换量均值协方差
果Pm×n常数矩阵m≤nZPXm维机量
a）
b）
四条件分布(Conditional Distribution)条件数学期(Conditional Expectation)条件方差（Conditional Variance）
条件均值（Conditional Mean）条件分布均值定义
条件均值函数
条件方差（Conditional Variance）
条件方差条件分布方差：
（离散时）
利式简化计算
：
记号Ex[·]表示X值期
重公式
1）
思考：否成立？
2）
3）方差分解公式(Decomposition of Variance )
推导：分两步先证明
i）
：
进
考察
∴
ii）意Y：
XE（Y|X）相关
方差分解公式：
方差分解结果表明双变量分布中y变差出两源：
1E[y|x]x变化事实产生变差回方差（Regression Variance）：
回方差Varx[E[y|x]]
2条件分布中y围绕条件均值变化产生变差残差方差(Residual Variance)：
残差方差Ex[Var[y|x]]
样 Var[y]回方差 + 残差方差
方差分解公式非常重公式常应寻求方差估计量方法中实际例子
[例子] 设XY服二元正态分布联合分布已知道定X条件条件分布然正态分布
然
－1＜ρ＜1条件＞满足方差分解公式容易知道
六极限分布理(Limit Distribution Theory)
1 极限定义
1）分布函数弱收敛(Weak Convergence of the Distribution Function)
定义1 分布函数列{Fn(x)}果存非降函数F(x)
F(x)连续点成立称Fn(x)弱收敛F(x)记
中心极限定理分布函数弱收敛例子
2）机变量收敛性(Convergence of the Random Variable)
概率中极限定理研究机变量序列某种收敛性机变量收敛性定义导致极限定理机变量收敛性确种定义理解极限定义分析线性回样结果重现讨问题
a）分布收敛(Convergence in Distribution)
分布函数弱收敛讨启发引进定义
定义2（分布收敛） 设机变量ξnξ分布函数分Fn(x)F(x)果称{ξn}分布收敛ξ记
b）概率收敛(Convergence in Probability)
定义3（概率收敛） 果
意ε＞0成立称概率收敛记
c）r阶收敛
定义4（r阶收敛） 设机变量＜＜中r＞0常数果 称阶收敛记
面定理揭示r阶收敛概率收敛关系
定理8
2）极限应
贝努里分布普松分布
a）似计算
n次贝努里试验中正出现k次成功概率b（knp）：
中q1pb(knp)k012…n称二项分布
应问题中常常遇样贝努里试验中相说np积适中种情况便似公式
定理（普松） 贝努里试验中pn代表事件A试验中出现概率试验总数n关果时
b) 中心极限定理(Central Limit Theorem)
X1X2…Xn…串相互独立相分布机变量序列
讨标准化机变量
极限分布
林德贝格勒维（Lindeberg and Levy）建立列中心极限定理
定理2（林德贝格勒维） 0＜＜
＜
2 契雪夫（Chebyshevs Inequality）等式
具限方差机变量X
≥≤ （1）
中正数
[证明] F(x)X分布函数显然
≥
≤
≤ （2）
证等式（1）时（1）改写成
＜≥
≤ （3）
契雪夫等式利机变量X数学期EX方差X概率分布进行估计例（3）断言X分布什X落中概率契雪夫等式利数学期方差描述机变量变化情况理研究实际应中价值
3数定律
定义 ξ1ξ2…ξn…机变量序列令
果存样常数序列a1a2…an…意ε＞0恒
＜
称序列{ξn}服数定律（数法）
契雪夫数定律 设X1X2…Xn…两两相关机变量构成序列机变量限方差公界C
≤C≤C…≤C…
意＞0皆
＜1 （4）
[证明] {ξk}两两相关
≤
契雪夫等式
＜≥≥
1≥＜≥
时（4）定理证
贝努里数定律 设n次贝努里试验中事件A出现次数p事件A次试验中出现概率意＞0
＜1
[证明] 定义机变量
≤
≤≤
贝努里数定律建立量重复独立试验中事件出现频率稳定性正种稳定性概率概念客观意义贝努里数定律提供通试验确定事件概率方法然频率概率p较偏差性便通做试验确定某事件发生频率作相应概率估计种方法称参数估计数理统计中研究课题参数估计重理基础数定律
第三节 数理统计（Mathematical Statistics）
数理统计方法考虑问题般资料统计更侧重应机现象身规律性考虑资料收集整理分析找出相应机变量分布律数字特征量机试验必呈现出规律性理讲机现象进行足够次观察研究机现象规律性定清楚呈现出实际允许观察永远限时甚少量关心问题样效利限资料便掉资料足引起机干扰实质性东西找出统计方法 效利获资料作出精确结
1数理统计基概念
1）母体子样
研究全部元素组成集合称母体总体组成母体元素称体
母体分布律进行种研究必需母体进行抽样观察般说止进行次抽样观察进行次观察设X1X2…Xn观察结果显然机变量称容量n子样X1X2…Xn取值全体称子样空间
抽取子样目母体分布律进行种分析推断求抽取子样反映母体特性必须机抽样方法提出定求通常提出面两点：
（i）代表性：求子样分量Xi考察母体X具相分布F(x)
（ii）独立性：X1X2…Xn相互独立机变量说观察结果影响观察结果受观察结果影响
满足述两点性质子样称简单机子样获简单机子样抽样方法称简单机抽样
简单机子样X（X1X2…Xn）分布母体分布函数F（x）完全决定X分布函数
2）统计量
般说子样某种含未知参数函数统计学中称统计量
统计量：
非统计量：
3）常统计量—子样矩
r阶矩（r阶原点矩）：子样均值
r阶中心矩：子样方差
总结：母体母体均值μ母体方差母体k阶原点矩k阶中心矩
子样子样均值子样方差子样r阶矩Arr阶中心矩Br
结：
定理1 设母体服分布F(x)X（X1…Xn）该母体中抽简单机子样果F(x)二阶矩阵存子样均值
[证明]
思考：否存更简单证明方法？
定理2 子样方差均值
证明：
（中）
4）序统计量验分布函数子样矩
设（X1…Xn）母体 中抽取子样记（x1x2…xn）子样观察值观察值分量递增次序排列
≤≤…≤
（X1…Xn）取值（x1…xn）时定义取值称（X1…Xn）组序统计量显然≤≤…≤观察值子样观察值中观察值子样观察值中
记
＞
＜
显然0≤≤1作x函数非减左连续函数作x函数具备分布函数求性质称验分布函数（子样分布函数）
验分布函数子样函数子样矩间具列关系：设（x1x2…xn）子样观察值应验分布函数：
2正态母体子样线性函数分布
定理1 设X1…Xn抽正态母体子样统计量U子样确定线性函数
（1）
U正态机变量均值方差分
（2）
（3）
（1）式中特取时行U子样均值
见具X相均值更数学期集中集中程度子样容量n关
定理2 设
（1）X1X2…Xn独立分布机变量服正态分布
（2）矩阵记
Y1…Yp正态机变量均值方差协方差分：
特An×n正交矩阵时Y1Y2…Yp相互独立服分布机变量
3种正态分布N(01)关常分布
1）x2分布
定义 设X1X2…Xn相互独立服N(01)分布机变量
服分布x2分布称度nx2变量
定理 设X1X2相互独立
2）t分布
设XY相互独立称机变量
服分布t分布n称度记T～t(n)
3）F分布
定义 设XY相互独立x2分布机变量度分mn称机变量
服分布F分布（mn）称度通常写F～F（mn）
推 果相互独立分布
推 果X～F(mn)分布1X～F(nm)分布
结 设X1…XmY1…Yn分正态母体中抽取独立子样
服t(m+n－2)分布
***[练] 设X1…Xn正态分布母体中抽取简单子样分表示子样均值子样方差设X1…Xn独立试求统计量
（提示：服t(n1)分布）
4统计量分布独立性
定理 x～N[0I]两幂等二次型时独立
[证明] AB称幂等二次型：
两量零均值量X1X2协方差矩阵
AXBX正态分布机量线性函数服正态分布零协方差矩阵暗示统计独立函数形式独立证明两二次型统计量独立性
[例] 易知
相互独立
5线性变换二次型独立性
定理 标准正态量线性函数Lx幂等二次型LA0时两统计量独立
证明遵循两二次型证明样逻辑写作变量LxAx协方差矩阵LA0证实两机量独立性线性函数二次型独立性立推导
[例]
面两统计量相互独立
总结：设X1X2…Xn正态母体中抽取简单子样记
（1）
（2）
（3）
[证明]
服度n－1t分布
6参数估计常方法
参数估计问题中总首先假设母体X具族分布FF函数形式已知仅包含未知参数记θ支配分布未知参数（量）统计学分布F未知参数θ全部容许值组成集合称参数空间记
F(·θ)表示X分布称集合{F(·θ)θ∈}X分布函数族类似果X连续型机变量概率密度函数族果X离散型机变量概率分布族
参数估计问题求通子样估计母体分布包含未知参数θ
般设母体具分布族{F(·θ)θ∈}X1X2…Xn子样点估计问题求构造统计量T（X1…Xn）作参数θ估计（T维数θ维数相）统计学称Tθ估计量
1）矩方法
设{F(·θ)θ∈}母体X分布族θ（θ1…θk）估计未知参数假定母体分布k阶矩存母体分布v阶矩
1≤v≤k
θ（θ1…θk）函数
子样X（X1…Xn）v阶子样矩
1≤v≤k
现子样矩作母体矩估计令
（1）
样（1）式确定包含k未知参数θ（θ1…θk）k方程式
[例] 母体均值方差矩估计
设X1…Xn子样设母体二阶矩存矩方法方程组
解
母体均值方差矩估计分子样均值子样方差
运前关定理
见作估计真值周围波动均值恰真值性质统计学称偏性
2）似然估计方法
般设母体具分布密度族{F(xθ)θ∈}中θ（θ1θ2…θk）未知k维参数量需估计设（x1…xn）子样（X1…Xn）观察值子样（X1…Xn）落点（x1…xn）邻域里概率
方便起见记
（θ量）作θ函数称θ似然函数
果选取式
（2）
成立作θ估计称θ似然估计
logxx单调函数（2）式等价写：
果开集关θ微满足（4）式解定满足列似然方程
[例] 设X（X1…Xn）取均匀分布
（θ＞0）
0＜x≤θ
0＜
子样试求θ似然估计
时
（注意：条件0＜xi≤θi1…n条件0＜等价
显然取值θ似然***估计计算出
7估计效性
1）偏估计
定义 般果T(X)未知参数θ估计量满足面关系式
称T（X）θ偏估计
2）效估计
定义 两偏估计量方差方差＜称更效
判方式：数情形中较基两估计量协方差矩阵—非负定矩阵更效
3）渐偏估计
果列θ估计满足面关系式
称Tnθ渐偏估计
4）致估计
设X1…Xn取分布族子样TnTn(X1…Xn)θ估计果序列{Tn}机收敛真参数值θ意＞0
＞
称Tnθ致估计
5）方差偏估计
般T1θ偏估计关θ偏估计T2成立式
≤
称T1θ方差偏估计
6）线性估计
果估计T子样线性函数T表示中a1…an固定常数称T线性估计类似定义果T线性估计满足偏性条件T称线性偏估计果UL表示θ具限方差线性偏估计全体组成集合T0∈UL
≤切
称T0θ方差线性偏估计
高斯—马尔科夫定理
线性偏估计量中二估计量具方差
7）克拉美—劳（CramerRao）界
克拉美—劳（CramerRao）界假定x密度满足定正条件参数θ偏估计量方差等：
量I(θ)样信息数
考虑变量情形θ参数量I(θ)信息矩阵
克拉美—劳定理偏估计量方差矩阵信息矩阵逆[I(θ)]－1
差非负定矩阵中
矩阵逆矩阵[I(θ)]1称CR界CRLB
8假设检验
1）正态母样参数检验
前面介绍两种常参数估计方法实践中提出统计推断问题
先例子
[例] 某厂批产品万件须检验方出厂规定标准次品率超5中意选取50件产品进行检查发现次品4件问批产品否出厂？
例子中事先批产品次品率情况知然频率稳定性说检查50件产品次品率450估计整批产品次品率目前关心问题：根抽样次品率n（450）推断批产品次品率否超5说首先整批产品作种假设：次品率低5然利子样次品率n检验作假设正确性
母体未知分布作假设称统计假设记H0面举例子中统计假设分：H0p（次品率）≤005
母体真分布完全未知参数决定关母体未知分布假设总等价出未知参数种仅涉母体分布中包含未知参数统计假设称参数假设
假设检验问题首先根实际问题求提出统计假设H0仅第步提出统计假设目求进步推断提出统计假设H0否正确求建立推断统计假设H0方法统计学称判断定统计假设H0方法统计假设检验简称统计检验
果统计问题中仅提出统计假设 目仅仅判断统计假设否成立时研究统计假设类检验问题称显著性检验
显著性检验问题处理般步骤：
（1）建立统计假设H0
（2）构造合适统计量U子样观察值计算出统计量U观察值u
（3）规定显著水α（般取005001）求出H0成立条件PH0{|U|≥u0}≤α满足值u0
（4）较观察值uu0果|u|≥u0拒绝设H0
显然寻找检验统计量U分布少定α找出满足PH0{|U|≥u0α界值u0重进行检验时取子样容量分样样两类问题样显著性检验需出检验统计量U精确分布样问题利U极限分布作似
正态母体参数显著性检验总结表1
表1 正态母体参数显著性检验
检验参数
假设H0
统 计 量
分 布
μ
μμ0（σσ0）
N(01)
μ1μ2（σ1σ2已知）
μμ0σ2＞0
t(n－1)
μ1μ2σ1σ2
t(m+n－2)
σ2
σσ0
x2(n－1)
F(m－1n－1)
例1解：
简单起见问题结希利次品率vn检验母体次品率p否满足假设H0pp0(005)
Y记母体元素指标
Y
假设H0成立时P{Y0}1－p0P{Y1}p0EYp0Var（Y）p0(1－p0)设X1…Xn子样
中表示子样中次品数
中心极限定理知道H0(pp0)成立条件
（1）
渐N（01）分布n较时（般30）（1）式决定U似作正态变量处理
现p0005 n50 4代入（1）式
α001查表uα2258时
|u|096＜258uα2
拒绝假设H0（p005）
2）正态母体参数置信区间
许实际问题中希通子样观察出范围便范围足够概率（定）包含感兴趣参数统计学称范围置信区间（置信域）类问题称区间估计问题
参数置信区间参数假设检验间着密切联系
直接正态母体参数种检验法构造正态母体参数种置信区间
正态母体参数科置信区间情况总结表2
表2 正态母体参数置信区间
估
参数
条件
置信区间限
置信区间限
应检验统计量
μ
单
子
样
σσ0
σ未知
μ1－μ2
双
子
样
已知σ1σ2数值未知
σ2
单
子
样
双
子
样
3）联合置信域
面讨正态分布均值方差联合置信域
（μσ2）联合置信域运联合分布构造独立果希寻找置信水095置信域找数ac1c2
＜＜
＜＜
联合概率
＜＜＜＜
解：
＜＜＜ （1）
见置信度095联合置信域（1）式括号等式出范围
4）广义似然检验
设X(X1…Xn)母体中抽取子样分布族{f(xθ)θ}中θ（量）未知参数（母体连续型变量时f表示分布密度母体离散型变量时f表示概率分布）求检验假设H0：θ0里应指出θ0时表示集合运t检验法检验假设H0μμ0时里
＜＜＞
＞
未知参数集合单点
现引进统计量：
惯称λ(x)广义似然显然子样函数赖未知参数θ
0≤λ(x)≤1
类似似然原理果λ(x)取值较说明H0真时观察样点x概率H0真时观察样点x概率时理怀疑假设H0真广义似然出发该检验问题式成立时拒绝H0
λ(x)≤λ0 （1）
中λ0选取式成立
切 （2）
出检验法称水α广义似然检验θ0单点时写
进步分析样参数假设显著性检验程会发现系列问题解决采取接受拒绝假设H0判断根子样观察值作出子样机变量子样观察值出现带机性判断发生错误发生类型错误发生类错误概率？
犯面两种类型错误：原假设H0真时候θ真实值落中时作出拒绝H0决策a1——称第类错误种错误备选假设真时θ真实值落中时作出接受原假设H0决策a0——称第二类错误（见图1）两类错误造成影响常常样例求检验病否患某种疾病取原假设该患种疾病第二类错误（病作病）造成必药品引起病痛苦济浪费第类错误（病作病）导致死亡
H0真
H1真
接受H0
正 确
第Ⅱ类错误
拒绝H0
第Ⅰ类错误
正 确
图1
然希作出检验犯两种类型错误概率时全零实际子样容量（观察数）定犯两种类型错误概率时控制
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
数学基础 (Mathematics)
第节 矩阵(Matrix)二次型(Quadratic Forms)
第二节 分布函数(Distribution Function)数学期(Expectation)方差(Variance)
第三节 数理统计（Mathematical Statistics）
第节 矩阵二次型(Matrix and its Quadratic Forms)
11 矩阵基概念运算
m×n矩阵表示：
矩阵加法较简单CA+Bcijaij+bij
矩阵法定义较特殊Am×n1矩阵Bn1×n矩阵CABm×n矩阵般讲AB≠BA运算成立：
l 结合律（Associative Law） (AB)CA（BC）
l 分配律（Distributive Law） A(B+C)AB+AC
问题：(A+B)2A2+2AB+B2否成立？
量（Vector）序数组行列排列 行量(row vector)行量列量(column vector)列量
果α标量αA[αaij]
矩阵转置矩阵(transpose matrix)记通行量变成相应列量
显然()′（+）′+
l 积转置（Transpose of production ）
l 逆矩阵（inverse matrix）果n级方阵(square matrix)AB满足ABBAI称AB逆矩阵显然结果成立：
12 特殊矩阵
1）恒等矩阵(identity matrix)
角线元素全1余全0记I
2）标量矩阵(scalar matrix)
形αI矩阵中α标量
3）幂等矩阵(idempotent matrix)
果矩阵具性质样矩阵称幂等矩阵
定理：幂等矩阵特征根1零
4）正定矩阵（positive definite）负定矩阵（negative definite）非负定矩阵(nonnegative ) 半正定矩阵（positive semidefinite ）非正定矩阵(nonpositive definite) 半负定矩阵（negative semidefinite）
意非零量＞0（＜0）称A正（负）定矩阵≥0（≤0）非负（非正）定矩阵果A非负定记A≥0果正定记A＞0协方差矩阵半正定矩阵结：
a）恒等矩阵单位矩阵正定
b）果正定正定
c）果正定逆矩阵正定
d）果n×m矩阵n＞m正定非负定矩阵
5）称矩阵（symmetric matrix）
果′称称矩阵
13 矩阵迹（trace）
n×n矩阵迹定义角线元素记结显然
1） （标量） 特例
2）
3）
4）特例
５）循环排列原 tr(ABCD)tr(BCDA)tr(CDAB)tr(DABC)
定理：实称矩阵A迹等特征根
A实称矩阵矩阵C中
14 矩阵秩(rank)
矩阵A行秩列秩定相等矩阵秩定义行秩列秩记r(A)加证明出结果：
1）≤（行数列数）
2）≤≤中AB分m×n1n1×n矩阵特例：果ABn×n矩阵AB0≤
3）中n×n方阵
4）≤
5）设n×n矩阵
6）设n×n矩阵
15 统计量矩阵表示
量理解特殊矩阵元素1n维列量（11…1）果假定计量济模型中许统计量矩阵形式表示出方便进行数学推导
显易见样均值方差矩阵表示：
1）样均值矩阵表示
事实
2）样方差矩阵表示
易知：中矩阵元素阶方阵
矩阵角线元素非角线元素称矩阵
样方差：
定理：矩阵幂等矩阵
16 矩阵二次型元正态分布
1）矩阵二次型（Quadratic Forms）线性变换（linear transferring）
设P数域系数数域P中二次齐次项式
……………………………
（1）
称数域Pn元二次型者致引起混淆时简称二次型例
理数域三元二次型讨方便（1）中＜系数写简单写成
中样处理许问题时常常希通变量线性换简化关二次型引入
定义1 设两组文字系数数域P中级关系式
（2）
称线性换简称线性换果系数行列式
线性换（2）称非退化
讨二次型时矩阵力工具先二次型线性换矩阵表示
令
＜
二次型（1）写成
……………………………………
（3）
（3）系数排成n×n矩阵
（4）
称二次型（3）矩阵
样矩阵称称矩阵二次型矩阵称
令
二次型矩阵积表示出
应该二次型（1）矩阵元素正项系数半二次型矩阵相互唯决定二次型
令
线性换（2）写成
者
知道非退化线性换二次型变成二次型现换二次型原二次型间什关系说找出换二次矩阵原二次型矩阵间关系
设
（5）
二次型作非退化线性换
（6）
二次型
现矩阵BA关系
（6）代入（5）
容易出矩阵称事实
前两二次型矩阵关系相应引入
定义2 数域Pn×n矩阵AB称合果数域P逆n×n矩阵C
合矩阵间关系难出合关系具
1）反身性：
2）称性：
3）传递性：
非退化线性换新二次型矩阵原二次型矩阵合样二次型变换通矩阵表示出探讨提供力工具
指出变换二次型时总求作线性换非退化点然坐标变换定非退化般线性换
非退化时面关系
线性换二次型原样二次型性质推知原二次型性质
定理：A实称矩阵存逆矩阵C满足：
2）元正态分布
a）二元正态分布
直观二元正态分布两正态机变量联合分布果两机变量X1X2联合密度函数
里＜＜＞0＞0＜＜1
称X1X2服二元正态分布通计算X1X2边际分布分式中参数X1X2相关系数
果X1X2服二元正态分布定条件X2条件分布正态条件密度函数
里
条件均值线性函数二元正态分布具独特性质果X1X2相互独立时般两机变量
时果联合概率密度函数写成矩阵形式形式简单记二元正态概率密度函数写成简单形式
里
b）元正态分布
均值协方差矩阵元正态分布记
c）元正态分布二次型分布
果
里nX维数简单证明结果称逆矩阵存逆矩阵A
17 幂等矩阵二次型
1幂等矩阵满足A2A矩阵称幂等矩阵
幂等矩阵称非称计量统计学中研究幂等矩阵称幂等矩阵关结果：
1）幂等矩阵特征根1零
证明：设A特征根AE时AA2
2）唯满秩称幂等矩阵单位矩阵
证明：∵A2A
单位矩阵外幂等矩阵奇异
3）A幂等矩阵I－A幂等矩阵秩（A）+秩（I－A）n
4）称幂等矩阵秩等迹
容易知道M0秩
M0角元素
5）服分布（果
：
6） Xn×m矩阵秩（X）m
M幂等矩阵
18 微分矩阵微分表示
1）微分应
微分应济学领域中广泛作似计算说明种技巧运作考虑例子设P代表GDP减指数Y代表实际GDP名义GDPP×Y：
（P×Y）变动百分≈（P变动百分）+（Y变动百分）
样率变动百分似分子变动百分减分母变动百分例：设Y代表GDPL代表口数均GDP：
（YL）变动百分≈（Y变动百分）－（L变动百分）
问题1：1）述2似公式什条件成立？
2）推导述两公式
3）宏观济中GDP确定4组成部分：GDPC+I+G+NX否公式计算GDP变动百分：
GDP变动百分≈（消费C变动百分）+（投资I变百分）+（政府购买G变动百分）+（净出口NX变动百分）
果边值较？什？
2）计量模型推导
带技术进步Solow模型
假定生产函数希克斯（Hicks）中性技术进步条件产出增长型函数般形式Solow模型：
（1）
A（t）作进步假定令里A0基技术水表示技术进步产出增长部分称技术进步增长率（1）式变：
（2）
（2）式两边取数求导：
（3）
YLK实际数离散（3）进行离散化令年：
（4）
表示产出劳动力弹性表示产出资弹性（4）式实际科技进步贡献率测算模型注意：
里表示科技进步产出增长贡献率表示劳动力增长产出增长贡献率表示资增长产出增长贡献率：
（5）
（5）式出技术进步贡献率测算公式
通假定定规模报酬变条件较合理效预防克服变量间出现线性（4）式根：
设：
（6）
般讲D1序列存异方差性（6）式测算科技进步增长率终模型
3）矩阵微分
果写成梯度量
二阶偏导数矩阵
特果
样
果A称矩阵
般
4）矩阵分块（partitioned matrix）
表述矩阵元素时——构造方程组——元素子矩阵形式进行分组时例写
A称分块矩阵子矩阵标矩阵中元素标样方式定义普通特殊情形分块角矩阵
中A11A22方阵
分块矩阵加法法
加法法推广分块矩阵致分块矩阵AB：
（1）
（2）
中矩阵必须适运算加法AijBij阶数必须相法中数ijAij列数必须等Bij行数矩阵相必需条件满足
两常遇情况形式：
（3）
（4）
分块矩阵行列式
类似角矩阵行列式分块角矩阵行列式
（5）
般2×2分块矩阵结果：
（6）
2×2分块矩阵结果极繁琐工作中必
分块矩阵逆
分块角矩阵逆：
（7）
直接相证实
般2×2分块矩阵分块逆形式：
（8）
中
简单逆A证实计算称性左块写作：
问题：请推倒面公式（5）（6）（7）（8）
均值偏差
述容应计算：假设n元素列量x开始令
关心A1中右角元素根（8）中F2定义
逆矩阵中右角值
现假设含干列矩阵X代列x求[Z′Z]1中右块里Z[iX]类似结果
暗示着[Z′Z]1右块K×K矩阵第jk元素K×K矩阵逆样数矩阵含列1时方交叉积矩阵逆元素原始数相应列均值离差形式计算出
第二节 分布函数(Distribution function)数学期(Expectation)
方差(Variance)
节介绍概率分布函数数学期方差等方面基础知识
概率(Probability)
1概率定义(Definition of Probability)
然界类社会中着两类现象类决定性现象特征定条件必然会发生现象类机现象特征基条件变情况观察试验结果会换句话说试验观察言会时出现种结果时出现样结果呈现出种偶然情况种现象称机现象
机现象偶然性面必然性面种必然性表现量试验中机事件出现频率稳定性机事件出现频率常某固定常数附变动种规律性称统计规律性
频率稳定性说明机事件发生性机事件身固定意志改变种客观属性进行度量
机事件A数P（A）表示该事件发生性数P（A）称机事件A概率概率度量机事件发生性
机现象光知道出现什结果价值指出种结果出现性具意义概率概念机现象进行定量研究建立新数学分支——概率
概率定义
定义事件域F集合函数P称概率果满足三条件：
（i）P（A）≥0切F
（ii）P（Ω）1
（iii）i12…两两互相容
性质（iii）称列加性（conformable addition）完全加性
推1：事件A
推2：事件概率0
推3：
2条件概率(Conditional Probability)
果P（B）＞0记称P（A|B）事件B发生条件事件A发生条件概率
转化：果（P（A）＞0）称概率法原理
推广法原理：
中＞0
3全概率公式贝叶斯（Bayes）公式
设事件A1A2…An……样空间Ω分割AiAjφi≠j：
里AiB两两互相容
公式称全概率公式
利全概率公式
公式称贝叶斯公式
贝叶斯公式概率数理统计中着方面应假定A1A2…导致试验结果原P（Ai）称先验概率反映种原发生性般验总结次试验前已知道现试验产生事件B信息助探讨事件发生原条件概率P（Ai|B）称验概率反映试验种原发生性新知识
4事件(Random event)独立性(Independence)
1）两事件独立性
定义 事件AB
P（AB）P（A）P（B）
称统计独立简称独立
推1 事件独立P（B）＞0
P（A|B）P（A）
[证明]条件概率定义
事件AB相互独立A关B条件概率等条件概率P（A）表示B发生事件A否发生没提供消息独立性种关系数学加严格定义
推2 事件AB独立列事件相互独立：
[证明]
B相互独立立刻推出相互独立推出A相互独立
2）事件独立性
定义 n事件A1A2…An组合1≤i＜j＜…≤n成立着
称A1A2…An相互独立
里第行式子第二行式子等等应满足
等式
二机变量(Random Variable)概率分布函数(Probability Distribution Function)
1机变量(Random Variable)
果A某机事件定通示性函数数值发生联系：
样试验结果数表示数着试验结果变化样点函数种量称机变量机变量分离散型机变量连续型机变量
2概率分布函数（pdfprobability density function）
称F（x）P{＜x}＜x＜机变量分布函数cdf连续型机变量存函数f(x)
f（x）称机变量（分布）密度函数（density function）
3机量（Random Vector）分布
机现象中次试验结果数描述时数描述试验结果量（Χ1Χ2…Χn）称n维机量
机量联合分布函数离散型连续型分离散型场合概率分布集中限列点项分布例子连续型场合存着非负函数f(x1x2…xn)
里f(x1…xn)称密度函数满足两条件
≥0
般(ξη)二维机量分布函数F(xy)F(xy)出ξη分布函数事实
＜＜＜
理
＜
F1(x)F2(y)称F(xy)边际分布函数（Marginal Distribution Function）
[例] F(xy)连续型分布函数密度函数f(xy)
F1(x)连续型分布函数密度函数
理F2(x)连续型分布函数密度函数
f1(x)f2(y)边际分布密度函数
[二元正态分布] 函数
里abr常数＞0＞0|r|＜1称二元正态分布密度函数
定理：二元正态分布边际分布正态分布
条件分布(Conditional Distribution)
离散型：已知ξxi（p1(xi)＞0）事件{ηyi}条件概率
式子定义机变量η关机变量ξ条件分布
连续型：定ξx条件η分布密度函数
理行定ηy条件ξ分布密度函数
里然求f2(y)≠0
定理：二元正态分布条件分布然正态分布
均值 x线性函数结统计问题中重
4机变量独立性
定义 设ξ1…ξnn机变量意x1…xn成立
＜＜＜＜ （1）
称相互独立
分布函数联合分布函数（1）等价切x1…xn成立
种场合机变量（边际）分布函数唯确定联合分布函数(Joint Distribution Function)
离散型机变量（1）等价组取值（x1…xn）成立
连续型机变量条件（1）等价形式切x1…xn成立
里f(x1…xn)联合分布密度函数(Joint density function)fi(xi)机变量密度函数
外注意相互独立中意r(2≤r＜n）机变量相互独立例证明相互独立
＜＜＜＜＜
＜＜＜
＜＜
机变量独立性概念概率中基概念重概念
5机量变换(Transformation)分布
密度函数求分布时
＜＜
（1）
存唯反函数密度函数
（2）
较（1）（2）知
中J坐标变换雅行列式(Jacobian Determinant)
里假定述偏导数存连续
机变量函数独立性
定理 ξ1…ξn相互独立机变量相互独立里意元函数
三数字期方差
1数学期
般果X机变量概率密度函数f(x)期值
许问题中仅需知道E[X]想知道X某函数g(X)数学期
样方法定义元机变量函数数学期假设机变量X1X2…Xn联合概率密度函数
果机变量离散面公式里积分号号代
利定义列结果
（1）果a0a1…an常数
（2）果X1X2…Xn相互独立机变量
2方差(Variance)协方差(Covariance)
机变量Xr阶中心矩定义记果称X分布方差X方差常常记正方根称X标准差关方差公式
XY间协方差记
XY间协方差间相关性测度果XY相互独立0导致面相关系数定义XY间相关系数记定义
定义取值定11间果XY相互独立0果YaX+b里ab等0常数|ρXY|1时说XY完全相关XY值越接线性关系|ρXY|值接1
利定义面结果：果a0a1…an常数X1X2…Xn机变量
特
3机量协方差矩阵
机量言相似定义期协方差矩阵X表示机变量组成量
假设X期值
机量期值等分量期值组成量
定义机量X协方差矩阵(Covariance Matrix)
X协方差矩阵常常记正定矩阵证明：
意零量 构造变量
Y方差
证明非负定
线性变换量均值协方差
果Pm×n常数矩阵m≤nZPXm维机量
a）
b）
四条件分布(Conditional Distribution)条件数学期(Conditional Expectation)条件方差（Conditional Variance）
条件均值（Conditional Mean）条件分布均值定义
条件均值函数
条件方差（Conditional Variance）
条件方差条件分布方差：
（离散时）
利式简化计算
：
记号Ex[·]表示X值期
重公式
1）
思考：否成立？
2）
3）方差分解公式(Decomposition of Variance )
推导：分两步先证明
i）
：
进
考察
∴
ii）意Y：
XE（Y|X）相关
方差分解公式：
方差分解结果表明双变量分布中y变差出两源：
1E[y|x]x变化事实产生变差回方差（Regression Variance）：
回方差Varx[E[y|x]]
2条件分布中y围绕条件均值变化产生变差残差方差(Residual Variance)：
残差方差Ex[Var[y|x]]
样 Var[y]回方差 + 残差方差
方差分解公式非常重公式常应寻求方差估计量方法中实际例子
[例子] 设XY服二元正态分布联合分布已知道定X条件条件分布然正态分布
然
－1＜ρ＜1条件＞满足方差分解公式容易知道
六极限分布理(Limit Distribution Theory)
1 极限定义
1）分布函数弱收敛(Weak Convergence of the Distribution Function)
定义1 分布函数列{Fn(x)}果存非降函数F(x)
F(x)连续点成立称Fn(x)弱收敛F(x)记
中心极限定理分布函数弱收敛例子
2）机变量收敛性(Convergence of the Random Variable)
概率中极限定理研究机变量序列某种收敛性机变量收敛性定义导致极限定理机变量收敛性确种定义理解极限定义分析线性回样结果重现讨问题
a）分布收敛(Convergence in Distribution)
分布函数弱收敛讨启发引进定义
定义2（分布收敛） 设机变量ξnξ分布函数分Fn(x)F(x)果称{ξn}分布收敛ξ记
b）概率收敛(Convergence in Probability)
定义3（概率收敛） 果
意ε＞0成立称概率收敛记
c）r阶收敛
定义4（r阶收敛） 设机变量＜＜中r＞0常数果 称阶收敛记
面定理揭示r阶收敛概率收敛关系
定理8
2）极限应
贝努里分布普松分布
a）似计算
n次贝努里试验中正出现k次成功概率b（knp）：
中q1pb(knp)k012…n称二项分布
应问题中常常遇样贝努里试验中相说np积适中种情况便似公式
定理（普松） 贝努里试验中pn代表事件A试验中出现概率试验总数n关果时
b) 中心极限定理(Central Limit Theorem)
X1X2…Xn…串相互独立相分布机变量序列
讨标准化机变量
极限分布
林德贝格勒维（Lindeberg and Levy）建立列中心极限定理
定理2（林德贝格勒维） 0＜＜
＜
2 契雪夫（Chebyshevs Inequality）等式
具限方差机变量X
≥≤ （1）
中正数
[证明] F(x)X分布函数显然
≥
≤
≤ （2）
证等式（1）时（1）改写成
＜≥
≤ （3）
契雪夫等式利机变量X数学期EX方差X概率分布进行估计例（3）断言X分布什X落中概率契雪夫等式利数学期方差描述机变量变化情况理研究实际应中价值
3数定律
定义 ξ1ξ2…ξn…机变量序列令
果存样常数序列a1a2…an…意ε＞0恒
＜
称序列{ξn}服数定律（数法）
契雪夫数定律 设X1X2…Xn…两两相关机变量构成序列机变量限方差公界C
≤C≤C…≤C…
意＞0皆
＜1 （4）
[证明] {ξk}两两相关
≤
契雪夫等式
＜≥≥
1≥＜≥
时（4）定理证
贝努里数定律 设n次贝努里试验中事件A出现次数p事件A次试验中出现概率意＞0
＜1
[证明] 定义机变量
≤
≤≤
贝努里数定律建立量重复独立试验中事件出现频率稳定性正种稳定性概率概念客观意义贝努里数定律提供通试验确定事件概率方法然频率概率p较偏差性便通做试验确定某事件发生频率作相应概率估计种方法称参数估计数理统计中研究课题参数估计重理基础数定律
第三节 数理统计（Mathematical Statistics）
数理统计方法考虑问题般资料统计更侧重应机现象身规律性考虑资料收集整理分析找出相应机变量分布律数字特征量机试验必呈现出规律性理讲机现象进行足够次观察研究机现象规律性定清楚呈现出实际允许观察永远限时甚少量关心问题样效利限资料便掉资料足引起机干扰实质性东西找出统计方法 效利获资料作出精确结
1数理统计基概念
1）母体子样
研究全部元素组成集合称母体总体组成母体元素称体
母体分布律进行种研究必需母体进行抽样观察般说止进行次抽样观察进行次观察设X1X2…Xn观察结果显然机变量称容量n子样X1X2…Xn取值全体称子样空间
抽取子样目母体分布律进行种分析推断求抽取子样反映母体特性必须机抽样方法提出定求通常提出面两点：
（i）代表性：求子样分量Xi考察母体X具相分布F(x)
（ii）独立性：X1X2…Xn相互独立机变量说观察结果影响观察结果受观察结果影响
满足述两点性质子样称简单机子样获简单机子样抽样方法称简单机抽样
简单机子样X（X1X2…Xn）分布母体分布函数F（x）完全决定X分布函数
2）统计量
般说子样某种含未知参数函数统计学中称统计量
统计量：
非统计量：
3）常统计量—子样矩
r阶矩（r阶原点矩）：子样均值
r阶中心矩：子样方差
总结：母体母体均值μ母体方差母体k阶原点矩k阶中心矩
子样子样均值子样方差子样r阶矩Arr阶中心矩Br
结：
定理1 设母体服分布F(x)X（X1…Xn）该母体中抽简单机子样果F(x)二阶矩阵存子样均值
[证明]
思考：否存更简单证明方法？
定理2 子样方差均值
证明：
（中）
4）序统计量验分布函数子样矩
设（X1…Xn）母体 中抽取子样记（x1x2…xn）子样观察值观察值分量递增次序排列
≤≤…≤
（X1…Xn）取值（x1…xn）时定义取值称（X1…Xn）组序统计量显然≤≤…≤观察值子样观察值中观察值子样观察值中
记
＞
＜
显然0≤≤1作x函数非减左连续函数作x函数具备分布函数求性质称验分布函数（子样分布函数）
验分布函数子样函数子样矩间具列关系：设（x1x2…xn）子样观察值应验分布函数：
2正态母体子样线性函数分布
定理1 设X1…Xn抽正态母体子样统计量U子样确定线性函数
（1）
U正态机变量均值方差分
（2）
（3）
（1）式中特取时行U子样均值
见具X相均值更数学期集中集中程度子样容量n关
定理2 设
（1）X1X2…Xn独立分布机变量服正态分布
（2）矩阵记
Y1…Yp正态机变量均值方差协方差分：
特An×n正交矩阵时Y1Y2…Yp相互独立服分布机变量
3种正态分布N(01)关常分布
1）x2分布
定义 设X1X2…Xn相互独立服N(01)分布机变量
服分布x2分布称度nx2变量
定理 设X1X2相互独立
2）t分布
设XY相互独立称机变量
服分布t分布n称度记T～t(n)
3）F分布
定义 设XY相互独立x2分布机变量度分mn称机变量
服分布F分布（mn）称度通常写F～F（mn）
推 果相互独立分布
推 果X～F(mn)分布1X～F(nm)分布
结 设X1…XmY1…Yn分正态母体中抽取独立子样
服t(m+n－2)分布
***[练] 设X1…Xn正态分布母体中抽取简单子样分表示子样均值子样方差设X1…Xn独立试求统计量
（提示：服t(n1)分布）
4统计量分布独立性
定理 x～N[0I]两幂等二次型时独立
[证明] AB称幂等二次型：
两量零均值量X1X2协方差矩阵
AXBX正态分布机量线性函数服正态分布零协方差矩阵暗示统计独立函数形式独立证明两二次型统计量独立性
[例] 易知
相互独立
5线性变换二次型独立性
定理 标准正态量线性函数Lx幂等二次型LA0时两统计量独立
证明遵循两二次型证明样逻辑写作变量LxAx协方差矩阵LA0证实两机量独立性线性函数二次型独立性立推导
[例]
面两统计量相互独立
总结：设X1X2…Xn正态母体中抽取简单子样记
（1）
（2）
（3）
[证明]
服度n－1t分布
6参数估计常方法
参数估计问题中总首先假设母体X具族分布FF函数形式已知仅包含未知参数记θ支配分布未知参数（量）统计学分布F未知参数θ全部容许值组成集合称参数空间记
F(·θ)表示X分布称集合{F(·θ)θ∈}X分布函数族类似果X连续型机变量概率密度函数族果X离散型机变量概率分布族
参数估计问题求通子样估计母体分布包含未知参数θ
般设母体具分布族{F(·θ)θ∈}X1X2…Xn子样点估计问题求构造统计量T（X1…Xn）作参数θ估计（T维数θ维数相）统计学称Tθ估计量
1）矩方法
设{F(·θ)θ∈}母体X分布族θ（θ1…θk）估计未知参数假定母体分布k阶矩存母体分布v阶矩
1≤v≤k
θ（θ1…θk）函数
子样X（X1…Xn）v阶子样矩
1≤v≤k
现子样矩作母体矩估计令
（1）
样（1）式确定包含k未知参数θ（θ1…θk）k方程式
[例] 母体均值方差矩估计
设X1…Xn子样设母体二阶矩存矩方法方程组
解
母体均值方差矩估计分子样均值子样方差
运前关定理
见作估计真值周围波动均值恰真值性质统计学称偏性
2）似然估计方法
般设母体具分布密度族{F(xθ)θ∈}中θ（θ1θ2…θk）未知k维参数量需估计设（x1…xn）子样（X1…Xn）观察值子样（X1…Xn）落点（x1…xn）邻域里概率
方便起见记
（θ量）作θ函数称θ似然函数
果选取式
（2）
成立作θ估计称θ似然估计
logxx单调函数（2）式等价写：
果开集关θ微满足（4）式解定满足列似然方程
[例] 设X（X1…Xn）取均匀分布
（θ＞0）
0＜x≤θ
0＜
子样试求θ似然估计
时
（注意：条件0＜xi≤θi1…n条件0＜等价
显然取值θ似然***估计计算出
7估计效性
1）偏估计
定义 般果T(X)未知参数θ估计量满足面关系式
称T（X）θ偏估计
2）效估计
定义 两偏估计量方差方差＜称更效
判方式：数情形中较基两估计量协方差矩阵—非负定矩阵更效
3）渐偏估计
果列θ估计满足面关系式
称Tnθ渐偏估计
4）致估计
设X1…Xn取分布族子样TnTn(X1…Xn)θ估计果序列{Tn}机收敛真参数值θ意＞0
＞
称Tnθ致估计
5）方差偏估计
般T1θ偏估计关θ偏估计T2成立式
≤
称T1θ方差偏估计
6）线性估计
果估计T子样线性函数T表示中a1…an固定常数称T线性估计类似定义果T线性估计满足偏性条件T称线性偏估计果UL表示θ具限方差线性偏估计全体组成集合T0∈UL
≤切
称T0θ方差线性偏估计
高斯—马尔科夫定理
线性偏估计量中二估计量具方差
7）克拉美—劳（CramerRao）界
克拉美—劳（CramerRao）界假定x密度满足定正条件参数θ偏估计量方差等：
量I(θ)样信息数
考虑变量情形θ参数量I(θ)信息矩阵
克拉美—劳定理偏估计量方差矩阵信息矩阵逆[I(θ)]－1
差非负定矩阵中
矩阵逆矩阵[I(θ)]1称CR界CRLB
8假设检验
1）正态母样参数检验
前面介绍两种常参数估计方法实践中提出统计推断问题
先例子
[例] 某厂批产品万件须检验方出厂规定标准次品率超5中意选取50件产品进行检查发现次品4件问批产品否出厂？
例子中事先批产品次品率情况知然频率稳定性说检查50件产品次品率450估计整批产品次品率目前关心问题：根抽样次品率n（450）推断批产品次品率否超5说首先整批产品作种假设：次品率低5然利子样次品率n检验作假设正确性
母体未知分布作假设称统计假设记H0面举例子中统计假设分：H0p（次品率）≤005
母体真分布完全未知参数决定关母体未知分布假设总等价出未知参数种仅涉母体分布中包含未知参数统计假设称参数假设
假设检验问题首先根实际问题求提出统计假设H0仅第步提出统计假设目求进步推断提出统计假设H0否正确求建立推断统计假设H0方法统计学称判断定统计假设H0方法统计假设检验简称统计检验
果统计问题中仅提出统计假设 目仅仅判断统计假设否成立时研究统计假设类检验问题称显著性检验
显著性检验问题处理般步骤：
（1）建立统计假设H0
（2）构造合适统计量U子样观察值计算出统计量U观察值u
（3）规定显著水α（般取005001）求出H0成立条件PH0{|U|≥u0}≤α满足值u0
（4）较观察值uu0果|u|≥u0拒绝设H0
显然寻找检验统计量U分布少定α找出满足PH0{|U|≥u0α界值u0重进行检验时取子样容量分样样两类问题样显著性检验需出检验统计量U精确分布样问题利U极限分布作似
正态母体参数显著性检验总结表1
表1 正态母体参数显著性检验
检验参数
假设H0
统 计 量
分 布
μ
μμ0（σσ0）
N(01)
μ1μ2（σ1σ2已知）
μμ0σ2＞0
t(n－1)
μ1μ2σ1σ2
t(m+n－2)
σ2
σσ0
x2(n－1)
F(m－1n－1)
例1解：
简单起见问题结希利次品率vn检验母体次品率p否满足假设H0pp0(005)
Y记母体元素指标
Y
假设H0成立时P{Y0}1－p0P{Y1}p0EYp0Var（Y）p0(1－p0)设X1…Xn子样
中表示子样中次品数
中心极限定理知道H0(pp0)成立条件
（1）
渐N（01）分布n较时（般30）（1）式决定U似作正态变量处理
现p0005 n50 4代入（1）式
α001查表uα2258时
|u|096＜258uα2
拒绝假设H0（p005）
2）正态母体参数置信区间
许实际问题中希通子样观察出范围便范围足够概率（定）包含感兴趣参数统计学称范围置信区间（置信域）类问题称区间估计问题
参数置信区间参数假设检验间着密切联系
直接正态母体参数种检验法构造正态母体参数种置信区间
正态母体参数科置信区间情况总结表2
表2 正态母体参数置信区间
估
参数
条件
置信区间限
置信区间限
应检验统计量
μ
单
子
样
σσ0
σ未知
μ1－μ2
双
子
样
已知σ1σ2数值未知
σ2
单
子
样
双
子
样
3）联合置信域
面讨正态分布均值方差联合置信域
（μσ2）联合置信域运联合分布构造独立果希寻找置信水095置信域找数ac1c2
＜＜
＜＜
联合概率
＜＜＜＜
解：
＜＜＜ （1）
见置信度095联合置信域（1）式括号等式出范围
4）广义似然检验
设X(X1…Xn)母体中抽取子样分布族{f(xθ)θ}中θ（量）未知参数（母体连续型变量时f表示分布密度母体离散型变量时f表示概率分布）求检验假设H0：θ0里应指出θ0时表示集合运t检验法检验假设H0μμ0时里
＜＜＞
＞
未知参数集合单点
现引进统计量：
惯称λ(x)广义似然显然子样函数赖未知参数θ
0≤λ(x)≤1
类似似然原理果λ(x)取值较说明H0真时观察样点x概率H0真时观察样点x概率时理怀疑假设H0真广义似然出发该检验问题式成立时拒绝H0
λ(x)≤λ0 （1）
中λ0选取式成立
切 （2）
出检验法称水α广义似然检验θ0单点时写
进步分析样参数假设显著性检验程会发现系列问题解决采取接受拒绝假设H0判断根子样观察值作出子样机变量子样观察值出现带机性判断发生错误发生类型错误发生类错误概率？
犯面两种类型错误：原假设H0真时候θ真实值落中时作出拒绝H0决策a1——称第类错误种错误备选假设真时θ真实值落中时作出接受原假设H0决策a0——称第二类错误（见图1）两类错误造成影响常常样例求检验病否患某种疾病取原假设该患种疾病第二类错误（病作病）造成必药品引起病痛苦济浪费第类错误（病作病）导致死亡
H0真
H1真
接受H0
正 确
第Ⅱ类错误
拒绝H0
第Ⅰ类错误
正 确
图1
然希作出检验犯两种类型错误概率时全零实际子样容量（观察数）定犯两种类型错误概率时控制
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档