高斯定理证明
从《最小二乘估计量》一文可知，我们想通过样本的估计总体之间的线性关系
中和的数字特征（期望和方差）。对于的估计：根据大数定理，当时，通过最小化的矩估计量得到的估计量等于的概率为1。对于的估计：的期望：在包含常数项的情况下，；的方差：利用OLS的构造矩估计量和LOO回归的构造的矩估计量都不是的无偏估计量。可以看出，误差的方差估计是非常困难的，我们在整个计量学习过程中都要面对这个问题。本文探讨如何在有限样本下尽可能准确地确定的值，在某些假设满足的情况下，高斯-马尔可夫定理指出了解决这个问题的方向。1 高斯-马尔可夫定理的古典假设现实中不可能取得无限数量的样本，我们只能通过有限样本来估计的值和的方差，在这种情况下需要进行进一步的假设:假设1:（独立同分布假设）随机变量独立同分布。假设1蕴含了三层意思：将样本i的数据看作多元随机变量来进行讨论；所有样本对应的随机变量都服从同一个分布，，当时，对应样本的选取与相互独立，即。假设2:（存在线性关系假设）观测值满足线性回归模型(1)
其中，以上变量的二阶矩有限
且0″ data-formula-type=”block-equation” style=” text-align: center; overflow: auto; “>假设2也蕴含了三层意思：样本中与具有线性关系，这种关系与总体中随机变量之间的关系一致，也就是说样本蕴含了总体中有关和的信息；的平方期望和的范数平方期望有限，说明样本能取到具体的数值，不会等于正负无穷大；显然是个半正定矩阵，为了能够求逆，要求其正定，确保能够得到，在这种情况下就要求中的解释变量之间不存在多重共线性（Multicollinearity）。假设3:（同方差假设）很多计量教材中将线性模型的古典假设分为5个，以伍德里奇《计量经济学导论——现代观点》为例，该书指出古典假设分别是“线性关系”、“随机抽样”、“不存在完全共线性”、“条件均值为零”和“残差同方差”，然后给出高斯马尔可夫定理的经典形式。本文的假设1对应“随机抽样”，假设3对应“残差同方差性”，假设2对应其他三个假设。2 OLS估计量的条件期望首先，验证假设2线性回归模型中的OLS估计量在条件下的期望。根据假设1和2
那么
或者用更简洁的矩阵形式
因此，有限样本满足假设1和2时，条件下的OLS估计量是的无偏估计量。3 OLS估计量的条件协方差矩阵其次，验证假设2线性回归模型中的OLS估计量在条件下的条件协方差矩阵。3.1 条件协方差矩阵的具体形式为什么要估计协方差矩阵呢？这是因为通常含有多个参数，这些参数之间会有协同变化。假设，它的协方差矩阵就是
由此看出该矩阵与解释变量个数有关，一般是维方阵（含常数项）。由上，我们可以定义条件协方差矩阵的条件协方差矩阵为维方阵回归误差的条件协方差矩阵为，由于包含个样本，所以它是维方阵，可以写作
令，，那么上面矩阵就可以改写成
根据独立性假设1，
根据线性关系假设2，
所以，条件协方差矩阵可以改写为只包含对角线元素的形式;如果加上同方差假设，所有的都等于固定值。那么，。3.2 的条件协方差矩阵对于任意矩阵函数，都有
而，令可得
如果满足同方差假设，那么，上式可以简化为
注意：上面的可以分解为以下形式
运用矩阵乘法可得。4 的无条件期望和方差在只存在有限阶矩的条件下，根据期望迭代法则：
5 高斯-马尔可夫定理的多个版本5.1 经典版本在满足假设1-3的情况下，所有线性无偏估计量中OLS估计量的方差最小，数值为，是最佳的线性无偏估计量（BLUE）。5.2 广义版本现实中，样本之间不可能完全独立，而且同方差假设即使在理论上也是一个过于严格的要求，那么放松了这两个假设之后会出现什么情况呢？
在线性回归模型（1）中增加新的条件
可以看出是一个的对称半正定矩阵，而且其中的元素可能包含的函数。
满足假设1时，满足假设1和3时，此时
在满足假设1和2的情况下，且正定，所有线性无偏估计量中GLS估计量方差最小，数值为。5.3 现代版本在满足假设1和2的情况下，且所有的0″ data-formula-type=”inline-equation” style=””>，所有线性无偏估计量中GLS估计量方差最小，数值为。5.4 GLS估计量假设，在线性模型两侧同时乘以可以得到新模型其中，，，。于是GLS估计量
注意：这里的是总体的协方差矩阵，我们无法得到，需要通过设计一些统计量进行估计。也就是说估计量中其实还包含了另外的估计量，这就会造成估计误差的累积。找到一个准确的估计量也是接下来学习的一个重点。6 总结从整个推导过程来看，即使高斯-马尔可夫定理证明了当存在线性关系、是随机抽取的样本、、0″ data-formula-type=”inline-equation” style=””>时GLS估计量是的最优（方差最小）无偏估计量，但其实是在条件(样本集)下对估计，也就是说我们对的认知其实完全来源于所掌握的样本。而根据期望迭代定理，无条件的估计前提是样本集合能够完全描述总体的数字特征。因此，在实际研究中我们必须想方设法得到足够多的，具有代表性的，而且是随机抽取的样本，才能利用广义最小二乘法得到更准确的、有效的结论，这对设计问卷、访谈，数据收集和整理等工作提出了很高的要求。
高斯定理证明相关文章
qq名字网