Study-Journal

经典单方程计量经济学模型：一元线性回归模型

引入

• 一元：单一解析变量

• 回归模型

---

名词解释

• 总体回归函数是指在给定 $X_i$ 下 $Y$ 分布的总体均值与 $X_i$ 所形成的函数关系（或者说将总体被解释变量的条件期望表示为解释变量的某种函数）

  随机的总体回归函数是指含有随机干扰项的总体回归函数

• 样本回归函数是指从总体中抽出的关于 $Y$、$X$ 的若干组值形成的样本所及建立的回归函数

• 随机干扰项也称随机误差项，是一个随机变量，是针对总体回归函数而言的

---

第一节 回归分析概述

一、回归分析的基本概念

（一）变量间的相互关系

• 确定性关系或函数关系： $S_圆=f(\pi, r)=\pi r^2$

• 非确定性统计相关关系 – 研究非确定现象随机变量间的关系

  • $农作物产量=f(气温,降雨量,阳光,施肥量)$

对变量间统计依赖关系的考察主要是通过相关分析与回归分析来完成

（二）相关分析与回归分析

• 相关分析 – 主要研究变量间的相关形式及相关程度

  • 相关系数 – correlation coefficient

  • 正相关 – positive correlation

  • 负相关 – negative correlation

  • 不相关 – non-correlation

  总体相关系数公式

  \[\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}\]

  • $Cov$ – 协方差

  • $Var$ – 方差

  样本相关系数公式

  \[r_{XY}=\frac{\sum_{i=1}^n(X_i-\bar X)(Y_i-\bar Y)}{\sqrt{\sum_{i=1}^n(X_i-\bar X)^2\sum_{i=1}^n(Y_i-\bar Y)^2}}\]

• 回归分析 – 仅对存在因果关系而言

  有相关性不代表一定有因果性

  如同一老师授课的两班同学成绩有高度正相关性，但并没有因果关系

  • 回归分析是研究一个变量关于另一个/些变量的具体依赖关系的计算方法和理论

  • 目的是通过后者的已知或设定值，估计和/或预测前者的（总体）均值

  • 前者被称为被解释变量或应变量，后者被称为解释变量或自变量

    对应的，二者亦被称为回归子和回归元

    通常情况下，被解释变量为内生变量，解释变量为外生变量

    内生变量：模型、系统本身决定

    外生变量：模型、系统外因素决定

    货币供给虽然也受其他因素影响，但几乎完全受中央银行控制，是否能考虑为外生变量存在争议

联系和区别

• 均是研究非确定性变量（随机变量）之间的统计依赖关系

• 相关分析仅从统计数据上测度变量间的相关程度，无需考虑因果关系

  回归分析更关注变量间因果关系

• 相关分析中变量地位是对称的，都是随机变量 – $\rho_{xy}$ 和 $\rho_{yx}$ 意义相同

  回归分析中变量地位不对称，有解释变量和被解释变量之分

• 相关分析只关注变量间的联系程度，不关注具体的依赖关系

  回归分析更加关注依赖关系

二、总体回归函数

p27

总体回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值

只要满足是所有研究对象即可称之为总体，不一定需要大量

名词解释

• 条件概率：给定条件前提下的概率

• 条件均值：给定条件前提下概率的期望值

  如 800 收入时的条件均值计算 $E(Y

  X=800)=561\times\frac{1}{4}+594\times\frac{1}{4}+627\times\frac{1}{4}+638\times\frac{1}{4}=605$ 就是求四个数的平均值

• 计算每一收入档次下的条件均值

• 根据条件均值数据描点制表

• 若 $Y$ 的条件质均落在一根正斜率的直线上，这反映随着收入增加，消费“平均来说“也在增加

• 这条直线被称为总体回归线，更一般地称之为总体回归曲线（population regression curve）

对应的函数即为总体回归函数（population regression function, PRF）

\[E(Y|X_i)=f(X_i)=\beta_0+\beta_1X_i\]

其中，$\beta_0$ 和 $\beta_1$ 是未知参数，被称为回归参数

经典计量方法中所涉及的线性函数均是指回归参数是线性的，对解释变量可以不是线性的

条件实际值往往离散在均值附近，这也反映了其他因素对回归曲线的影响

三、随机扰动项

又名随机干扰项、随机误差项，是不可预测的随机变量，用 $\mu$ 表示

作用

1. 代表未知因素

2. 代表残缺数据

3. 代表众多细小影响因素

4. 代表数据观测存在的误差

5. 代表模型设定误差 – 错误预估了模型类型

6. 代表变量的内在随机性 – 有时行为具有随机性，会产生无由的结果

其中，3 和 6 是模型所固有的原生随机干扰，无法消除

而 1, 2, 4, 5 是模型设定过程中产生的衍生随机误差，可以尽力消除避免

上述案例中，若想研究每一户家庭的消费支出，就不能再使用总体回归函数，必须考虑实际值的离散波动

条件期望值 + 离差 = 条件实际值

在刚才的总体回归函数上加入随机干扰项

\[Y_i=E(Y|X_i)+\mu_i\]

或者在线性假设下，可以表示为

\[Y_i=\beta_0+\beta_1X_i+\mu_i\]

即为每一户家庭收入支出关系的回归函数

四、样本回归函数

p30

在现实中，总体的详细信息往往无法直接获得，总体回归函数实际上仍然是未知的

通常通过抽样得到整体的样本，再根据样本信息来估计总体回归函数

• 每一个收入档次抽取一个样本数据

• 根据样本数据描点制表

• 画一条直线尽可能好地拟合散点图，该直线被称为样本回归线（sample regression line）

  实际应当通过普通最小二乘法找出最拟合的线，此处暂且不表

对应的函数即为样本回归函数（sample regression function, SRF）

\[\hat{Y_i}=f(X_i)=\hat{\beta_0}+\hat{\beta_1}X_i\]

^ 意味着为估计值

同样，样本回归函数也有随机形式，其对应的随机项为残差项

又名样本残差、剩余项（residual），用 $e$ 表示

残差项代表了其他影响 $Y_i$ 的随机因素的集合，也可以看作是 $\mu_i$ 的估计值 $\hat{\mu_i}$

\[Y_i=\hat{Y_i}+\hat{\mu_i}=\hat{\beta_0}+\hat{\beta_1}X_i+e_i\]

由于方程引入了随机项，成为了计量经济模型，因此也被称为样本回归模型（sample regression model）

$\hat\mu_i=e_i$ 所表达的不仅仅是数值相等，而是健全的意义相同，在函数运算或推导过程中完全可以相互代换

---

第二节 一元线性回归模型的参数估计

一、一元线性回归模型的基本假设

• 假设一：回归模型时正确设定的

• 假设二：解释变量 $X$ 在所抽取的样本中具有变异性，随着样本容量的无限增加，解释变量 $X$ 的样本方差趋于一有限常数，即

  \[\sum {(X_i-\bar X)^2/n} \rightarrow Q, n \rightarrow \infin\]

  • 变异性：样本数据之间必须存在明显变化

  • 样本方差为 $\sum{\frac{(a_i-\bar a)^2}{n+1}}$，这里 $n\rightarrow\infin$ 省略了 $n+1$

• 假设三：给定解释变量 $X$ 的任何值，随机干扰项的均值为零，即

  均值即为平均值，如 $Y$ 的均值是 $\frac{\sum_1^n Y_i}{n}$

  \[E(\mu_i|X_i)=0, i=1,2,...,n\]
  • 隐含假设：$X$ 为内生变量与 $\mu_i$ 无关

• 假设四：随机误差项 $\mu$ 具有给定 $X$ 条件下的同方差和不序列相关性

  • $Var(\mu_i

    X_i)=\delta^2, i=1,2,…,n$

    • 同方差意味着离散程度一样

  • $Cov(\mu_i,\mu_j

    X_i,X_j)=0, i\ne j, i,j=1,2,…,n$

    • 协方差为零代表不相关

• 假设五（非必须）：$\mu$ 服从零均值、同方差、零协方差的正态分布，即

  \[\mu_i \sim N(0,\sigma^2), i=1,2,...,n\]

  • 仅估计则不需要，如需预测则需要

  • 同时，只有样本极大时才能认为近似正态分布，因此对于样本极小的情况也是必须

以上假设被称为经典假设，满足以上假设的被称为经典线性回归模型

特殊的，前四个假设也被称为高斯—马尔可夫假设

二、参数估计的普通最小二乘法

普通最小二乘法（ordinary least squares, OLS）

（一）如何使回归线尽可能拟合散点图？

• 希望残差从总体上达到最小，即 $\sum e_i$ 最小？

  • 不合理，残差项有正负之分，可能抵消

• 取绝对值消除正负干扰，即 $\sum

  e_i

  $ 最小？

  • 计算时仍要去除绝对值号，此时已无法判断正负

• 取平方和，即 $\sum {e_i}^2$ 最小？

  • 正解，即为最小二乘原理

（二）残差和计算公式推导

\[Q=\sum_{i=1}^n{e_i}^2=\sum_{i=1}^n(Y_i-\bar Y)^2=\sum_{i=1}^n[Y_i-(\hat\beta_0+\hat\beta_1X_i)]^2\]

（三）残差项 $Q$ 最小化

根据数学原理，$f’=0$ 时 $f(x)$ 有最小值

$Q(\beta_1,\beta_0)$ 作为二元函数，其最值应当是一阶偏导数为零，即

\[{\left\{\begin{matrix} \frac{\partial Q}{\partial\hat\beta_0}=0\\ \frac{\partial Q}{\partial\hat\beta_1}=0 \end{matrix}\right.}\]

求偏导得到

\[{\left\{\begin{matrix} \sum(Y_i-\hat\beta_0-\hat\beta_1X_i)=0\\ \sum X_i(Y_i-\hat\beta_0-\hat\beta_1X_i)=0 \end{matrix}\right.}\]

因为等式右边是零项，这一步两式都除去了一个常数乘数 $-2$

或

\[{\left\{\begin{matrix} \sum Y_i=n\hat\beta_0+\hat\beta_1\sum X_i\\ \sum X_iY_i=\hat\beta_0\sum X_i+\hat\beta_1\sum X_i^2 \end{matrix}\right.}\]

该式又被称为正规方程组，解得

\[{\left\{\begin{matrix} \hat\beta_0=\frac{\sum{X_i}^2\sum Y_i-\sum X_i\sum X_iY_i}{n\sum {X_i}^2-(\sum X_i)^2}\\ \hat\beta_1=\frac{n\sum Y_iX_i-\sum Y_i\sum X_i}{n\sum {X_i}^2-(\sum X_i)^2} \end{matrix}\right.}\]

若以小写字母表示对均值的离差，即 $x_i=X_i-\bar X$，$y_i=Y_i-\bar Y$，记

\[\sum {x_i}^2=\sum(X_i-\bar X)^2=\sum {X_i}^2-\frac{1}{n}(\sum X_i)^2\] \[\sum x_iy_i=\sum(X_i-\bar X)(Y_i-\bar Y)=\sum X_iY_i-\frac{1}{n}\sum X_i\sum Y_i\]

因此可以把方程组的参数估计量写成

\[{\left\{\begin{matrix} \hat\beta_1=\frac{\sum x_iy_i}{\sum {x_i}^2}\\ \hat\beta_0=\bar Y-\hat\beta_1\bar X \end{matrix}\right.}\]

这被称为 OLS 估计量的离差形式

由于 $\hat\beta_0$，$\hat\beta_1$ 的估计结果是从最小二乘原理得到的，故被称为普通最小二乘估计量

另外，从 $Y=\hat\beta_0+\hat\beta_1X+e$ 可知 $\bar Y=\hat\beta_0+\hat\beta_1\bar X+\bar e$，若记 $\hat y_i=\hat Y_i-\bar Y$，则有

\[\hat y_i=(\hat\beta_0+\hat\beta_1X_i)-(\hat\beta_0+\hat\beta_1\bar X+\bar e)\\ =\hat\beta_1(X_i-\bar X)-\frac{1}{n}\sum e_i\]

从而得到

\[\hat y_i=\hat\beta_1x_i\]

这就是样本回归函数的离差形式，而样本回归模型的离差形式为

\[y_i=\hat\beta_1x_i+e_i\]

估计量与估计值

确定样本数据之前，$\hat\beta_0$ 和 $\hat\beta_1$ 为随机变量，称为估计量

确定样本数据后，二者作为确定的数值称为估计值，也称 “点估计值”

对应关系

样本数据中

$\hat Y_i=\hat\beta_0+\hat\beta_1X_i$ 和 $\hat y_i=\hat\beta_1X_i$ 对应

$Y_i=\hat\beta_0+\hat\beta_1X_i+e_i$ 和 $y_i=\hat\beta_1x_i+e_i$ 对应

总体和样本数据间

\[{\left\{\begin{matrix} E(Y|X_i)=\beta_0+\beta_1X_i\\ Y_i=\beta_0+\beta_1X_i+\mu_i \end{matrix}\right.}\]

和

\[{\left\{\begin{matrix} \hat Y_i=\hat\beta_0+\hat\beta_1X_i\\ Y_i=\hat\beta_0+\hat\beta_1X_i+e_i \end{matrix}\right.}\]

对应

（四）OLS 估计量的数值性质

• 由可观测得量表达，容易计算

• 属于点估计量

• 一旦从样本数据得到 OLS 估计值，便可得到样本回归线，样本回归线有以下特征

  • 通过 $Y$ 和 $X$ 的均值

  • 估计的 $Y$ 的均值等于实测的 $Y$ 的均值

  • 残差均值为零

  • 残差项和 $X$ 不相关

  • 残差项与估计的 $Y$ 不相关

三、普通最小二乘估计量的统计性质

（一）小样本性质

根据高斯—马尔可夫定理，在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量

1. 线性性

是否是另一随机变量的线性函数

即估计量 $\hat\beta_0$、$\hat\beta_1$ 是 $Y_i$ 的线性组合

\[\hat\beta_1=\sum k_iY_i, k_i=\frac{x_i}{\sum{x_i}^2}\] \[\hat\beta_0=\sum w_iY_i, w_i=\frac{1}{n}-\bar Xk_i\]

详细推导过程见 p40

数学原理：正态分布的变量其线性函数依然是正态分布

因此 $\mu_i$ 的正态分布可以使得 $Y_i$ 和 $\hat\beta_1$、$\hat\beta_0$ 均为正态分布

2. 无偏性

均值或期望值是否等于总体的真实值

\[\because\hat\beta_1=\sum k_iY_i=\sum k_i(\beta_0+\beta_1X_i+\mu_i)=\beta_0\sum k_i+\beta_1\sum k_iX_i+\sum k_i\mu_i\] \[\therefore\hat\beta_1=\beta_1+\sum k_i\mu_i\]

数学原理：对于两不相关的量有 $E(XY)=E(X)E(Y)$

\[\therefore E(\hat\beta_1)=\beta_1+\sum k_iE(\mu_i)\]

<——————————————-TODO———————————————

3. 有效性

又称最小方差性，是否在所有线性无偏估计量具有最小方差

具有这类性质的估计量被称为最佳线性无偏估计量（best liner unbiased estimator, BLUE）

$\hat\beta_1$ 的方差

\[\begin{array}{rcl} Var(\hat{\beta}_1) &=& Var\left(\sum{k_i}Y_i\right)=\sum{k_i}^2Var(Y_i)\\ &=& \sum{k_i}^2Var(\beta_0+\beta_1X_i+\mu_i)\\ &=& \sum{k_i}^2Var(\mu_i)\\ &=& \frac{\sigma^2}{\sum{x_i}^2} \end{array}\]

推导可知 $\sum{k_i}^2=\frac{1}{\sum{x_i}^2}$

同理可得 $\hat\beta_0$ 的方差

\[Var(\hat\beta_0)=\frac{\sum{X_i}^2}{n\sum{x_i}^2}\sigma^2\]

（二）大样本性质

1. 渐近无偏性

2. 一致性

四、一元线性回归模型的统计检验

（一）参数估计量的概率分布及随机干扰项方差的估计

1. 参数估计量 $\hat\beta_0$ 和 $\hat\beta_1$ 的概率分布

\[\because Y|X\sim N(\beta_0+\beta_1X,\sigma^2)\] \[\therefore \hat\beta_1\sim N(\beta_1,\frac{\sigma^2}{\sum{x_i}^2}), \hat\beta_0\sim N(\beta_0,\frac{\sum{X_i}^2}{n\sum{x_i}^2}\sigma^2)\]

2. 随机误差项 $\mu$ 的方差 $\sigma^2$ 的估计

$\sigma^2$ 又称总体方差，其最小二乘估计量为

\[\hat\sigma^2=\frac{\sum{e_i}^2}{n-2}\]

即为关于 $\sigma^2$ 的无偏估计量

在随机干扰项 $\mu_i$ 的方差 $\sigma^2$ 被估计出后，参数 $\hat\beta_1$ 和 $\hat\beta_0$ 的方差的样本估计量分别是

\[{S_{\hat\beta_1}}^2=\hat\sigma^2/\sum{x_i}^2\] \[{S_{\hat\beta_0}}^2=\hat\sigma^2\sum{X_i}^2/n\sum{x_i}^2\]

（二）拟合优度检验

1. 总离差平方和的分解

p35 <——————————————-TODO———————————————

2. 可决系数 $R^2$ 统计量

\[R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS}\]

称 $R^2$ 为（样本）可决系数/判定系数（Coefficient of Determination）

取值范围为 $[0, 1]$，越接近 $1$ 说明实际观测点离样本线越近，拟合优度越高

（三）变量的显著性检验

判断变量之间的线性关系是否显著成立

计量经济学中，主要针对变量的参数真值是否为零来进行显著学检验

$\hat\beta_1$ 等均为估计值，并非真值

\[\frac{\hat\beta_1-E(\hat\beta_1)}{S_{\hat\beta_1}}\sim t\]

<——————————————-TODO———————————————

步骤

对于 $Y_i=\beta_0+\beta_1X_i+\mu_i$，利用假设法，根据小概率事件不发生原则

• 提出假设 $H_0:\beta_1=0$，$H_1:\beta_1\ne0$

• 以原假设 $H_0$ 构造 $t$ 统计量，根据样本计算其值 $t=\frac{\hat\beta_1}{S_{\hat\beta_1}}$

• 根据给定显著性水平 $\alpha$ 和自由度 $v$ 查 $t$ 分布表，得到临界值 $t_{\frac{\alpha}{2}}(n-2)$

• 比较判断

  • $

    t

    \le t_{\frac{\alpha}{2}}(n-2)$：大概率事件发生，接受虚拟假设 $H_0$，拒绝对立假设 $H_1$

    未通过变量显著性检验

  • $

    t

    >t_{\frac{\alpha}{2}}(n-2)$：小概率事件发生，拒绝虚拟假设 $H_0$，接受对立假设 $H_1$

    通过了变量显著性检验

是斜率项真正影响线性关系是否成立，截距并不重要

（四）参数的置信区间

$(\hat\beta_1-\delta,\hat\beta_1+\delta)$

$P(-t_{\frac{\alpha}{2}}<t<t_{\frac{\alpha}{2}})=1-\alpha$

置信区间越小越好

根据其最小二乘量估计量公式 $\hat\sigma^2=\frac{\sum {e_i}^2}{n-2}$ 可知，缩小的方法有

• 增大样本容量 $n$

• 提高模型的拟合优度

五、一元线性回归分析的应用：预测问题

• 预测值的估计值不是预测值

  • 参数估计量不确定

  • 随机项的影响

（一）预测值是条件均值或个别值的一个无偏估计

无偏的特征：$E(\hat\beta_1)=\beta_1$

$\because E(\hat Y_0)=\beta_0+\beta_1X_0=E(Y

X_0),$

$\ \ \ \ Y_0=\beta_0+\beta_1X_0+\mu_i$

$\therefore E(\hat Y_0)=E(Y_0)$

（二）总体条件均值与个别值预测值的置信区间

1. 总体条件均值预测值

借助预测值的估计值 $\hat Y_0$ ，构造统计量 $\frac{\hat Y_0-E(\hat Y_0)}{S_{\hat Y_0}}\sim t$

同样可以查 $t$ 分布图得到概率 $P=1-\alpha$

整理得到

\[P(\hat Y_0-t_{\frac{\alpha}{2}}S_{\hat Y_0}<E(Y|X_0)<\hat Y_0+t_{\frac{\alpha}{2}}S_{\hat Y_0})=95\%\]

因此只需要得到 $\hat Y_0$ 的值即可求出置信区间，而

\[\begin{array}{rcl} Var(\hat Y_0) &=& Var(\hat\beta_0+\hat\beta_1X_0)\\ &=& Var(\hat\beta_0)+{X_0}^2Var(\hat\beta_1)+2X_0Cov(\hat\beta_0,\hat\beta_1) \end{array}\]

线性无偏有效性中，已经求得 $Var(\hat\beta_0)$ 和 $Var(\hat\beta_1)$，唯一未知量是 $Cov(\hat\beta_0,\hat\beta_1)$

借助普通最小二乘估计量中

\[{\left\{\begin{matrix} \hat\beta_0=\bar Y-\hat\beta_1\bar X\\ E(\hat\beta_0)=\bar Y-\bar XE(\hat\beta_1) \end{matrix}\right.}\]

相减得到

\[\hat\beta_0-E(\hat\beta_0)=-\bar X[\hat\beta_1-E(\hat\beta_1)]\]

整理并整体求期望得到

\[E\{[\hat\beta_0-E(\hat\beta_0)][\hat\beta_1-E(\hat\beta_1)]\}=E\{-\bar X[\hat\beta_1-E(\hat\beta_1)]^2\}\]

根据数学知识进一步整理即为

\[Cov(\hat\beta_0,\hat\beta_1)=-\bar XVar(\hat\beta_1)=-\frac{\sigma^2\bar X}{\sum{x_i}^2}\]

于是，在 $1-\alpha$ 置信度下，总体均值 $E(Y

X_0)$ 的置信区间为

\[\hat Y_0-t_{\frac{\alpha}{2}}S_{\hat Y_0}<E(Y|X_0)<\hat Y_0+t_{\frac{\alpha}{2}}S_{\hat Y_0}\]

其中

\[\hat Y_0\sim N\{\beta_0+\beta_1X_0,\sigma^2[\frac{1}{n}+\frac{(X_0-\bar X)^2}{\sum{x_i}^2}]\}\] \[S_{\hat Y_0}=\sqrt{\hat\sigma^2(\frac{1}{n}+\frac{(X_0-\bar X)^2}{\sum{x_i}^2})}\]

2. 个别值预测值

构造过程同理，得到 $\frac{(\hat Y_0-Y_0)-0}{S_{\hat Y_0-Y_0}}\sim t$

同样可以查 $t$ 分布图得到概率 $P=1-\alpha$

整理得到

\[P(\hat Y_0-t_{\frac{\alpha}{2}}S_{\hat Y_0-Y_0}<Y_0<\hat Y_0+t_{\frac{\alpha}{2}}S_{\hat Y_0-Y_0})=95\%\]

推导过程类似但更为复杂老师写不动了我也写不动了

最终得到

\[\hat Y_0-Y_0\sim N\{0,\sigma^2[1+\frac{1}{n}+\frac{(X_0-\bar X)^2}{\sum{x_i}^2}]\}\] \[S_{\hat Y_0-Y_0}=\sqrt{\hat\sigma^2(1+\frac{1}{n}+\frac{(X_0-\bar X)^2}{\sum{x_i}^2})}\]

对比

比较两个标准差发现，$S_{\hat Y_0}<S_{\hat Y_0-Y_0}$

因此个值的置信区间大于均值的置信区间，个体的置信带（域）宽于总体回归函数的置信带（域）

极值

当且仅当 $(X_0-\bar X)^2=0$，即 $X_0=\bar X$ 时有最小值，体现为置信带上的最窄部分

精度提高方法

即缩小置信区间的方法

• 增加样本容量

• 样本容量一定时，尽可能在均值附近进行插值预测

2 倍 t 法则

在经验分析中，如果自由度超过 20，仍然检验的是总体参数为零这一原假设，则在报告标准差的情况下，可以看参数估计值的绝对值是否超过了标准差的 2 倍（因为根据 t 分布表最终应当落在 2 附近）

如果是，往往意味着在 5% 的显著性水平下，拒绝参数为零的原假设