基本思路和一元线性回归模型一致，相似处很多
相比一元模型，出现了矩阵表达方式
一般形式为
\[Y=\beta_0+\beta_1X_1+\beta_2X_2+...+\beta_kX_k+\mu\]非随机表达式为
\[E(Y|X_1,X_2,...,X_k)=\beta_0+\beta_1X_1+\beta_2X_2+...+\beta_kX_k\]其中 $\beta_j$ 被称为回归参数
对于给定观测值 ${(X_{i1},X_{i2},…,X_{ik},Y_i):i=1,2,…,n}$，总体回归模型可以写成如下形式
\[Y_i=\beta_0+\beta_1X_{i1}+\beta_2X_{i2}+...+\beta_kX_{ik}+\mu_i\ \ \ \ i=1,2,...,n\]或
\[Y_i=\bold{X_iß}+\mu_i\ \ \ \ i=1,2,...,n\]其中 $\bold{X_i}=(1,X_{i1},X_{i2},…,X_{ik})$；$\bold{ß}=(\beta_0,\beta_1,…,\beta_k)’$
得到其矩阵表达式为
\[\bold Y=\bold{Xß}+\bold{µ}\]样本回归函数及其随机表达式为
\[\left\{\begin{matrix} \hat Y=\hat\beta_0+\hat\beta_1X_1+\hat\beta_2X_2+...+\hat\beta_kX_k\\ Y=\hat\beta_0+\hat\beta_1X_1+\hat\beta_2X_2+...+\hat\beta_kX_k+e \end{matrix}\right.\]在容量为 $n$ 的样本下，也可以表示为
\[\left\{\begin{matrix} \hat Y_i=\hat\beta_0+\hat\beta_1X_{i1}+\hat\beta_2X_{i2}+...+\hat\beta_kX_{ik}\\ Y_i=\hat\beta_0+\hat\beta_1X_{i1}+\hat\beta_2X_{i2}+...+\hat\beta_kX_{ik}+e_i \end{matrix}\right.\]其矩阵表达式为
\[\left\{\begin{matrix} \bold{\hat Y}=\bold{X\hat ß}\\ \bold Y=\bold{X\hat ß}+\bold e \end{matrix}\right.\]假设一：模型设定正确
假设二：解释变量在所抽取的样本中具有变异性，且各 $X$ 之间不存在严格的线性相关性（无完全多重共线性），且随着样本容量的无限增加，解释变量形成的矩阵 $X’X/n$ 依概率收敛于一可逆的有限常矩阵
\[Plim_{n\rightarrow\infin}\bold(X'X)/n=\bold Q\]假设三：随机干扰项具有条件零均值性
假设四：随机干扰项具有条件同方差及不序列相关性
假设五：随机项满足正态分布
\[\mu_i\sim N(0,\sigma^2)\]矩阵表示方法
假设一：设定正确
假设二：$n\times(k+1)$ 的矩阵 $\bold X$ 的秩 $(\bold X)=k+1$，即 $\bold X$ 满秩
假设三：$E(\bold µ \bold X)=\bold 0$ 假设四：
\[Var(\bold µ|\bold X)=E(\bold{µµ'}|\bold X)= E \left(\begin{array}{c|c} \begin{matrix} {\mu_1}^2&...&\mu_1\mu_n&\\ ...&&...&\\ \mu_n\mu_1&...&{\mu_n}^2& \end{matrix}& \begin{matrix} \bold{X} \end{matrix} \end{array} \right)\\ = \begin{pmatrix} {\sigma}^2&...&0\\ ...&&...&\\ 0&...&{\sigma}^2& \end{pmatrix} =\sigma^2\bold{I_n}\]
假设五：$\bold µ \bold X\sim N(\bold 0,\sigma^2\bold{I_n})$
同样根据最小二乘原理，令四个一阶偏导为零得出，不再详述
其正规方程组的矩阵形式为
\[\bold{(X'X)\hat ß}=\bold{X'Y}\]由于 $\bold{X’X}$ 满秩，故有
\[\bold{\hat ß}=\bold{(X'X)}^{-1}\bold{X'Y}\]和一元同理，利用矩阵证明即可，不再详述
$TSS=\sum(Y_i-\bar Y)^2$ 总离差平方和
$ESS=\sum(\hat Y_i-\bar Y)^2$ 回归平方和
$RSS=\sum(Y_i-\hat Y_i)^2$ 剩余平方和
记其自由度有
$TSS\sim n-1$ $ESS\sim k$ $RSS\sim n-k-1$
可决系数 $R^2$ 为
\[R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS}\]调整的可决系数为
\[\bar {R^2}=1-\frac{RSS/(n-k-1)}{TSS/(n-1)}\]二者存在以下关系
\[\bar{R^2}=1-(1-R^2)\frac{n-1}{n-k-1}\]提出原假设和对立假设
$H_0: \forall\beta_j=0$
$H_1:\exist\beta_j\ne0$
建立服从自由度为 $(k, n-k-1)$ 的 $F$ 分布
给定显著性水平 $\alpha$，可得到临界值 $F_{\alpha}(k, n-k,-1)$，求出统计量 $F$ 的数值，通过
$F>F_{\alpha}(k, n-k,-1)$ – 拒绝原假设 $H_0$
$F\le F_{\alpha}(k, n-k,-1)$ – 接受原假设 $H_0$
来判定原方程总体上的线性关系是否显著成立
在多元线性回归分析中，t检验常被用作检验回归方程中各个参数的显著性，而F检验常被用作检验整个回归关系的显著性
各解释变量联合起来对被解释变量有显著的线性关系，并不意味着每一个解释变量分别对被解释变量有显著的线性关系
在一元线性回归分析中，二者具有等价作用，都是对解释变量的参数等于零进行检验
和一元完全一致，略
有一些非线性多元模型可以线性化，或本质其实仍然是线性模型
直接替换
倒数双曲线模型直接替换倒数
\[\frac{1}{Q}=a+b\frac{1}{P}+\mu\] \[Y=a+bX+\mu\]抛物线模型分别替换一次项和高次项为不同变量 $X_1$，$X_2$
\[s=a+br+cr^2+\mu,c<0\] \[s=a+bX_1+cX_2+mu,c<0\]函数变换
利用对数变换
\[Q=AK^\alpha L^\beta e^\mu\] \[\ln Q=\ln A+\alpha\ln K+\beta\ln L+\mu\]级数展开
如 CES 生产函数，取对数后展开泰勒级数取得线性近似式
\[Q=A(\delta_1K^{-\rho}+\delta_2L^{-\rho})^{-\frac{1}{\rho}e^\mu},\delta_1+\delta_2=1\] \[\ln Q=\ln A-\frac{1}{\rho}\ln(\delta_1 K^{-\rho}+\delta_2 L^{-\rho})+\mu\]取泰勒 0、1、2 阶项得到
\[\ln Q=\ln A+\delta_1\ln K+\delta_2\ln L-\frac{1}{2}\rho\delta_1\delta_2[\ln(\frac{K}{L})]^2\]中国工业生产函数模型，仅考虑资本与劳动两大主要要素 $Y=f(K,L)$
根据柯布道格拉斯生产函数建模为幂函数形式
\[Y=AK^{\beta_1}L^{\beta_2}\]$A$：技术进步
$\beta_1,\beta_2$：资本与劳动投入的产出弹性
$\beta_1+\beta_2=1 \rightarrow$ 规模收益不变
$\beta_1+\beta_2>1 \rightarrow$ 规模收益递增
$\beta_1+\beta_2<1 \rightarrow$ 规模收益递减
经对数变换得到
\[\ln Y=\ln A+\beta_1\ln K+\beta_2\ln L\]若规模收益（又称规模报酬）不变，也可等价变换为（把 $\beta_2$ 用 $\beta_1$ 替代，等式两边除以 $L$）
\[\frac{Y}{L}=A{\frac{K}{L}}^{\beta_1}\] \[\ln(\frac{Y}{L})=\ln A+\beta_1\ln(\frac{K}{L})\]$ln A$ 作为截距项，常被用 $\beta_0$ 替代
整理引入随机干扰项，最终得到两个线性回归模型
\[\left\{\begin{matrix} \ln Y=\beta_0+\beta_1\ln K+\beta_2\ln L+\mu\\ \ln(Y/L)=\beta_0+\beta_1\ln(K/L)+\mu \end{matrix}\right.\]结果分析
$\hat\beta_1+\hat\beta_2$ 作为估计值之和，其值接近 $1$ 其实并不能代表规模报酬不变
注意 $\ln(Y/L)$ 若想计算系数和或与 $\ln Y$ 比较需要将其完全展开
只能说最终两式回归结果越接近，规模收益越有可能不变
因此本节所使用的方法存在缺陷，标准解决方案见 第七节 受约束回归
有些变量无法用数值表示，无法量化
如职业、性别、文化程度等等
为能在模型中反映无法量化的因素对模型的影响，提高模型精度，就需要引入虚拟变量（dummy variables）
符号记作 $D$，构造只取 $0$ 或 $1$
现阶段涉及到的虚拟变量仅作为解释变量存在
如引入性别虚拟变量，用工龄 $X$ 建立员工薪金模型如下
\[D= \left\{\begin{matrix} 1,男性职工\\ 0,女性职工 \end{matrix}\right.\] \[Y_i=\beta_0+\beta_1X_i+\beta_2D_i+\mu_i\]一般：基础、肯定类型取值为 $1$；比较、否定类型取值为 $0$
与估计值相乘后加入表达式
如 一、 中的模型，性别不同直接影响表达式，出现两种模型
| 女性：$E(Y_i | X,D=0)=\beta_0+\beta_1X_i$ |
| 男性：$E(Y_i | X,D=1)=(\beta_0+\beta_2)+\beta_1X_i$ |
推测因性别导致分工岗位不同，男职工薪金高于同工龄的女职工 $\beta_2$
因此可以通过对 $\beta_2$ 的统计显著性检验，判断企业男女职工的平均薪金水平是否有显著差异
$H_0:\beta_2=0$
$t=\dfrac{\hat\beta_2-0}{S_{\hat\beta_2}}$
类似的，可以再引入学历虚拟变量，建模
\[Y_i=\beta_0+\beta_1X_i+\beta_2D_1+\beta_3D_2+\mu\]对于有不止两个层次的虚拟变量，需要引入多个虚拟变量
\[D_1= \left\{\begin{matrix} 1,高中\\ 0,其他 \end{matrix}\right.， D_2= \left\{\begin{matrix} 1,大学及以上\\ 0,其他\ \ \ \ \ \ \ \ \ \ \ \ \end{matrix}\right.\]高中以下：$D_1=0,D_2=0$
最终出现三种模型
| 高中以下：$E(Y_i | X_i,D_1=0,D_2=0)=\beta_0+\beta_1X_i$ |
| 高中：$E(Y_i | X_i,D_1=1,D_2=0)=(\beta_0+\beta_2)+\beta_1X_i$ |
| 大学及以上：$E(Y_i | X_i,D_1=0,D_2=1)=(\beta_0+\beta_3)+\beta_1X_i$ |
当然，也可以同时引入性别和学历的虚拟变量，产生更多的分支，使研究更为细致具体也更麻烦
加法方式影响模型的截距项
与估计值相乘，再与解释变量相乘后加入表达式
如研究农村、城镇居民边际消费倾向差异的模型
\[D= \left\{\begin{matrix} 1,农村居民\\ 0,城镇居民 \end{matrix}\right.\] \[C_i=\beta_0+\beta_1X_i+\beta_2D_iX_i+\mu_i\]| 农村居民：$E(C_i | X,D=1)=\beta_0+(\beta_1+\beta_2)X_i$ |
| 城镇居民：$E(C_i | X,D=0)=\beta_0+\beta_1X_i$ |
若同时引入加法和乘法方式，还可以判断最终差异受截距还是斜率影响更大
乘法方式影响模型的斜率项
若把模型写成矩阵形式
\[\bold Y=(\bold X,\bold D) \begin{pmatrix} \bold ß\\ \bold ⍺ \end{pmatrix} +\bold µ\]则 $(\bold X,\bold D)$ 矩阵应满秩，任一列不能是另几列的线性组合
引入 $m$ 或更多个虚拟变量，会导致模型解释变量出现完全共线性
被称为虚拟变量陷阱（Dummy Variable Trap），使得参数无法唯一求出
对模型
\[Y=\beta_0+\beta_1X_1+...+\beta_kX_k+\mu\]施加约束 $\beta_1+\beta_2=1\ \ \ \ \beta_{k-1}=\beta_k$
得（假设成立）
\[Y=\beta_0+\beta_1X_1+(1-\beta_1)X_2+...+\beta{k-1}X_{k-1}+\beta_{k-1}X_k+\mu^*\ \ \textcircled{\small 1}\]或变换整理得
\[Y^*=\beta_0+\beta_1X_1^*+\beta_3X_3+...+\beta_{k-1}X_{k-1}^*+\mu^*\ \ \ \textcircled{\small 2}\]$Y^*=Y-X_2$
$X_1^*=X_1-X_2$
$X_{k-1}^*=X_{k-1}+X_k$
如果对 $\textcircled{\small 2}$ 式回归得出 $\hat\beta_0,\hat\beta_1,\hat\beta_3,…,\hat\beta_{k-1}$
则由约束条件可以得到：$\hat\beta_2=1-\hat\beta_1\ \ \ \ \hat\beta_k=\hat\beta_{k-1}$
把原模型 $\textcircled{\small 1}$ 叫做不受约束的模型，用角标 $_R$ 表示
变换整理后的模型 $\textcircled{\small 2}$ 就叫受约束的模型，用角标 $_U$ 表示
可通过 $RSS_R-RSS_u$ 检验约束的真实性
根据数理原理，得知
\[\frac{RSS_U}{\sigma^2}\sim\chi^2(n-k_U-1)\] \[\frac{RSS_R}{\sigma_2}\sim\chi^2(n-k_R-1)\] \[\frac{RSS_R-RSS_U}{\sigma^2}\sim\chi^2(k_U-k_R)\]于是有
\[F=\frac{(RSS_R-RSS_U)/(k_U-k_R)}{RSS_U/(n-k_U-1)}\sim F(k_U-k_R,n-k_U-1)\]如果约束条件无效，$RSS_R$ 与 $RSS_U$ 的差异较大，计算的 $F$ 值也较大
施加约束：假设成立，变换出受约束模型
计算 $RSS_R$ 和 $RSS_U$
建立假设，进行真实性检验，得出结果
举例
对 $Y_i=\beta_0+\beta_1X_1+…+\beta_kX_k+\mu_i$ 进行约束性 $F$ 检验
建立虚拟假设 $H_0:\beta_1=\beta_2=…=\beta_k=0$
注意到：该假设和多元线性回归方程显著性 $F$ 检验的假设一样
建立受约束回归模型 $R$：$Y_i=\beta_0+\mu_i$
代入 $ESS_R=0$ 之后
将 $F=\frac{(RSS_R-RSS_U)/(k_U-k_R)}{RSS_U/(n-k_U-1)}$ 变形，依然可以得出 $F=\frac{ESS_U/k}{RSS_U/(n-k-1)}$
事实上，约束性 $F$ 检验方法对所有带参数的显著性检验都完全适用
$\textcircled{\small 2}$ 其实就是 $\textcircled{\small 1}$ 增加了 $q$ 个解释变量，可以把 $\textcircled{\small 1}$ 看作是 $\textcircled{\small 2}$ 的受约束回归
可得出 $F$ 统计量
\[F=\frac{(RSS_R-RSS_U)/q}{RSS_U/[n-(k+q+1)]}=\frac{(RSS_U-RSS_R)/q}{RSS_U/[n-(k+q+1)]}\sim F[q,n-()k+q+1]\]