简单线性回归是一种统计技术，用于显示一个因变量和一个自变量之间的关系。 因变量表示为 Y，而自变量表示为 X。变量 X 和 Y 线性相关。
简单线性回归可用于： (a) 描述一个变量对另一个变量的线性相关性； (b) 根据另一个变量的值预测一个变量； (c) 修正一个变量对另一个变量的线性相关性。
https://embed.notionlytics.com/wt/ZXlKd1lXZGxTV1FpT2lKa05ETmpOamN3WXprMllURTBNMlEzWWpreU9HSmlPVGsxWTJVd05qVm1OaUlzSW5kdmNtdHpjR0ZqWlZSeVlXTnJaWEpKWkNJNklsZHNTR2hsVEZSUFdXeHpaVmRhUW1ZNU1YQmxJbjA9
简单线性回归模型的形式为：
$$ Y_{i}=\beta_{0}+\beta_{1} X_{i}+\varepsilon_{i} $$
其中 $\beta_{0}$ 和 $\beta_{1}$ 是 $X$ 的截距和回归系数，$\epsilon$ 是误差项。
上述中回归系数的解可以使用最小二乘法得出：
$$ e_{i}=Y_{i}-\beta_{0}-\beta_{1} X_{i} $$
要找到残差平方和的最小和（最小二乘线上留下的位），请将下面的总和设置为零：
$$ \sum_{i=1}^{n}\left(e_{i}\right)^{2}=\sum_{i=1}^{n}\left(Y_{i}-\beta_{0}-\beta_{1} X_{i}\right)^{2}=0 $$
上述，对 $\beta_{1}$ 的偏导数：
$$ \frac{\delta}{\delta \beta_{0}} \sum_{i=1}^{n}\left(Y_{i}-\beta_{0}-\beta_{1} X_{i}\right)^{2}=-2\left(n \beta_{0}+\beta_{1} \sum_{i=1}^{n} X_{i}-\sum_{i=1}^{n} Y_{i}\right)=0 $$
将上述除以 2，求解 $\beta_{0}$，得到
$$ \beta_{0}=\bar{Y}-\beta_{1} \bar{X} $$
现在，
$$ \frac{\delta}{\delta \beta_{1}} \sum_{i=1}^{n}\left(Y_{i}-\beta_{0}-\beta_{1} X_{i}\right)^{2}=-2 \sum_{i=1}^{n}\left(X_{i} Y_{i}-\beta_{0} X_{i}-\beta_{1} X_{i}^{2}\right)=0 $$
因此，
$$ \beta_{1}=\frac{\sum_{i=1}^{n}\left(X_{i} Y_{i}-X_{i} \bar{Y}\right)}{\sum_{i=1}^{n}\left(X_{i}^{2}-X_{i} \bar{X}\right)}=\frac{\sum_{i=1}^{n}\left(X_{i} Y_{i}\right)-n \bar{X} \bar{Y}}{\sum_{i=1}^{n}\left(X_{i}^{2}\right)-n \bar{X}^{2}}=\frac{\operatorname{cov}(X, Y)}{\operatorname{var}(X)} $$
其中 $\operatorname{cov}(X, Y)$ 是 $X$ 和 $Y$ 的协方差——衡量 $X$ 如何随 $Y$ 变化的量度。