线性模型，是通过相关数据的线性组合来构成的模型（如下式）。而线性回归是机器学习中的一类问题，它试图通过学习已有数据而获得一个线性的模型，以此来预测某一个问题的实际输出值。
我们先考虑一种最简单的线性回归问题，假设已经知道一组数据D，现在需要通过这组数据来获得一种预测模型，用来预测未来某个输入x所对应的输出值y。
我们定义如下的函数f(x)为预测模型，假设预测值f(x)与真实值y之间的误差独立且服从高斯分布。
则极大似然函数L(f)如下，对等式两边取对数可以得到ln(L(f))。
要使得极大似然函数最大，只需要求出w和b使得E最小即可。
考虑更一般的情况（如式(1)）,则类似式(5)可得如下E:
也可将其写成向量的形式：
若要求未知参数w，使得上式取最小值，则对两边关于w求一阶导，并让导数为0可得（注意这里的w为向量）：
上面所求的是其最优解的闭式解，也可以根据梯度下降算法来求其最优解，有关梯度下降算法以及线性模型实例可以参考我之前的另外两篇文章：《王者荣耀评分机制之梯度下降算法分析(一)》和《王者荣耀评分机制之梯度下降算法分析(二)》。