1 模型概览
1.1 学科分属
基本学科归属： 数理统计学
需要背景知识： 线性代数，线性统计模型，曲线拟合
1.2 历史发展
1.2.1 最小二乘法的描述
最小二乘法（ordinary least squares，又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
1.2.2 研究历史
1805年，法国数学家勒让德（Adrien-Marie Legendre）在其著作《计算彗星轨道的新方法》中，独立提出最小二乘法。该书共有80页，包含8页附录。他提出的最小二乘法就包含在附录中。勒让德没有设法构造出k个方程求解，而是认识到关键不在于使某一方程严格符合，而在于要使误差以一种更平衡的方式分配到各个方程。即寻求值，使各误差的平方和，即达到最小。 取平方，而不取绝对值、四次方或其他函数，这就只能从计算的观点来解释了。
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯将他使用的最小二乘法发表于1809年他的著作《天体运动论》中。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明。
2. 模型介绍
2.1 具体模型介绍
2.1.1 最小二乘法基本原理
有一组样本，其中，表示了样本被观察的个特征，则表明样本的取值。
我们希望用函数对进行样本集合进行拟合，其中是用来确定函数的一组可以调整的参数，拟合的准则为希望均方误差最小化，可以用下面的式子进行描述
这称为最小二乘准则。
2.1.2 线性的概念界定
当是关于的线性函数时，称为线性最小二乘法，否则为非线性最小二乘法。
我们这里说的线性函数是指对参数为线性（线性于参数）。
如何判断线性于参数的函数？
在函数中，参数仅以一次方出现，且不能乘以或除以其他任何的参数，并不能出现参数的复合函数形式。
2.1.3 线性最小二乘法
线性情况下，的形式可以描述为
其中是一组事先选定的线性无关的函数。我们定义一个维矩阵，并令，即
并且记
从而误差函数可以用矩阵描述为
注：为残差向量，表示每个观测值的实际值与模型预测值之间的差异；表示二范数的平方。对一个向量而言，其2-范数的平方就是将向量中每个元素的平方相加，然后取平方和
为了导出闭式解，对式进行展开并求导
令
得到
当矩阵是一个列满秩矩阵时，非奇异，故此时有唯一解
而当无法求逆，也无法求广义逆矩阵的时候，一般采用添加正则化项的方法，或者下文中提到的迭代法进行求解。
2.1.4 非线性最小二乘法
当是关于的非线性函数时，通常不易导出闭式解，故一般采用迭代的方法进行求解。迭代的流程通常为：
- 给定某个初值
- 对于第k次迭代，寻找一个增量，期望使误差变小
- 若足够小，则停止迭代；否则令，并返回第2步
为了便于求解，我们一般只关注函数的在迭代处的局部性质，而非全局性质。下面介绍三种方法，用来解决这种迭代问题。
3. 模型应用
3.1 常见应用场景
最小二乘法是一种数学优化技术。它通过最小化误差平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
- 最优化问题：如何设计最优方案，在既定目标下，最有效地利用各种资源，或者在资源有限制的条件下，取得最好的效果。如物资合理调运问题、最低成本问题等。
- 预测、预报：根据生活中的已知数据来有效地预测未知数据。如根据同一家族中一代或多代人的身高预测下一代人的身高、根据过去的降水量预测未来若干年的降水量等。
- 实际模型建立：在电路的应用中，常过测量若干数据点，使用最小二乘法拟合并建立相应的电路特性模型。
3.2 数学建模竞赛应用
最小二乘法常用于模型优化方面，因此常与其他模型共同使用
如：CUMCM 2003A SARS的传播4 中，利用微分方程建立传染病的SIR模型后，可用最小二乘法进行回归曲线的参数计算； CUMCM 2015A 太阳影子定位 中，问题二可用最小二乘法来确定影子长度与测量时间的关系模型； CUMCM 2001A 血管的三维重建5 中，问题二需要对问题一计算出的圆心位置进行高阶曲线拟合，来获得中轴线的拟合曲线。
4. 软件/程序介绍
4.1 模拟介绍
4.1.1 求线性最小二乘法的闭式解
4.1.2 梯度下降法
4.1.3 牛顿法
4.1.4 高斯牛顿法
4.2 可视化
4.2.1 可视化代码
4.2.2 牛顿法迭代效果图
5. 参考文献
[1] 百度百科.最小二乘法
[4] 周义仓,唐云.SARS传播预测的数学模型[J].工程数学学报,2003,20(07):53-62.
[5] 欧文华,李炯,陈祺亮,胡代强.血管的三维重建模型[J]暨南大学学报 2003,24(5):54-58