收敛速度是指一个算法或数值方法在逼近目标解的过程中，误差减少的速率。它是评估数值算法效率的重要指标，尤其在数值分析、机器学习、优化和数学计算中，收敛速度决定了一个算法在多大程度上能快速、精确地接近解。
收敛速度通常根据误差的下降速率分为以下几类：
线性收敛（Linear Convergence）
线性收敛表示误差以固定比例逐步减少。对于一个序列 $\{x_k\}$ ，如果存在常数 $0 < r < 1$ 使得： $|x_{k+1} - x^| \leq r |x_k - x^|$ 则称序列 $\{x_k\}$ 线性收敛于 $x^$ ，其中 $x^$ 是目标解。大多数情况下，线性收敛比其他更高阶的收敛速度慢。
超线性收敛（Superlinear Convergence）
当序列的误差缩小的速度超过线性但未达到二次收敛的程度，称为超线性收敛。具体来说，如果 $|x_{k+1} - x^| / |x_k - x^| \rightarrow 0$ 随 $k \to \infty$ ，则认为该序列超线性收敛。许多优化算法（如拟牛顿法）都具有超线性收敛性。
二次收敛（Quadratic Convergence）
二次收敛表示误差以平方的比例减小。如果存在常数 $C > 0$ 使得： $|x_{k+1}-x^| \leq C|x_k-x^|^2$ 则称序列二次收敛。二次收敛速度极快，如牛顿法在满足适当条件时具有二次收敛性质。
指数收敛（Exponential Convergence）
指的是误差以指数方式减小，速度快于任何多项式衰减。它是一种非常快的收敛速度，在物理、量子计算等领域的一些特定方法中出现。
对数收敛（Logarithmic Convergence）
对数收敛速度较慢，如果误差的对数与迭代次数成反比，即 $|x_k - x^*| = O(1 / \log(k))$ ，则称其为对数收敛。虽然这种收敛速度较慢，但在某些应用场合中是可以接受的。
在实际应用中，常用误差序列来判断算法的收敛速度，即通过分析误差随迭代步数的变化，估计收敛速度。常用的方法有以下几种：
误差比率法
在每次迭代中计算误差之比 $\frac{|x_{k+1} - x^|}{|x_k - x^|}$ 的变化，观察其是否趋于某一常数来判断收敛速度。
对数误差图
在对数坐标系中作误差与迭代次数的关系图，分析误差的下降速度。例如，线性收敛在对数图上呈现直线。
误差递推公式
如果算法的误差可以表示为递推公式（如牛顿法的误差递推），则可以直接利用该公式计算和预测收敛速度。
优化算法
在梯度下降法、牛顿法、拟牛顿法等优化算法中，收敛速度是判断算法效率的关键指标。二次收敛的算法往往比线性收敛的算法更受欢迎，但通常需要更多的计算资源和更好的初始猜测。
数值求解方程
在求解非线性方程组时，使用收敛速度快的算法可以显著提高求解效率。例如，牛顿法在达到二次收敛时，求解精度快速增加。
机器学习
在机器学习中，收敛速度决定了模型训练的效率和资源消耗，特别是对于深度学习和大型数据集，快速收敛的优化方法能够显著减少训练时间。