<aside> <img src="/icons/condense_yellow.svg" alt="/icons/condense_yellow.svg" width="40px" /> Python | 神经模型 | 关联图 | 降维 | 量化 | 数学评估

</aside>

🎯要点

🎯神经网络映射关联图 | 🎯执行时间分析 | 🎯神经网络结构降维 | 🎯量化图结构边作用 | 🎯数学评估算法实现

🍪语言内容分比

pie title 语言分比
 "Python":90
 "C++":20
 "C":10

pie title 内容分比
"数学":90
"算法":70
"神经模型":60
"图结构":40

✂️梗概

🍇Python随机梯度下降算法

随机梯度下降是梯度下降算法的一种变体，用于优化机器学习模型。它解决了传统梯度下降方法在处理机器学习项目中的大型数据集时计算效率低下的问题。在随机梯度下降中，每次迭代不会使用整个数据集，而是只选择一个随机训练示例（或一个小批量）来计算梯度并更新模型参数。这种随机选择将随机性引入优化过程，因此在随机梯度下降中出现了“随机”一词。

使用随机梯度下降的优势在于其计算效率，尤其是在处理大型数据集时。与需要处理整个数据集的传统梯度下降方法相比，通过使用单个示例或小批量，每次迭代的计算成本显著降低。

步骤：

• 初始化：随机初始化模型的参数。
• 设置参数：确定更新参数的迭代次数和学习率。
• 随机梯度下降循环：重复以下步骤，直到模型收敛或达到最大迭代次数。
• 返回优化参数：一旦满足收敛条件或达到最大迭代次数，返回优化模型参数。

在随机梯度下降中，由于每次迭代只从数据集中随机选择一个样本，因此算法达到最小值的路径通常比典型的梯度下降算法更嘈杂。但这并不重要，因为只要我们达到最小值并且训练时间明显缩短，算法所采用的路径就无关紧要。

需要注意的一点是，由于随机梯度下降通常比典型的梯度下降更嘈杂，因此由于其下降的随机性，通常需要更多次迭代才能达到最小值。尽管它需要比典型的梯度下降更多的迭代次数才能达到最小值，但它在计算上仍然比典型的梯度下降便宜得多。因此，在大多数情况下，与批量梯度下降相比，随机梯度下降更适合用于优化学习算法。

我们将使用更新参数、拟合训练数据集和预测新测试数据时使用的方法创建一个随机梯度下降类。我们将使用的方法如下：

• SGD 类封装了用于训练线性回归模型的随机梯度下降算法。
• 然后我们初始化 SGD 优化器参数，例如学习率、轮数、批量大小和容差。它还将权重和偏差初始化为 None。