衡阳商城网站建设免费网站建设支持ftp

衡阳商城网站建设,免费网站建设支持ftp,做视频类网站需要哪些许可,长沙网络推广袁飞seo数据挖掘05 书接上回 1.包含动量的随机梯度下降算法 #xff08;1#xff09;定义 包含动量的随机梯度下降#xff08;Momentum Stochastic Gradient Descent, 简称 SGD with Momentum#xff09;是一种在标准随机梯度下降#xff08;SGD#xff09;基础上引入“动量”项…数据挖掘05书接上回1.包含动量的随机梯度下降算法1定义包含动量的随机梯度下降Momentum Stochastic Gradient Descent, 简称 SGD with Momentum是一种在标准随机梯度下降SGD基础上引入“动量”项的优化算法旨在加速收敛、减少震荡并帮助模型跳出局部极小值或鞍点。2复习一下上一篇介绍过的SGD标准 SGD 在每次迭代中使用一个样本或一个小批量来估计梯度并更新参数公示如下缺点1更新方向完全依赖当前梯度容易产生高方差和震荡2在狭窄峡谷或非凸地形中收敛缓慢3容易陷入局部最优或鞍点。(3)更新方向完全依赖当前梯度为什么容易产生高方差和震荡?因为每次根据样本估计的梯度可能与真实梯度方向相差很远所以会出现有时更新方向接近最优有时却几乎垂直甚至反向导致参数在最优解附近来回震荡而不是平稳靠近。举个例子假设你在一个嘈杂的房间里听人说话。每次只听一个词SGD这个词可能是“向左”也可能是“向右”即使整体趋势是“向前”。你每一步都按听到的词走就会左右乱晃。4为什么SGD在狭窄峡谷或非凸地形中收敛缓慢狭窄峡谷例子在一条深而窄的山谷里想走到谷底最低点。每次你只看脚下最陡的方向往下跳结果就是不断撞到左右岩壁前进效率极低。非凸地形存在大量鞍点saddle points 和平坦区域plateausSGD 在平坦区域梯度接近零 导致更新几乎停滞复习完毕我们看下带动量的SGD5 动量机制的引入动量方法借鉴了物理学中的“惯性”概念参数更新不仅考虑当前梯度还累积过去梯度的方向形成一种“速度”。动量 SGD 的更新公式动量是历史梯度的加权和形成一个惯性速度。动量不是只记住“上一次”的梯度而是综合了最近若干次梯度的方向和大小。6动量的作用1平滑更新方向通过指数加权平均历史梯度减少随机噪声的影响。2加速收敛在一致方向上持续加速如沿峡谷底部。3帮助逃离平坦区域即使当前梯度很小若之前有动量仍可继续移动。2.Adagrad算法1定义AdaGradAdaptive Gradient Algorithm 是一种自适应学习率优化算法。核心思想是为每个参数分配一个独立的学习率根据该参数的历史梯度大小自动调整。梯度大的参数学习率变小梯度小的参数学习率变大。2为什么需要自适应学习率我们知道在标准 SGD 中所有参数都使用同一个全局学习率 η但不同参数的重要性、更新频率、梯度尺度可能差异巨大。所以为了解决这个问题引入自适应学习率让每个参数“按需调整步长”。3公式调节学习率的原理4性质优点特别适合稀疏数据如自然语言处理、推荐系统中的嵌入层能显著提升收敛速度和性能。缺点3.RMSprop算法1定义RMSPropRoot Mean Square Propagation 是一种自适应学习率优化算法。核心思想是对 AdaGrad 进行改进通过引入指数移动平均EMA来“遗忘”久远的梯度信息从而避免学习率过早衰减到零的问题。2回顾 AdaGrad它累积所有历史梯度的平方和这会导致学习率分母持续增大 → 学习率单调下降 → 训练后期几乎停止更新。为了解决这个问题我们提出了RMSprop。3公式对每个参数或整体向量形式RMSProp 的更新规则如下4性质1指数移动平均EMA这样就能更好的调节学习率2避免学习率崩溃因为旧梯度被遗忘 所以 vt 不会无限增长分母不会趋于无穷学习率可以在训练后期保持一定活性适合长时间训练。