徐州制作公司网站wordpress怎么增加语言包

徐州制作公司网站,wordpress怎么增加语言包,河池网站建设服务,网站建设技术 论坛我们已经知晓强化学习的基本要素有actor、environment、reward。强化学习的基本模型如下#xff1a;environment交给actor一个observation#xff0c;即s#xff1b;actor得到s向量以后给出动作action#xff0c;即a#xff1b;a、s输入reward模型#xff0c;得到分数renvironment交给actor一个observation即sactor得到s向量以后给出动作action即aa、s输入reward模型得到分数r通过分数来衡量优势函数A的取值上述例子直接用奖励r定义优势函数损失函数通过交叉熵和A共同定义通过减小损失函数优化actor的参数而实际上每一个动作a会直接影响到后续的s和a因此a之间并不是相互独立的。另外一个问题是如果简单的用r来作为A的数值会有一个问题就是只有在做固定的action时A才会增加这会导致actor只会选择固定的action实际上的RL对A的定义有多种方法。一种定义优势函数的方法是把动作a之后所有动作获得的r累计起来作为该动作的优势函数。优势函数使用此优势函数将会使actor的action选择更加多样化而不是只采用reward为正的动作从而更可能从全局视角考虑问题的最优解。但是上述定义优势函数的方法有一个问题那就是奖励的值似乎并不直接受到动作的影响或者说受到其影响较小更合适的一种优势函数设定的方法是可能存在一种情况即所有的action对应的A都是大于零的这样actor将会认为所有的action都是好的这显然不对所以还需要对A进行标准化。最简单的标准化方法是直接减去一个baseline即,就是baseline人为设定。接下来介绍上述思想的程序逻辑1.actor是一个神经网络模型首先需要初始化actor的参数2.actor初始化之后用其跟environment进行互动得到一系列的对3.计算优势函数用于评价对的得分4.定义损失函数如交叉熵5.用优化器结合损失函数更新actor参数这里有一个重要问题actor在训练过程中所使用的训练集使它自己和环境交互产生的这是RL显著区别于传统的监督学习的地方。上述例子中actor每和environment互动一次产生一组{sa}然后再计算价值函数A接着计算出损失函数更新actor的参数在下一个循环中actor已经是新的actor了其和environment互动将产生新的{sa}然后循环此过程。这意味着actor每次用来的训练的数据都是它自己产生的。这种训练用自己产生的数据训练自己的方法叫做on-policy。这种方法的局限在于收集资料的过程太过于漫长而不能像监督学习一样直接使用现成的数据集。对应的自然有actor依赖别的actor所产生的数据进行训练的方法叫做off-policy。一种经典的off-policy算法就是之前提到过的PPO(近端策略优化)。在训练过程中为了使得模型泛化能力更强需要给actor增加一定的随机性如在actor的参数上加一些noise或者扩大actor输出的交叉熵