电商运营网站设计淮安汽车集团网站建设

电商运营网站设计,淮安汽车集团网站建设,一流校建设网站,搭建网站原理在前面我们完整地讲解了训练过程的操作#xff0c;建议可以先看看前文#xff1a; 词嵌入和位置编码#xff08;超详细图解#xff09;https://blog.csdn.net/Drise_/article/details/155502880?fromshareblogdetailsharetypeblogdetailsharerId155502880s…在前面我们完整地讲解了训练过程的操作建议可以先看看前文词嵌入和位置编码超详细图解https://blog.csdn.net/Drise_/article/details/155502880?fromshareblogdetailsharetypeblogdetailsharerId155502880sharereferPCsharesourceDrise_sharefromfrom_linkhttps://blog.csdn.net/Drise_/article/details/155502880?fromshareblogdetailsharetypeblogdetailsharerId155502880sharereferPCsharesourceDrise_sharefromfrom_link编码器详解超详细图解https://blog.csdn.net/Drise_/article/details/155556414?fromshareblogdetailsharetypeblogdetailsharerId155556414sharereferPCsharesourceDrise_sharefromfrom_link解码器详解训练过程https://blog.csdn.net/Drise_/article/details/155804075?fromshareblogdetailsharetypeblogdetailsharerId155804075sharereferPCsharesourceDrise_sharefromfrom_link以下为《Attention Is All You Need》的transformer结构本文会对解码器部分进行介绍​训练过程的作用之前我们对编码器和解码器在训练过程的操作进行了讲解那么训练过程对模型有什么作用基于论文中的翻译任务训练过程的作用那就是让模型学会从输入到输出的映射关系通过优化参数使模型能够准确预测或生成目标序列也就是让模型 “学会翻译”。推理过程推理过程与训练过程的差异在推理过程的目的是通过源文本推理出目标文本例如在中英文翻译在源文本为 I love you ,目标文本就是 我爱你。那么推理过程与训练过程有什么相同之处和不同之处呢其实推理过程和训练过程大体是一样的在训练过程我们在编码器部分输入源文本在解码器部分输入源文本对应的目标文本但是有两个地方的不同要关注到。首先是在解码器的token预测的方式不同在训练过程从前文我们可以知道经过一次编码器堆栈可以得到各个位置的目标token的概率但是在Transformer推理时必须经过多次解码器堆栈的前向传播一次只能预测下一个token也就是说每次通过一整个解码器堆栈只能生成一个tokentoken是串行推理生成的。第二点是在解码器部分的输入训练和推理过程存在不同在推理过程我们需要推理出目标文本并不像训练过程一样存在一个目标文本的正确答案所以在推理过程中解码器部分的输入是一个空文本为了辨识开头最终输入到解码器堆栈的实际上是一个只包含开始token,也就是只包含s的token序列。如此沿用训练过程编码器和解码器处理模式我们就可以推理得到每一个目标token再转换为目标文本即可。​