南宁公司网站建设公司哪家好郑州一建董事长

南宁公司网站建设公司哪家好,郑州一建董事长,人与狗做的电影网站,西安市网站搭建解释典型的Transformer架构用于时序预测效果差的原因#xff0c;它们的观点#xff1a;由单个时间步长形成的Token#xff0c;由于过于局部的感受野和同时时间点表示的时间不对齐事件而难以显示有益信息。 时间序列预测模型的标准设定#xff1a; 输入 (历史窗) XXX#x…解释典型的Transformer架构用于时序预测效果差的原因它们的观点由单个时间步长形成的Token由于过于局部的感受野和同时时间点表示的时间不对齐事件而难以显示有益信息。时间序列预测模型的标准设定输入 (历史窗)XXX包含TTT个时间步NNN个变量。矩阵维度为RT∗NR^{T*N}RT∗N;输出预测窗YYY: 预测未来SSS个时间步同样包含NNN个变量, 矩阵维度为RS∗NR^{S*N}RS∗N数据处理的两种视角1Xt,:X_{t,:}Xt,:​:ttt时刻所有变量的快照。表示的是Excel表格中的一行代表“此时此刻所有传感器的读数”。大多数Transformer如Informer是将这个Xt:X_{t:}Xt:​, 作为一个TokenTokenToken输入模型。2X:,nX_{:,n}X:,n​: 第nnn个变量的完整时间序列Excel中的一列代表 ”某个传感器在过去一段时间内的所有读数“。为什么否定Xt,:X_{t,:}Xt,:​?直接处理Xt,:X_{t,:}Xt,:​(即把同一时刻的不同变量揉在一起)在物理意义上的两个缺点1系统性时滞Systematical Time Lags在现实世界中因果关系往往不是瞬时的如果强制模型只看Xt:X_{t:}Xt:​(同时关注ttt时刻的A和B)可能变量在该时刻并不具备直接因果关系的数据点真正的关联式错位的。2物理量纲与分布的差异同一时刻的Xt,:X_{t,:}Xt,:​包含了性质完全不同的数据。这些数据的语义空间Semantic Space完全不同。虽然可以归一化但是在深度学习将这些物理意义极不相同的数值映射到同一个特征空间进行交互难以学习到鲁棒的特征。为什么拥抱X:nX_{:n}X:n​?单个变量的整条序列具有物理一致性该变量在ttt时刻和t1t1t1时刻的物理性质不变它们的统计分布是平稳的。将X:nX_{:n}X:n​视为一个Token进行Embedding模型更容易学习到特征。层归一化在此前Transformer中层归一化将同一时刻的的多个变量进行归一化使**每个变量杂糅无法区分**提高了注意力建模词关联的难度。一旦收集到的数据没有按时间对齐该操作还将引入延迟过程之间的噪声干扰。在倒置版本中层归一化作用于Variate Token内部让所有变量的特征都**处于相对统一的分布下减弱测量单位的差异**。这种方式还可以有效处理时间序列的非平稳问题问题。前馈网络基于多层感知机的万能表示定理前馈网络作用在整条序列上能够提取序列的内在属性例如幅值周期性频率谱傅立叶变换可视作在序列上的全连接映射从而提高在其他的序列上的泛化性。在原始的Transformer中模型的预测效果不一定随着输入的历史观测的变长而提升在使用倒置框架之后模型随着历史观测长度的增加呈现明显的预测误差降低趋势。