网站设计开发人员delphi 实现网站开发

网站设计开发人员,delphi 实现网站开发,北京网站运营优化公司,消除wordpress❓1. ViT 的可学习位置编码是怎么初始化的#xff1f; ❓2. 不同位置的信息是怎么体现的#xff1f;✅ 一、ViT 的可学习位置编码#xff08;pos_embedding#xff09;是怎么初始化的#xff1f; 非常简单#xff1a;它就是一块 learnable 参数矩阵#xff1a; pos_embe…❓1. ViT 的可学习位置编码是怎么初始化的❓2.不同位置的信息是怎么体现的✅一、ViT 的可学习位置编码pos_embedding是怎么初始化的非常简单它就是一块 learnable 参数矩阵pos_embeddingnn.Parameter(torch.zeros(1,num_patches1,embed_dim))也就是说初始值通常是全零或正态分布随机初始化取决于实现它和模型的其他权重一起被训练OpenCLIP/CLIP 的实现是正态初始化这个更常见nn.init.normal_(self.positional_embedding,std0.02)对应形状举例pos_embedding.shape[1,197,768]# ViT-B/16关键点初始时位置编码并没有“位置含义”刚开始训练时pos_embedding[1] 跟 pos_embedding[100] 没有区别 它们都是随机数位置结构不是靠初始化给的而是靠训练学出来的。二、那不同位置的信息是怎么体现的核心原理⬇️ 下面是你要的核心答案 ⬇️不同 patch 具有不同的“index”每个 index 对应一个独立的向量。也就是pos_embedding[0] CLS 的位置 pos_embedding[1] 左上角 patch 的位置 pos_embedding[2] 第二个 patch 的位置 ... pos_embedding[196] 右下角 patch 的位置注意位置 1 和位置 2 的向量是不同的参数它们会在训练中被优化分别学出“这个位置在哪个地方”三、为什么加上位置编码后 patch 会有空间信息模型输入x[i]patch_feature[i]pos_embedding[i]Transformer 的 Q/K/V 是从x[i]线性变换来的Q_i Wq * x[i] K_i Wk * x[i] V_i Wv * x[i]每个位置都变成不同的 Q/K/V这意味着patch(左上) 的注意力行为 ≠ patch(右下)patch(最上) 会更多关注“上下邻近的 patch”patch(最右) 会学到“自己在最右边”训练过程会将不同的 pos 向量优化成有规律的 2D 空间结构。四、模型是怎么自动学出来“左上”和“右下”的举例Transformer 在训练时会学习任务分类或对比学习。假设某个任务需要识别“猫在左边还是右边”。梯度会让左边 patch 的 pos_embedding 学成一组特征分布右边 patch 的 pos_embedding 学成另一组分布最后会形成一个非常规整的二维结构pos[1] ~左上 pos[2] ~靠右 pos[14] ~第二行 ... pos[196] ~右下你看到的位置结构不是提前设计好的而是训练自动形成的几何结构。五、位置编码如何体现“二维”并没有特地编码 2D2D 是训练自动学出来的ViT 的位置编码本质上是1D 序列位置编码不像卷积是 2D。但因为 patch 排列顺序固定行优先从左到右 → 从上到下所以patch[1~14] 代表第一行patch[15~28] 代表第二行…Transformer 看到足够多的数据后会自动学出二维结构。这已经在大量论文中可视化过 —— 位置编码的 PCA 会形成非常规整的 2D 网格。六、给你最直观的伪代码HW14# 14×14 patchesNH*W# 196 patchesD768# embedding dimposnn.Parameter(torch.randn(1,N1,D)*0.02)patchesembed_patches(img)# [1, 196, 768]xtorch.cat([cls_token,patches],dim1)xxpos# 位置编码加在这里outtransformer(x)image_embout[:,0]# CLS 图像最终向量七、最终总结超级简短✔ 位置编码初始化就是一块随机参数训练的时候自动学出位置结构✔ 为什么位置不同pos[i] 与 pos[j] 是不同参数Transformer 在训练中把它们优化成 2D 几何结构✔ 怎么“体现”位置每个 patch embedding 加上自己对应的 pos embeddingQ/K/V 带着位置 → 注意力学习空间关系