网址导航类网站怎么做农产品网络营销的概念

网址导航类网站怎么做,农产品网络营销的概念,wordpress新建文章页修改图片样式,如何用dw制作网页文字链接CLIP surgery动机 CLIP存在相反激活问题#xff0c;意味着它关注图像的背景#xff0c;而不是前景。 验证实验 反向可视化 Q-K自注意力本来应该在前景位置激活#xff0c;但是却发现主要在背景位置激活#xff0c;这说明Q-K学偏了。噪声激活 即使使用空字符串作为类别嵌入意味着它关注图像的背景而不是前景。验证实验反向可视化Q-K自注意力本来应该在前景位置激活但是却发现主要在背景位置激活这说明Q-K学偏了。噪声激活即使使用空字符串作为类别嵌入发现也能激活一些无关的地方这说明CLIP的局部特征中分享着一些共同类别的特征。CLIP 为了适应海量类别会学到大量在当前类别下“未激活”的特征这些就是冗余特征。先直接按照你给的提纲来梳理这篇CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks。0. 摘要翻译意译对比语言–图像预训练模型 CLIP 是一个强大的多模态视觉模型在零样本和文本引导视觉任务中表现出色。但我们发现它在可解释性上有严重问题1CLIP 预测出的相似度热力图更偏向背景而不是前景这与人类直觉相反2可视化结果中在无关位置有大量噪声激活。为了解决这两个问题作者做了深入分析给出新的发现和证据并据此提出CLIP Surgery在推理阶段像做“手术”一样修改结构和特征从而提高可解释性并提升多个开放词汇任务的性能。CLIP Surgery 对卷积网络和 ViT 都显著提升了解释质量远超现有方法同时在开放词汇分割和多标签识别上也有明显收益。例如在 NUS-Wide 多标签识别上 mAP 提升 4.41%无任何额外训练在 Cityscapes 开放词汇语义分割上比 SOTA 提高 8.74% mIoU。该方法还可以帮助多模态可视化和与 SAM 类似的交互式分割。代码开源在 GitHub。1. 方法动机1.a 为什么要提这个方法作者在直接用 CLIP 的图文相似度图similarity map来做可视化时发现两个很“离谱”的现象Fig.1, Fig.3Opposite Visualization反向可视化目标类本该高亮前景区域结果 CLIP 的热力图却把前景当成“低分”背景当“高分”。这种现象在 ResNet 和 ViT 的 CLIP 版本上都出现是系统性问题而不是个例或某个 backbone 的 bug。Noisy Activations噪声激活热力图上在无关背景位置出现大量散点状的高亮区域。无论是 CLIP 自己的 similarity map还是套用 Grad-CAM、Bi-Modal 等方法这些噪声都有。同时现有可解释性方法多是为单模态、全监督网络设计的直接移植到 CLIP 上效果很差定量表 4 也证明了这一点。驱动力提供一个仅修改推理结构、无需训练的简单方法既提升 CLIP 的可解释性又能直接让开放词汇分割、多标签识别等下游任务受益。1.b 现有方法的痛点/不足传统可解释性方法Grad-CAM, pLRP 等面向 CNN 或单模态 ViT 设计。在 CLIP 上mIoU mSC 都很低而且仍然存在“前景变背景”的现象。多模态解释方法Bi-Modal, gScoreCAM 等需要对每个 label 做反向传播多次前向效率低。对密集预测大分辨率热力图退化更严重对高输出分辨率非常敏感Tab.5。RCLIP / ECLIPRCLIP通过将 CLIP 的 similarity map 反向来“纠正”反向可视化但本质上仍基于有问题的内部表征。ECLIP需要额外训练新的池化层复杂度增加不够“即插即用”。开放词汇分割现有方法大多需要额外模型proposal net, saliency 模型、复杂训练聚类、自监督预训练、或额外标注。真正“完全不训练仅改推理”的方法只有 MaskCLIP但它只为分割设计并未系统解决 explainability 问题。1.c 论文核心假设 / 直觉简化反向可视化的根源自注意力里query / key 参数学偏了把语义相反的区域关联在一起导致关系图混乱。如果只用value–value 相似度v-v self-attention可以获得更“语义局部”的注意力。噪声激活的根源CLIP 为了适应海量类别会学到大量在当前类别下“未激活”的特征这些就是冗余特征。这些冗余特征在 similarity map 中会以“统一的噪声模式”出现比如用空文本 prompt 也能看到类似的噪声激活。如果能用 v-v attention 替换原始 q-k attention跳过那些在语义上偏向“负类”的 FFN 特征显式估计并扣掉冗余特征就能同时修复反向可视化和噪声激活并提升开放词汇任务表现。2. 方法设计整体结构见 Fig.2第 5 页上半部分是Architecture Surgery结构手术右上是Feature Surgery特征手术。2.a Pipeline 总览输入 → 处理 → 输出以 ViT-CLIP 为例标准 CLIP 前向输入图像III和若干文本标签Tjj1Nt{T_j}_{j1}^{N_t}Tj​j1Nt​​。图像编码器输出class token 特征Fc∈R1×CF_c \in \mathbb{R}^{1\times C}Fc​∈R1×Cpatch tokens 特征Fi∈RNi×CF_i \in \mathbb{R}^{N_i \times C}Fi​∈RNi​×C文本编码器输出文本特征Ft∈RNt×CF_t \in \mathbb{R}^{N_t \times C}Ft​∈RNt​×CArchitecture Surgery结构手术从某个深度ddd开始对后续 Transformer Block 复制一条“新路径”在新路径中把原来的q-kq\text{-}kq-k自注意力替换为v-v 自注意力去掉 FFN只保留注意力 线性投影用“二路残差”把新路径输出与原路径输出合并dual paths。新路径专门给解释 / 分割用原路径保留给分类 / 多标签识别。Feature Surgery特征手术目标从图文特征中估计“冗余部分”并减掉。步骤解释任务将FiF_iFi​在文本维度复制为F^i∈RNi×Nt×C\hat F_i \in \mathbb{R}^{N_i \times N_t \times C}F^i​∈RNi​×Nt​×C将FtF_tFt​在空间维度复制为F^t∈RNi×Nt×C\hat F_t \in \mathbb{R}^{N_i \times N_t \times C}F^t​∈RNi​×Nt​×C。归一化后做逐元素乘法FmF^i∣F^i∣2⊙F^t∣F^t∣2∈RNi×Nt×C F^m \frac{\hat F_i}{|\hat F_i|_2} \odot \frac{\hat F_t}{|\hat F_t|_2} \in \mathbb{R}^{N_i \times N_t \times C}Fm∣F^i​∣2​F^i​​⊙∣F^t​∣2​F^t​​∈RNi​×Nt​×C用 class token 与文本的相似度算出每个类的权重w∈R1×Ntw \in \mathbb{R}^{1 \times N_t}w∈R1×Nt​强调“显著类”ssoftmax(Fc∣Fc∣2⋅(Ft∣Ft∣2)⊤⋅τ),wsmean(s) s \text{softmax}\Big( \frac{F_c}{|F_c|_2} \cdot (\frac{F_t}{|F_t|_2})^\top \cdot \tau \Big),\quad w \frac{s}{\text{mean}(s)}ssoftmax(∣Fc​∣2​Fc​​⋅(∣Ft​∣2​Ft​​)⊤⋅τ),wmean(s)s​按类别加权平均得到“冗余特征”Frmean(Fm⊙expand(w))∈RNi×1×C F_r \text{mean}\big(F^m \odot \text{expand}(w)\big) \in \mathbb{R}^{N_i \times 1 \times C}Fr​mean(Fm⊙expand(w))∈RNi​×1×C最终相似度Ssum(Fm−expand(Fr))∈RNi×Nt S \text{sum}\big(F^m - \text{expand}(F_r)\big) \in \mathbb{R}^{N_i \times N_t}Ssum(Fm−expand(Fr​))∈RNi​×Nt​将SSSreshape → resize → normalize 得到最终 similarity mapM^\hat MM^。输出Explainability对每个类jjj用对应的S[:,j]S[:, j]S[:,j]得到热力图可视化 / 生成伪 mask。开放词汇分割Argmax over 类维度得到每个像素的类标签。多标签识别用FcF_cFc​代替F^i\hat F_iF^i​做同样的 Feature Surgery得到 per-class scoreS^∈R1×Nt\hat S \in \mathbb{R}^{1\times N_t}S^∈R1×Nt​作为分类 logit。2.b 模型结构细节各模块功能 协同原始 q-k 自注意力模块公式Attnqksoftmax(QK⊤⋅scale)V \text{Attn}_{qk} \text{softmax}(QK^\top \cdot \text{scale})VAttnqk​softmax(QK⊤⋅scale)V其中QXϕq, KXϕk, VXϕvQ X\phi_q,\ K X\phi_k,\ V X\phi_vQXϕq​,KXϕk​,VXϕv​XXX为层输入维度RN×C\mathbb{R}^{N\times C}RN×C。问题作者可视化发现Q,KQ,KQ,K产生的注意图会把 token 与“语义相反”的区域强绑定导致“反向可视化”Fig.4。v-v 自注意力模块公式Attnvvsoftmax(VV⊤⋅scale)V \text{Attn}_{vv} \text{softmax}(VV^\top \cdot \text{scale})VAttnvv​softmax(VV⊤⋅scale)V不再使用ϕq,ϕk\phi_q, \phi_kϕq​,ϕk​只用ϕv\phi_vϕv​。好处自相似度最高其次是语义相近的邻域 token注意力更局部、更符合直觉。Dual Paths双路径残差见 Fig.2 下半部分和 Eq.(5)新路径输出x^i1{None,id[3pt]Attn∗vv(xi;ϕv)xi,id[3pt]Attn∗vv(xi;ϕv)x^i,id \hat x_{i1} \begin{cases} \text{None}, i d[3pt] \text{Attn}*{vv}(x_i;\phi_v) x_i, id[3pt] \text{Attn}*{vv}(x_i;\phi_v) \hat x_i, id \end{cases}x^i1​{None,​id[3pt]Attn∗vv(xi​;ϕv​)xi​,​id[3pt]Attn∗vv(xi​;ϕv​)x^i​,​id​原路径输出xi1{FFN(xi′)xi′,xi′Attnqk(xi;ϕq,ϕk,ϕv)xi,ViT[3pt]ResBlock(xi)xi,ResNet x_{i1} \begin{cases} \text{FFN}(x_i)x_i,\quad x_i \text{Attn}_{qk}(x_i;\phi_q,\phi_k,\phi_v)x_i, \text{ViT} [3pt] \text{ResBlock}(x_i) x_i, \text{ResNet} \end{cases}xi1​{FFN(xi′​)xi′​,xi′​Attnqk​(xi​;ϕq​,ϕk​,ϕv​)xi​,​ViT[3pt]ResBlock(xi​)xi​,​ResNet​直观理解原路径保持“原汁原味”的 CLIP 结构和权重用于分类。新路径从深层开始逐层叠加 v-v 注意力的残差聚合多个层的“好注意力”但不反向影响原路径输入避免模型崩溃。Tab.2 表明仅在最后一层替换 attention 有提升但有限多层替换但不加 dual path 会彻底崩掉mSC 变负加了 dual path 且去掉 FFN 表现最好。去掉 FFN 的原因作者计算了每一层 self-attention / FFN 输出与最终 class 特征之间的余弦相似度Fig.5a⟨Ft,F^c⟩Ft⋅F^c∣Ft∣2∣F^c∣2 a\langle F_t, \hat F_c\rangle \frac{F_t \cdot \hat F_c}{|F_t|_2|\hat F_c|_2}a⟨Ft​,F^c​⟩∣Ft​∣2​∣F^c​∣2​Ft​⋅F^c​​发现self-attention 输出与最终特征更接近部分 FFN 输出甚至更接近“负类特征”尤其最后一个 FFN 余弦只 0.1231甚至比负类还“负”。所以在新路径中完全跳过 FFN只用 self-attention 输出来做解释/分割。2.c 关键公式与含义通俗讲一下原始 similarity mapMnorm(resize(reshape(Fi∣Fi∣2⋅(Ft∣Ft∣2)⊤))) M \text{norm}(\text{resize}(\text{reshape}( \frac{F_i}{|F_i|_2} \cdot (\frac{F_t}{|F_t|_2})^\top)))Mnorm(resize(reshape(∣Fi​∣2​Fi​​⋅(∣Ft​∣2​Ft​​)⊤)))Fi∈RNi×CF_i \in \mathbb{R}^{N_i\times C}Fi​∈RNi​×C图像各 patch 特征Ft∈RNt×CF_t \in \mathbb{R}^{N_t\times C}Ft​∈RNt​×C文本各类别特征内积 L2 归一化 余弦相似度reshape resize把 token 网格插值成输入图像大小的热力图。Feature Surgery 的核心FmF^mFm对每个“像素–类别–通道”位置把图像特征和对应类别文本特征相乘相当于保留“对这个类别有贡献的通道”。www哪些类别对当前图像“显而易见”就给它更大的权重让它们在估计冗余特征时更有话语权。FrF_rFr​对所有类别的FmF^mFm加权平均得到在“所有类别里都常见”的部分也就是冗余特征。Ssum(Fm−expand(Fr))S \text{sum}(F^m - \text{expand}(F_r))Ssum(Fm−expand(Fr​))从每个位置、每个类别的“原贡献”里减去冗余部分再对通道求和即去冗余后的类别得分。对多标签分类只是把FiF_iFi​换成FcF_cFc​得到 per-class logit用于 mAP。3. 与其他方法的对比3.a 与主流方法的本质差异不训练只改推理架构和算子相比 ViL-Seg, ReCo, GroupViT, SegCLIP 等需要训练或微调的开放词汇分割方法CLIP Surgery 完全基于预训练 CLIP 的权重。解释性与性能同时优化其他解释方法多只改善可视化不直接改善下游任务。CLIP Surgery 显式把解释性设计v-v attention 去冗余转化为 segmentation / multi-label recognition 性能提升。不依赖反向传播Grad-CAM, pLRP, Bi-Modal, gScoreCAM 都需要 per-label backward。CLIP Surgery 只做一次前向通过结构/特征改造得到所有类别的 dense map更适合大类数和密集预测。对输出分辨率不敏感Tab.5其他方法从 ViT-B/327×7到 ViT-B/1614×14普遍性能下降CLIP Surgery 反而进一步提升这为下游“高分辨率分割”提供条件。3.b 创新点 / 贡献论文列了四点贡献归纳一下发现问题 溯源系统性分析并证明反向可视化来自自注意力中的 q,k 参数噪声激活来自冗余特征。架构手术Architecture Surgery提出 v-v self-attention dual paths 去 FFN 的组合在纯推理阶段修正 CLIP 内部表征。特征手术Feature Surgery提出显式的冗余特征估计和消除方法统一应用于 explainability 和 multi-label recognition。Explainability 多任务提升在解释性、开放词汇分割、多标签识别、交互式分割、多模态可视化上都取得大幅度提升展示了方法通用性。3.c 适用场景更适合使用CLIP 作为 backbone的任务分割、多标签、交互式分割、视觉定位等。需要像素级 / token 级可解释性的应用例如医疗影像、自动驾驶。不方便大规模微调只能在预训练 CLIP 上“做文章”的场景。不太适合单标签分类中只关心排名而不关心 mAP 的场景作者也指出 Feature Surgery 对 rank-based 指标影响有限。3.d 方法对比表简化方法是否训练是否额外模型/标注主要操作优点缺点Grad-CAM / pLRP否否反向传播梯度/相关性通用、易用CLIP 上效果差慢输出粗Bi-Modal否否多模态 transformer 梯度/attention支持图文CLIP 上噪声多分辨率敏感gScoreCAM否否ScoreCAM 变种专为 CLIP 设计高分辨率效果差需多次 backwardRCLIP否否翻转 similarity map简单有效仍基于“有问题”的内部特征ECLIP是否训练新的 pooling 层解释性强需要微调复杂MaskCLIP否否修改 attention pooling 做分割无需训练分割性能不错不针对 explainability改动局部CLIP Surgery否否v-v attention dual paths 去冗余大幅提升解释性 分割 多标签需改模型代码推理稍复杂4. 实验表现与优势4.a 验证方法 设计Explainability 评估数据集VOC 2012, COCO 2017, PASCAL Context, ImageNet-S50。指标mIoU\text{mIoU}mIoU前景 mask 与 GT 的平均 IoUmSC\text{mSC}mSCmean Score Contrast前景分数与背景分数的平均差异范围 [-100%, 100%]。mSCmeancmeans(Sˉf−Sˉb) \text{mSC} \text{mean}_c\text{mean}_s\big(\bar S_f - \bar S_b\big)mSCmeanc​means​(Sˉf​−Sˉb​)值 0 表示“反向可视化”。开放词汇语义分割数据集PASCAL Context, COCO Stuff, Cityscapes。backbone 统一 ViT-B/16输入 512×512argmax over 类维。开放词汇多标签识别数据集PASCAL Context, NUS-Wide。指标mAP。对比不同激活None, Sigmoid, Softmax, Ours。交互式分割与 SAM用 CLIP Surgery similarity map 选取高分前景点 低分背景点作为 SAM 的点提示评估点精度 mIoU。4.b 关键结果挑几个有代表性的ExplainabilityCLIP vs CLIP SurgeryTab.3以 ViT-B/16 在 PASCAL Context 为例mIoU: 15.76% → 46.28%30.52mSC: -16.73% → 34.32%从“背景偏好”到“强前景”各 backbone 上平均提升mIoU22.11% 35.95%mSC47.72% 65.21%。与其他解释方法对比Tab.4 Fig.9在所有数据集和指标上CLIP Surgery 均为第一对比第二名的 ECLIP需训练在 PASCAL Context 上 mIoU / mSC 仍高出约 15.9 / 19.9。开放词汇语义分割Tab.6mIoUPASCAL Context / COCO Stuff / Cityscapes, ViT-B/16ViL-Seg16.3 / 16.4 / –ReCo22.3 / 14.8 / 21.1MaskCLIP22.4 / 15.3 / 22.7CLIP Surgery29.3 / 21.9 / 31.4在 Cityscapes 上比最强基线 MaskCLIP 高 8.7 mIoU。开放词汇多标签识别Tab.7, 8ViT-B/16 Ours 在 NUS-WideSoftmax42.85 mAPOurs47.19 mAP4.34与零样本多标签方法对比都在 NUS-WideDualCoOp: 43.6TaI-DPT: 44.99TaI-DPT Ours:48.28新的 SOTA。交互式分割Fig.11, 12 Tab.9用文本→点提示喂给 SAM在 ImageNet-S50 等数据集上 mIoU 接近 70%点精度接近 90%。输入分辨率从 224 升到 512 时mIoU 明显进一步提升。4.c 优势最明显的场景/数据集解释任务所有数据集上 mSC 都从负变正视觉效果从“完全错误”变为“直观可信”尤其是 VOC / Pascal Context图中红色前景非常清晰。开放词汇分割Cityscapes道路场景提升最大说明方法对于结构化、多类背景场景尤其有用。多标签识别NUS-Wide 这类 web 场景复杂、多标签数据集Feature Surgery 的去冗余特别有效。4.d 局限性 隐含不足方法依赖于CLIP 的特征空间结构对于非 CLIP 的 VL 模型需要重新验证。Feature Surgery 对单标签 / 排序类指标的影响有限因为等价于加了个公共 bias主要提升 mAP 这类跨样本度量。Architecture Surgery 需要改动模型实现不是“零工程成本”的黑盒后处理。5. 学习与应用建议5.a 是否开源复现关键步骤论文明确给出了 GitHub 链接xmed-lab/CLIP Surgery复现关键步骤基于官方 CLIP 实现拿到中间层输出各 Block 的输入/输出。从设定的深度ddd开始复制 Block 结构构造“新路径”将 attention 部分替换为 v-v self-attention去掉 FFN只保留线性投影使用 dual paths 逻辑合并残差。对新路径输出的 patch 特征FiF_iFi​和文本特征FtF_tFt​实现 Feature SurgeryEq.6–9。分割任务将SSSreshape resize argmax 得到像素级预测。多标签任务对 class tokenFcF_cFc​做 Feature Surgery用S^\hat SS^作为 logit 计算 mAP。5.b 实现注意点超参数 / 预处理 / 训练细节超参数深度d7d7d7logit scaleτ2\tau2τ2作者说明性能对它们不敏感一个合理区间即可例如d∈[1,10]d\in[1,10]d∈[1,10]只导致 mSC 变化约 0.4%。输入大小Explainability通常 224×224 足够。开放词汇分割 / SAM使用 512×512 明显更好。文本 prompt使用 CLIP 原始 85 个 ImageNet prompt 模板所有方法统一使用“prompt ensemble 平均”。实现坑点Dual paths 里一定要保证原路径输入不被新路径覆盖否则会导致深层 feature 失配。Feature Surgery 中 expand 的维度要严格对齐Fm:(Ni,Nt,C)F^m: (N_i, N_t, C)Fm:(Ni​,Nt​,C)expand(w):(Ni,Nt,C)\text{expand}(w): (N_i, N_t, C)expand(w):(Ni​,Nt​,C)Fr:(Ni,1,C)F_r: (N_i, 1, C)Fr​:(Ni​,1,C)再 expand 成(Ni,Nt,C)(N_i, N_t, C)(Ni​,Nt​,C)。5.c 迁移到其他任务的可能性可以迁移且思路清晰开放词汇目标检测 / 实例分割在 detector backbone 中插入 Architecture Surgeryv-v attention dual paths获取更干净的 spatial 特征用 Feature Surgery 生成更可靠的 attention map 作为 proposal / mask 的初始化。视觉定位 / grounding使用文本短句/词语作为 prompt直接用 CLIP Surgery 的 similarity map 做 grounding替代传统 CAM。视频任务对时序 ViT 或时空 transformer在空间维上用相同结构手术甚至可以考虑在时间维也做 v-v attention 手术。你自己的 CLIP-based 分割/识别论文如果 backbone 是 CLIP可以直接用 CLIP Surgery 的 similarity map 作为监督pseudo mask或用 Architecture Surgery 改 backbone把它当“更好的特征提取器”。6. 总结6.a 一句话概括核心思想≤20 字改造 CLIP 注意力与特征修正可视化并提升开放词汇性能。6.b 速记版 pipeline3–5 步避免术语用预训练 CLIP 提取图像和文字特征。在后几层里用新的自注意力替代原注意力并跳过中间全连接层。统计所有类别中共同出现的特征把它们当作“噪声成分”减掉。用处理后的图文相似度图来画热力图或直接当作每个像素的类别分数。对整张图的类别分数做同样处理用来做多标签识别和其他开放词汇任务。如果你想我可以下一步专门帮你画一张“矩阵维度总览表”把Fi,Ft,Fc,Fm,Fr,SF_i, F_t, F_c, F^m, F_r, SFi​,Ft​,Fc​,Fm,Fr​,S全部列出来对照方便你在代码里实现。