企业免费网站潍坊高新区建设局门户网站

企业免费网站,潍坊高新区建设局门户网站,网络推广主要做什么,成都网站制作定制论文标题#xff1a; Are Image-to-Video Models Good Zero-Shot Image Editors?机构#xff1a; 浙江大学、哈佛大学论文链接#xff1a; https://arxiv.org/abs/2511.19435导语#xff1a; 现在的 AI 消除、换背景已经很强了#xff0c;但你试过让 AI 把一张“完整的杯…论文标题 Are Image-to-Video Models Good Zero-Shot Image Editors?机构 浙江大学、哈佛大学论文链接 https://arxiv.org/abs/2511.19435导语 现在的 AI 消除、换背景已经很强了但你试过让 AI 把一张“完整的杯子”照片修成“被打碎的瞬间”吗或者把“生面团”修成“烤好的饼干” 传统的生图模型往往不懂这种物理过程和时间因果。 今天介绍的这项工作 IF-Edit另辟蹊径直接调用视频生成模型如 Wan 2.2来修图不需要任何微调训练让 AI 真正“理解”物理世界当视频模型“降维”做修图现在的文生图模型SD, Flux等在做局部替换时表现出色但在涉及非刚性形变如物体破碎、融化或时间推理如“一小时后”、“煮熟后”的任务时往往力不从心。为什么因为这些变化本质上是一个动态过程而不仅仅是像素的替换。 来自浙江大学和哈佛大学的研究团队提出了 IF-Edit。他们的核心洞察是大规模视频扩散模型Video Diffusion Models已经具备了强大的“世界模拟”能力。 如果我们能利用这种对物理和时间的理解是不是就能实现更逼真的图像编辑看看这些效果全是视频模型“顺手”修出来的IF-Edit 强在哪里与传统的修图方法如 InstructPix2Pix, MagicBrush相比IF-Edit 在处理动作、形变、因果推理方面展现出了碾压级的优势。它不需要训练Tuning-Free直接复用现有的 Image-to-Video 模型本论文使用了开源的 Wan 2.2。眼见为实对比一下 当指令是“把椅子锯成两半”时传统模型只是在椅子上画几条线而 IF-Edit 真的把椅子结构“锯”断了 当指令是“鸟儿低头”时IF-Edit 完美保持了鸟的身体结构不仅是扭曲像素而是模拟了动作。甚至它能处理复杂的推理任务Reasoning“一小时后的样子”比如手机充电电量增加“从高处掉落后的样子”比如玻璃杯碎裂“完全充气后的样子”气球变大在 RISEBench 上的推理能力展示。IF-Edit 在时间、因果、空间推理上表现优异比如准确画出饼干烤熟后的膨胀感或者鸡蛋打碎后的物理状态。它是如何工作的(核心原理)直接用视频模型修图面临三个大坑指令听不懂视频模型习惯了详细的动态描述而修图指令通常很短如“打碎它”。算力太浪费修图只需要一张图生成几十帧视频太慢太贵。画面容易糊视频截图往往带有运动模糊不如照片清晰。IF-Edit 提出了三个巧妙的模块来解决这些问题“思维链”CoT Prompt Enhancement 简单的指令“把纸拿走”对视频模型来说太抽象。IF-Edit 利用多模态大模型VLM将静态指令转化为基于时间演变的动态描述。Before: Remove the paper.After: (a) 她松开手(b) 纸张飘落并移出画面(c) 手部保持空闲状态... 这样视频模型就能理解“动作的过程”从而生成正确的最终帧。“剪枝”Temporal Latent Dropout (TLD) 既然我们只需要最后一张图为什么要生成中间所有的帧 研究发现视频生成的早期阶段确立了全局布局Layout而后期阶段主要在细化纹理。 IF-Edit 采用了一种“时序 Dropout”策略在去噪的早期确定好结构后直接丢弃中间帧的冗余计算只保留关键帧进行后续计算。 效果 推理速度提升显存占用降低且不影响最终质量。“锐化”Self-Consistent Post-Refinement 视频生成的单帧往往有运动模糊。 IF-Edit 不引入额外的超分模型而是“回炉重造” 1.自动选出最清晰的一帧。 2.把它扔回同一个视频模型输入指令“一个完美的静止视频A perfectly still video...”。 3.利用视频模型自身的先验知识去除运动模糊增强细节纹理。实验结论与局限在 TEdBench非刚性编辑和 RISEBench推理编辑基准测试中IF-Edit 均取得了 SOTA 或极具竞争力的成绩特别是在 CLIP-T 和 CLIP-I 指标上表现优异。实验数据表明IF-Edit 在保持原图特征和响应文本指令之间取得了极佳的平衡尤其是在需要物理常识的场景下。ByteMorph 如果说 TEdBench 是考形变ByteMorph 就是考动态物理规律。 这是近期提出的一个专注于指令驱动动作编辑Instruction-Guided Motion Editing的基准。它涵盖了 5 大类动态场景镜头推拉Camera Zoom、视角移动Camera Move、物体运动Object Motion、人物动作Human Motion以及复杂交互。 它要求模型不仅要修图还要像导演一样理解“镜头怎么运”、“关节怎么动”。正因为 IF-Edit 借用了视频模型的“动态大脑”它在 ByteMorph 的各项指标上尤其是涉及物理运动的任务完胜了 InstructPix2Pix 和 MagicBrush 等传统修图模型。这证明了想修好“动作”必须先懂“视频”。在ByteMorph测试中IF-Edit 展现了对物理结构的深层理解如瑜伽动作变化、火车移动局限与启示视频模型的“天性”之争 实验显示IF-Edit 在局部属性编辑如简单换色、风格迁移上的精度有时不如传统编辑模型 。这揭示了 Image-to-Video 模型的归纳偏置Inductive Bias它们更倾向于生成时空连贯的“整体演变”而非死磕局部的“像素映射”。这种“偏科”并非不可改变。同期的 Video4Edit百度就证明如果通过编辑数据对视频模型进行微调Fine-tuning就能强补这块短板。把 IF-Edit无需训练和 Video4Edit微调增强放在一起看不仅验证了视频模型在物理与结构理解上的原生优势也说明了它是一个上限极高的通用编辑底座。总结IF-Edit 给我们提供了一个全新的视角图像编辑不仅仅是 Image-to-Image 的翻译更可以是 Image-to-Video-to-Image 的世界模拟。通过复用强大的视频生成模型我们无需收集昂贵的成对编辑数据就能实现懂物理、懂因果的 Zero-Shot 图像编辑。随着视频模型如 Sora, Wan, HunyuanVideo的不断进化这种“降维打击”式的修图方法或许会成为未来的主流。参考文献[1] Are Image-to-Video Models Good Zero-Shot Image Editors?