智能正从画面生成走向运动控制、动态建模、信号理解与真实场景应用。

    作者丨郑佳美

    编辑丨马晓宁

过去，生成多是在解决"像不像"的问题：人物是否清晰，画面是否流畅，风格是否统。但随着模型能力提升，真正困难的部分开始显现出来——它不是组漂亮帧的连续播放，而是个由时间、空间、运动、相机、光照和物理信号共同构成的动态系统。

只要模型法理解这些隐含结构，它生成的就可能看似逼真，却在运动逻辑、视角致或真实场景适应上露出破绽。因此，智能正在进入个的阶段：不只是生成画面，而是理解画面为什么会这样变化。

从运动轨迹编辑、3D 结构约束、可迭代文生，到自适应 token、长期运动表征、频闪去除、热成像分离和地球观测模型，研究者实际上都在处理同个底层问题：如何让模型把从"像素序列"理解为"动态世界"。

这也是今年 CVPR 相关向中个值得注意的信号——模型的竞争重心，正在从视觉质量转向对时间、空间和物理规律的建模能力。

换句话说， AI 的下步，不是单纯把生成得长、清楚、炫，而是让模型知道运动从哪里来、结构为什么稳定、信号如何形成，以及复杂场景中的变化如何被预测和控制。

当这些能力逐渐补齐，模型才可能真正从内容生成工具，走向能够理解、编辑和演现实世界的动态智能系统。

01

从改画面到改运动

生成和编辑正在从"画面是否好看"，走向"运动是否可控"。谷歌和石溪大学共同提出的《MotionV2V: Editing Motion in a Video》研究的正是如何不只修改风格或局部外观，而是直接编辑里的"运动"。

比如让人物换向、让物体晚点出现，或在保留场景内容的同时改变镜头运动。现有法旦涉及物体运动、相机轨迹或时间顺序变化，就很难保留原后续帧中已有的内容。

MotionV2V 的核心思路是把运动表示成稀疏轨迹点，并让用户直接编辑这些轨迹。系统先从输入中提取物体或场景点的原始运动轨迹，用户再指定目标运动，模型根据"原始轨迹"和"目标轨迹"之间的差异生成编辑后的。论文把这种差异称为 motion edit，并用它指扩散模型，在尽量保留原内容的同时，让目标物体或相机按新的式运动。

论文地址：https://arxiv.org/pdf/2511.20640v1

它的亮点在于，MotionV2V 不是从单张图片重新生成，而是真正以完整输入为条件进行 video-to-video motion editing。因此它可以利用中任意时间点的信息，处理帧里还没出现的物体，也能支持物体运动、相机运动、时间控制和连续多次编辑。

作者还构建了 motion counterfactuals，即内容相同但运动不同的对，用来微调 motion-conditioned video diffusion 架构。从论文对比来看，MotionV2V 在内容保留、运动控制和整体编辑质量上优于已有法，用户研究中也获得约 70 的偏好率。整体来看，这篇论文把编辑从"改外观"进到"改运动"。

当运动编辑涉及相机、物体和非刚形变时，仅靠 2D 运动线索往往不够。Adobe 和马里兰大学帕克分校共同提出的《Generative Video Motion Editing with 3D Point Tracks》进步使用 3D point tracks 作为统的运动控制表示，同时改变里的相机运动和物体运动。

系统会先估计输入中的相机参数和 3D 点轨迹，用户编辑相机运动或物体轨迹后，再由 video-to-video 生成模型成新。

论文地址：https://arxiv.org/pdf/2512.02015v1

相比 2D 轨迹，3D 轨迹提供了度信息，可以帮助模型判断遮挡关系、前后层次和真实空间运动。论文还设计了 3D track conditioner，通过 cross-attention 从输入中采样视觉上下文，并把这些信息对齐到目标帧空间中，让模型在改变运动的同时保持画面连贯。

由于真实世界中很难获得成对训练数据，作者采用两阶段训练：先用成数据学习基础运动控制，再用真实单目构造非连续片段对，缩小成到真实的差距。整体来看，这篇论文把运动编辑进到 3D-aware 的阶段，也支持运动迁移、非刚变形、物体移除和复制等果。

如果输入只有张物体图像，模型如何在相机绕物体旋转时生成稳定、真实、结构致的？澳大利亚国立大学和亚马逊共同提出的《Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors》研究的就是从单张物体图像生成 orbital video。现有生成法在大角度视角变化时缺少可靠像素对应关系，容易生成结构扭曲或不理的物体形状。雷峰网

论文地址：https://arxiv.org/pdf/2604.12309

这篇论文的核心思路是引入 3D foundation model 中学到的形状先验，用它辅助扩散模型生成稳定的环绕。模型从单张输入图像中提取两类 3D latent features：全局 latent vector 提供整体结构指，体积特征投影得到的 latent images 提供随视角变化的几何细节。

相比度图或法线图，这些 3D latent features 能表达完整的物体形状扬州pvc排水管专用胶水，也避显式提取 mesh 的额外开销。作者还设计了 multi-scale 3D adapter，把不同尺度的 3D 特征接入基础模型，从而提升生成的真实感、物体形状理和多视角致。

谷歌和新加坡国立大学共同提出的《VISTA: A Test-Time Self-Improving Video Generation Agent》则把放在生成流程本身：当用户给出文本想法后，系统能不能反复评估、反思和修改，直到生成符意图的。

它研究的是 test-time self-improvement，也就是不重新训练生成模型，而是在理阶段通过反复评价和改写 prompt 来提升结果。

VISTA 会先把用户想法拆成带有时间结构的场景计划，包括时长、角、动作、对白、环境、相机、声音和情绪等要素；生成多个候选后，通过 pairwise tournament 选出当前好结果；随后由视觉、音频和上下文评审智能体提出意见，后由 reasoning agent 综反馈并改写 prompt，进入下轮生成。

论文地址：https://arxiv.org/pdf/2510.15831

它的亮点在于，VISTA 不是只优化某个指标，而是把规划、候选筛选、多维度评价和提示词重写串成自动闭环。论文中提到，VISTA 在自动指标下相较基线达到 60 的 pairwise win rate，在人工评测中也获得 66.4 的偏好率。整体来看，它把文生从"次生成"进到"生成—评价—反思—再生成"。

02

让模型先学会「怎么动」

要让模型好地生成和编辑内容，底层表示也需要。上海交通大学、香港中文大学多媒体实验室、上海人工智能实验室 OpenGVLab、同济大学、清华大学共同提出的《AdapTok: Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space》研究的是 tokenization 问题，也就是如何把连续帧压缩成适自回归模型处理的离散 token。

论文地址：https://arxiv.org/pdf/2505.17011v2

AdapTok 的核心思路是让 token 分配变得自适应。它不是给每个时间段分配同样多的 token，万能胶厂家而是根据内容、时间变化和整体预，动态决定哪里多用 token、哪里少用 token。

它使用 1D latent token space 表示，并引入 temporal causality，让前面帧的编码和解码不依赖未来帧，适流式处理和自回归生成；同时通过 block-wise masking、block causal scorer 和 IPAL 策略完成自适应分配。

这样来，运动明显、场景变化大的片段会获得多 token，静态或冗余片段则使用少 token。在 UCF-101 和 Kinetics-600 任务中，AdapTok 在不同 token 预下都能提升重建质量和生成表现。

AdapTok 解决的是如何被表示，而 CompVis @ LMU、MCML 和苹果共同提出的《Learning Long-term Motion Embeddings for Efficient Kinematics Generation》进步追问：如果只是理解未来怎么动，是否定要完整生成像素。论文转向学习种紧凑的 long-term motion embedding，用来表示场景中的长期运动规律。

它从大规模 tracker 模型得到的轨迹数据中学习压缩运动空间，把稀疏轨迹和起始帧编码成 latent motion grid，并可在任意空间查询点上重建密集运动；随后在这个运动 latent 空间里训练 conditional flow-matching 模型，根据文本任务描述或 spatial pokes 生成长期运动。这种表示可达到 64 倍时间压缩，也就是说模型不用逐帧生成，就能在抽象的运动空间中断未来动态。

论文地址：https://arxiv.org/pdf/2604.11737

这篇论文的亮点在于，它把"生成"拆成了基础的"生成运动"。这种 kinematics-first 式适探索多个可能未来，也适机器人规划、轨迹预测和长期动态建模。

在开放域互联网和 LIBERO 机器人基准上，它的运动生成质量、条件遵循能力和率都优于门轨迹预测法以及 Wan、Veo 3 等模型基线。整体来看，AI 不定要先"画出未来"，也可以先学会"未来应该怎么动"。

03

从修复画面到理解信号来源

除了生成和编辑，与图像研究也在关注如何从复杂成像退化中恢复可靠信息。南开大学研究院、鹏城实验室、南开大学计机学院、香港理工大学、OPPO 研究院共同提出的《It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal》研究的是短曝光连拍图像中的 flicker artifact 去除问题。

这类退化由人工光源频闪和 rolling shutter 共同造成，表现为条纹状、明暗不均的闪烁，不能简单当作普通噪声或低光增强处理。

Flickerformer 的核心思路是利用闪烁退化的周期和向。周期来自交流电光源亮度变化，向与相机逐行扫描机制有关。针对这两个特点，Flickerformer 设计了 PFM、AFFN 和 WDAM 三个模块，分别用于帧间相位相关融、单帧自相关建模，以及小波域向频修复。雷峰网

论文地址：https://arxiv.org/pdf/2603.22794v1

它的亮点在于，把频闪本身的物理先验嵌入网络结构里，而不是把 flicker removal 当成普通图像增强任务。在 BurstDeflicker benchmark 上，Flickerformer 过多种图像复原和 burst restoration 法，取得 31.226 PSNR、0.920 SSIM、0.045 LPIPS。整体来看，这篇论文让模型能够准确地去除条纹闪烁，同时保留细节并减少重影。

类似思路也出现在热成像研究中。CMU 提出的《Dual Band Video Thermography: Separating Time-Varying Reflection and Emission Near Ambient Conditions》研究的是热成像中的发射 / 反射分离问题。

热相机看到的长波红外信号既可能来自物体自身热辐射，也可能来自周围环境反射；在接近室温的日常场景中，这两部分信号强度接近且都会随时间变化，因此很难判断亮暗变化到底来自物体温度变化，还是背景反射。

论文地址：https://arxiv.org/pdf/2509.11334

论文提出 dual-band thermal videography，用两个长波红外子波段分离"物体自身发射"和"背景反射"。它同时利用光谱线索和时间线索：同材料在两个波段中的发射率比例相对固定，而物体热传变化通常平滑、背景反射变化快。

实验中，法能把咖啡壶升温时的热发射与旁边移动人物的反射分开，也能区分玻璃板上的手指热印和手指反射。在酒杯和咖啡壶中的非校准温度估计误差分别约为 1.72 和 5.34。整体来看，这篇论文把热成像从"看到温度分布"进到"理解热信号来源"。

04

让视觉模型进入真实世界任务

当视觉模型进入遥感和地球观测场景时，问题会比普通图像复杂：模型不仅要处理图像，还要同时理解时间序列、多源数据和地图标注。艾伦人工智能研究所、华盛顿大学、亚利桑那州立大学、不列颠哥伦比亚大学联提出的《Helios: Stable Latent Image Modeling for Multimodal Earth Observation》研究的是面向地球观测数据的多模态基础模型。

地球观测数据既有图像空间结构，也有类似或文本的时间序列特征，还包含卫星影像、地图、地形、作物、土地覆盖等多种模态。

这篇论文提出的模型叫 OlmoEarth，目标是让地球观测基础模型稳定、，也容易落地到环保、人道主义和公共利益相关任务中。它不只训练模型，还配套构建端到端平台，用于数据收集、标注、训练和理，降低真实组织使用前沿地球观测模型的门槛。

论文地址：https://arxiv.org/pdf/2511.13655

OlmoEarth 的核心法是 Latent MIM Lite。它用随机初始化、训练中冻结的线投影层，把图像 patch 投到 token 空间作为预测目标，在保留 latent modeling 表征能力的同时提升训练稳定。这个设计还把自监督数据和带标注地图数据统到同个 token 空间里，让模型可以用相同损失学习观测数据和标签地图。

针对遥感数据空间、时间和模态度冗余的问题，OlmoEarth 采用 modality-aware masking，让模型须从其他时间、空间或模态中断缺失信息；同时只在同 bandset 内进行 token 对比，避大量"太容易"的负样本削弱训练果。

综评估中，OlmoEarth 与 12 个其他基础模型相比，在 embedding 评估中于 24 个任务里的 15 个取得好表现；在 full fine-tuning 设置下，于 29 个任务里的 19 个取得好表现。整体来看，这篇论文为地球观测任务提出了个稳定、开放、面向真实应用的多模态基础模型体系。

这次去 CVPR 现场，定不要错过

奥力斯    泡沫板橡塑板专用胶报价    联系人：王经理    手机：18232851235（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

【认识大牛 + 赚外快】的机会

需要你做什么：把你关注的 10 个大会报告，每页 PPT 都拍下来

你能获得什么？

认识大牛：你将可以进入 CVPR 名师博士社群；

钱多活少：提供丰厚金，任务量精简；

听会自由：你的行程你做主，顺手就把外快赚。拍下你感兴趣的 10 个报告 PPT 即可。

如果你即将前往 CVPR，想边听会边赚钱，还能顺便为 AI 学术社区做贡献、认识多大牛，欢迎联系我们： [ 添加微信号 :MS_Yahei ]

【限额 5 位，先到先得】

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定扬州pvc排水管专用胶水，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。