
刚刚潮州万能胶,何恺明团队提出全新生成模型范式漂移模型(Drifting Models)。
这篇论文的作也是人大附中校友,奥赛双料金得主邓明扬加入恺明团队的篇作论文。
论文中,漂移模型将生成模型分布演化的过程从"理阶段"转向了经网络的"训练阶段",实现了真正意义上的单步生成(One-step Generation)。
漂移模型的核心创新在于引入了"漂移场"(Drifting Field)机制。
其通过在训练中直接对齐先验分布与真实数据分布,不仅消除了 GANs 中常见的对抗训练不稳定,摆脱了流匹配(Flow Matching)或扩散模型(Diffusion)对多步 ODE/SDE 求解的依赖。
在 ImageNet 256x256 基准测试中,漂移模型在 1-NFE(单步理)下取得了 1.54FID 的成绩,证明了从头开始训练的单步模型在质量上可以媲美甚至越经过数百步迭代的传统模型。
生成模型新范式:漂移模型
漂移模型 ( Drifting Model ) 的核心可以总结为以下两点:
将迭代从理转为训练:不同于扩散模型在生成时需要多次迭代(去噪),它将度学习固有的"迭代训练过程"视为分布演化的动力,从而实现单步 ( one-step ) 质量生成。
利用"漂移场"趋向平衡:通过引入个受数据吸引和自身排斥的"漂移场"作为损失函数,当生成的分布与真实数据分布匹配时,漂移场归达到平衡,从而完成模型学习。
接下来,我们具体来看。
不同于侧重于样本与标签映射的判别模型,生成模型的核心在于学习分布之间的转换。
其本质是学习个映射函数 f,将简单的先验分布(如斯噪声)转换为与真实数据匹配的移分布(Pushforward Distribution)。
目前,扩散模型(Diffusion)或流匹配模型(Flow Matching)等主流范式,将这种分布的演变放在理阶段迭代执行。
这意味着生成张图像需要多次调用经网络,致计开销大、生成速度慢。
而漂移模型则提出了种全新的范式:将分布的演化从理阶段转移到了训练阶段。
这设计的可行植根于度学习的本质——
经网络的训练本身就是个迭代优化的过程(如 SGD)。
在传统的视角下,我们只关注损失函数的下降;但在漂移模型中潮州万能胶,训练的每轮迭代都被赋予了物理意义:模型参数的微小新,会直接驱动输出样本在空间中产生相应的位移。
论文将这种随训练步次发生的样本位移定义为漂移(Drift)。
这意味着,映射函数 f 随着参数不断被优化,它所产生的移分布(Pushforward Distribution)也随之自然地发生动态演变。
换句话说,模型训练的轨迹,在本质上就等同于分布演化的路径。 既然训练过程已经完成了这演化,理时自然不再需要多步迭代。
由此,漂移模型将原本昂贵的迭代开销内化在了训练阶段,使得模型在理时仅需单次前向传播(One-step generation)即可生成质量样本。
这不仅消除了多步理的计负担,也避开了 GANs 对抗训练带来的不稳定。
通过漂移场来引样本移动,控制移分布
在具体的实现上,论文引入了个漂移场(Drifting Field)来引样本移动,进而控制移分布。
与流匹配(Flow Matching)在理阶段引样本移动的向量场(Vector Field)不同,漂移场(Drifting Field)是个作用于训练阶段、用于刻画样本空间演化趋势的函数。
在给定样本的情况下,漂移场会计出该位置的修正位移。
修正位移本质上是为经网络的参数新提供航:通过在训练迭代中小化漂移量,强制模型在出厂前就将输出分布与目标分布对齐,从而实现单步生成。
随着训练步数的增加,模型序列对应的移分布会受该场驱动,逐渐向真实数据分布靠拢。
训练目标在于建立种平衡机制:当生成的分布与真实数据分布匹配时,漂移场将归于。
接下来,论文将此新规则转化为种基于梯度停止(Stop-gradient)的损失函数。
该损失函数并不直接对复杂的漂移场求,而是将当前步的漂移后位置视为个冻结的目标,驱使模型预测向该目标靠拢,从而间接小化漂移量。
在法层面,具体的随机训练步骤如下:
生成样本:从先验分布采样噪声,生成样本。
获取参考:从数据集中采样真实样本作为正样本。
计位移:根据正、负样本的分布,万能胶生产厂家计出每个样本位置的漂移向量。
优化新:将 ( x+V ) 设为目标值(并停止梯度)潮州万能胶,新网络参数使其输出向该目标靠拢。
此外,为了处理图像等维数据,论文还引入了以下关键设计:
先,该法越了单的像素空间,转而利用 MAE 或 MoCo 等预训练自监督模型构建特征空间映射,在维的语义层面上引分布匹配,从而显著提升了生成结果的保真度。
在此基础上,漂移场被具体实例化为吸引与排斥的动态结。
生成的样本受到真实数据分布的吸引以确保细节,同时又受到当前生成分布的排斥力,从而有维持了样本的多样并止模式坍缩。
为了使这种力场估计加精确且稳定,研究引入了指数核函数来衡量样本间的相似度,并借鉴对比学习(如 InfoNCE)的思想,通过 Softmax 进行归化处理。
重要的是,该范式将分类器自由引(CFG)机制直接内化于训练阶段:通过在计漂移时向负样本中混入条件的真实数据,模型在训练迭代中便自发学会了条件外。
这种设计使得模型在理时不再需要额外的 NFE 开销,仅凭单步采样就能获得强的引果。"
实验结论
在实验验证环节,漂移模型在具挑战的ImageNet 256 × 256基准测试中。
该模型在单步理(1-NFE)下表现卓越:其在潜空间(Latent space)达到了 1.54 FID。在像素空间(Pixel space)则达到了 1.61 FID。
奥力斯 PVC管道管件粘结胶价格 联系人:王经理 手机:18231788377(微信同号) 地址:河北省任丘市北辛庄乡南代河工业区/p>
这成绩不仅刷新了单步生成的纪录,其果甚至优于许多需要 250 步迭代理的传统扩散模型(Diffusion)或流匹配模型(Flow Matching)。
除了图像生成,该范式在具身智能控制任务(Robot Control)中也表现出强的泛化能力。
实验表明,其单步理的决策质量即可匹配甚至越需要 100 步理的 Diffusion Policy,大地降低了实时控制系统的延迟。
总结来看,漂移模型成功地将原本属于理阶段的生成压力转移到了训练阶段,实现了真正意义上的步到位。
这成就不仅提供了种不同于传统微分程(SDE/ODE)的生成视角,将经网络的训练过程重新诠释为分布演变的动力机制。
论文作者简介
这篇论文的作,是竞赛圈鼎鼎有名的邓明扬,人称"乖"。
邓明扬出自北京人大附中,是 IMO、IOI 双料金得主,同时也是 IOI 历史上三位满分选手。
他拿下 IMO 金,三拿下 IOI 金,中毕业后,他本科与博士均就读于 MIT。
目前是博士二年,师从何恺明。
在进入学术界之前,他还曾在 Google DeepMind、Meta(FAIR)、Citadel Securities、Pika 等机构实习。
这篇论文的其他作者,同样来头不小:
李赫,清华姚班校友,目前大三在读,曾于 2025 年 2 月至 5 月在 MIT 何恺明课题组担任研究实习生。
黎天鸿,清华姚班校友,于 2024 年 9 月加入何恺明课题组,担任博士后。
Yilun Du,现任哈佛大学 Kempner Institute 与计机科学系助理教授, Embodied Minds 实验室。
他本科毕业于 MIT,曾任 OpenAI 研究员、Google DeepMind 研究科学,并获得 生物奥林匹克竞赛金。
论文链接:https://arxiv.org/html/2602.04770v1
项目主页:https://lambertae.github.io/projects/drifting/
— 欢迎 AI 产品从业者共建 —
� �「AI 产品知识库」是量子位智库基于长期产品库追踪和用户行为数据出的飞书知识库,旨在成为 AI 行业从业者、投资者、研究者的核心信息枢纽与决策支持平台。
键关注 � � 点亮星标
科技前沿进展每日见潮州万能胶
相关词条:罐体保温施工 异型材设备 锚索 玻璃棉 保温护角专用胶

