大模型做监督微调（SFT）临沂pvc管粘接胶水厂家，是不是数据越多越好？

直觉上，当然是把完整数据集都喂给模型稳妥。但在真实训练里，事情并没有这么简单。

全量 SFT 不仅计成本，还可能带来过拟、偏见放大等问题。关键的是，个训练集里的样本价值并不相同：有些样本信息量很，值得反复学习；有些样本度重复，继续训练只是在浪费力。

于是，个问题变得越来越重要：

能不能在训练过程中，让模型边看数据，边自动挑出值得新参数的样本？

来自清华大学自动化系的研究者提出了UDS（Utility-Diversity Sampling），个面向大语言模型 SFT 的在线 batch 选择框架。

句话概括：UDS 不是简单挑 loss 大的样本，而是利用前向传播中已经产生的 logits，同时评估样本"有没有用"和"够不够多样"，从而在不依赖验证集、参考模型和额外反向传播的情况下，地完成 SFT。

实验显示，在 MMLU、ScienceQA、GSM8K、HumanEval 四个基准上，UDS 在 Llama-3.1-8B 和 Qwen-2.5-7B 上都取得了在线 batch 选择法中的优表现。以 Qwen-2.5-7B 为例，UDS 在 MMLU 上达到63.34，相比 GREATS 提升5.15 个百分点；同时训练吞吐量也于全量 SFT。

现有法会"挑数据"，但挑得还不够聪明

在 SFT 中，朴素的法是全量训练：每个 batch 里的样本全部参与参数新。

但这会带来两个问题。

，训练贵。大模型每步反向传播都很耗时，如果大量样本本身价值有限，就会造成计浪费。

二，训练未好。数据里可能存在重复样本、低价值样本，甚至会让模型容易过拟到某些偏置模式。

因此，在线 batch 选择（online batch selection）成为个自然向：模型在训练时先看到候选 batch，然后只选出其中部分样本真正参与参数新。

已有法通常会根据样本的utility（用）进行选择。比如：

MaxLoss：优先选择 loss 大的样本；

MaxGrad：优先选择梯度范数大的样本；

RHO-Loss：借助参考模型或验证集估计样本价值；

GREATS：进步引入训练动态信息。

但这些法仍有明显限制。

面，很多法只看"这个样本难不难、有用没用"，却忽略了多样。如果个 batch 里都是相似样本，训练信号仍然会度冗余。

另面，部分法依赖外部验证集、参考模型，或者需要额外梯度计，致训练开销反而可能过全量 SFT。

论文因此提出，个理想的在线 batch 选择法，至少要满足三点：

同时考虑数据用、样本内部多样、样本之间多样；

不依赖外部资源，例如验证集或参考模型；

训练总时间要比全量 SFT 低。

△在线 batch 选择法能力对比：UDS 同时满足数据用、样本内多样、样本间多样、外部资源、训练时间降低五项要求核心法：用 logits 同时判断"有用"和"多样"临沂pvc管粘接胶水厂家

UDS 的关键思想，是把模型前向传播时已经产生的logits用起来。

对于个训练样本，LLM 在每个 token 位置都会输出个词表维度的 logits 向量。把整段序列所有 token 的 logits 拼在起，就得到个 logits 矩阵。

这个矩阵里其实包含了很多信息：

模型对这个样本是否不确定？

这个样本是否能带来较大的 loss reduction？

序列内部的 token 预测是否丰富，还是度重复？

这个样本和历史上已经训练过的样本是否过于相似？

UDS 将这些信息拆成两个分数。

个是intra-sample importance score，也就是样本内部重要分数。它通过 logits 矩阵的nuclear norm（核范数）计，用来同时刻画样本用和样本内部多样。

二个是inter-sample importance score，也就是样本之间重要分数。它通过低维投影后的样本表示，与历史 memory buffer 中样本的距离来计，用来避反复训练相似样本。

后，UDS 把这两个分数加权并，选出当前候选 batch 中分数的 Top-K 样本参与参数新。

△UDS 框架示意图：模型先对候选样本做前向传播，得到 logits；再分别计样本内部重要和样本间多样；终选择价值样本新模型为什么 nuclear norm 能衡量样本价值？

UDS 的个核心设计，是用 logits 矩阵的 nuclear norm 衡量样本内部价值。

直观理解，nuclear norm 越大，通常意味着两件事。

，样本可能带来训练收益。

如果模型对某个样本的预测分布呈现出强的训练信号，它往往可能带来 loss reduction。论文在 Qwen-2.5-7B + MMLU 上做了相关分析，发现 nuclear norm 与训练后的 loss reduction 存在较强相关。

二，样本内部的信息丰富。

如果个样本的 token 预测度重复，logits 矩阵的行向量会接近同向，矩阵秩较低；如果每个 token 都包含不同语义信息，logits 矩阵会呈现秩、丰富的谱结构，nuclear norm 也会。

也就是说，UDS 不是只看"这个样本难不难"，而是在看：

这个样本是否既有学习价值，又能提供足够丰富的 token 训练信号。

△相关分析与样本内多样示意：nuclear norm 与 loss reduction、矩阵秩之间存在明显相关；多样序列会呈现丰富的预测分布

论文还给出个简化例子：左边序列中模型预测 cat、dog、bird 等不同 token，代表样本内多样；右边序列几乎只预测 cat，代表低多样。

△样本内多样与低样本内多样的对比只看单个样本还不够，还要避"重复训练"

如果只看 nuclear norm，模型可能会持续选择某些价值但相似的样本。

这在训练中也会造成浪费：单个样本看起来有用临沂pvc管粘接胶水厂家，但整批样本如果度重复，整体 batch 的信息增益并不。

为了解决这个问题，UDS 引入了样本之间的多样建模。

具体做法是维护个固定大小的 FIFO memory buffer，用来保存近被选中参与训练的样本表示。对于当前候选样本，UDS 会计它与 memory buffer 中历史样本的平均欧氏距离。距离越大，说明这个样本越不像近已经训练过的数据，越值得加入训练。

但这里有个现实问题：原始 logits 矩阵太大，直接保存代价非常。

论文指出，如果在 Qwen-2.5-7B 中为 1024 个样本直接存储完整 logits 矩阵，内存可能达到约74GB。这显然不适实际训练。

因此，UDS 设计了个低维投影法，把 logits 矩阵压缩成紧凑向量，再放进 memory buffer。论文采用类似 SRFT 的两侧随机投影，把词表维度和序列长度维度分别降维，从而避显式存储巨大的投影矩阵。

这样来，UDS 就能用很低的额外开销近似保留样本之间的距离关系，并据此衡量全局多样。

终，UDS 的选择标准可以理解为：

既选择当前有训练价值的样本，也优先选择和历史训练样本不重复的样本。

实验设置：四类能力、两个基座、六组基线

论文主要在四个基准上评估 UDS：

MMLU：通用知识理解；

ScienceQA：科学问答；

GSM8K：数学理；

HumanEval：代码生成。

实验使用两个基座模型：Llama-3.1-8B和Qwen-2.5-7B。

对比法包括：

Regular：不做数据选择，全量使用样本；

Random：随机选择样本；

MaxLoss：选择 loss 大的样本；

MaxGrad：选择梯度范数大的样本；

RHO-Loss：依赖参考模型的选择法；

GREATS：已有在线 batch 选择 SOTA 法。

实现上，论文默认采用 LoRA 训练，rank 为 8；batch size 设为 8；memory buffer 大小 M=1024；投影维度设置为 d1=128、d2=8。所有基准采用 zero-shot 评估，并使用不同随机种子重复 4 次。

实验结果：准确率，训练还快

主实验结果非常直接：UDS 在四个基准、两个基座模型上都取得了优准确率。

在Qwen-2.5-7B上，泡沫板橡塑板专用胶UDS 的结果为：

MMLU：63.34，于 GREATS 的 58.19；

ScienceQA：95.19临沂pvc管粘接胶水厂家，于 GREATS 的 94.17；

GSM8K：79.91，于 GREATS 的 78.61；

HumanEval：46.28，于 GREATS 的 45.04。

在Llama-3.1-8B上，UDS 同样取得结果：

MMLU：40.16；

ScienceQA：94.33；

GSM8K：58.98；

HumanEval：30.96。

关键的是，UDS 不只是准，也。

以 Qwen-2.5-7B 为例，在 MMLU 上，UDS 的训练吞吐量为3.41samples/s，于全量训练的 2.27samples/s；在 HumanEval 上，UDS 为6.81samples/s，同样于全量训练的 6.24samples/s。

这说明，UDS 并不是通过"多花时间换准确率"，而是在少训练开销下，选出了质量的训练信号。

△主实验结果与消融实验截图：UDS 在 MMLU、ScienceQA、GSM8K、HumanEval 上均取得优结果，同时多数设置下训练吞吐量于全量训练消融实验：nuclear norm 和 diversity distance 都不是摆设

为了验证 UDS 的两个核心组件是否真的有用，论文做了消融实验。

结果显示，只使用 nuclear norm 或只使用 diversity distance，都能带来明显提升；但两者结后的完整 UDS 表现好。

以 Qwen-2.5-7B 为例：

在 MMLU 上，Random baseline 为 54.26；只使用 nuclear norm 提升到 58.35，只使用 diversity distance 提升到 57.75，完整 UDS 进步达到63.34。

在 HumanEval 上，Random baseline 为 40.20；只使用 nuclear norm 提升到 44.18，只使用 diversity distance 提升到 43.84，完整 UDS 达到46.28。

这说明两种信号是互补的。

nuclear norm 关注单个样本内部是否有训练价值，diversity distance 关注当前样本是否与历史训练样本重复。只有把二者结起来，才能同时实现"选得有用"和"选得不重复"。

参数与数据规模：能提升，但额外内存增长很小

论文还分析了投影维度 d1、d2 以及 memory buffer 大小 M 对能和内存的影响。

结果显示，随着 d1、d2 和 M 增大，模型在 MMLU 上的平均准确率整体提升；但峰值内存只出现轻微增长。

这说明 UDS 的低维投影和 memory buffer 设计，并没有引入不可承受的额外内存负担。

在不同选择比例实验中，UDS 也展现出稳定优势。随着每个 batch 中被选中的样本数量 K 增加，多数法准确率都会上升；但 UDS 在较小 K 下就能达到峰值，并且在部分设置中过全量训练。

这意味着：

小而精的训练子集，只要选择策略足够好，也能过"全都训练遍"。

△投影维度、memory buffer 与数据选择规模实验截图：UDS 在提升能的同时，仅带来很小额外内存增长多实验：从 LoRA 到全参微调，从长链理到 OOD

除了主实验，论文还在附录中补充了多组验证，进步证明 UDS 的鲁棒。

在大 batch size（B=16）下，UDS 仍然在 Qwen-2.5-7B 上取得结果：MMLU 为62.71，ScienceQA 为95.08，GSM8K 为79.38，HumanEval 为45.98。

在全参数微调设置下，UDS 同样保持优势：MMLU 为63.27，ScienceQA 为95.06，GSM8K 为78.26，HumanEval 为48.44。

在 Qwen-2.5-7B-Instruct 上，UDS 也过其他法：MMLU 为53.86，ScienceQA 为95.56，GSM8K 为76.80，HumanEval 为45.75。

对于长上下文理，论文在 MATH 数据集上将大序列长度设为 2048。UDS 取得46.27，于 Regular 的 45.89 和 GREATS 的 45.66。

在 OOD 测试中，模型在 GSM8K 上训练，并在 MATH500、AMC23 上评估。UDS 在 GSM8K、MATH500、AMC23 上分别达到79.91、42.56、26.38，均为佳。

论文还与离线数据选择法 FisherSFT 做了比较。在相同数据选择比例下，UDS 在 MMLU、ScienceQA、GSM8K、HumanEval 上分别达到63.34、95.19、79.91、46.28，于 FisherSFT 的 57.85、94.02、78.35、43.87。

这些结果共同说明，UDS 并不是只在某个单设置下有，而是能够泛化到不同 batch size、不同微调式、指令模型、长理任务和分布外测试中。

让 SFT 从"全量喂数据"走向"动态挑数据"

这项工作的核心价值，不只是提出了个新的采样公式，而是重新强调了 SFT 中个很现实的问题：

训练率不只取决于模型和力，也取决于每步到底把哪些数据拿来新参数。

过去，在线 batch 选择常常只关注样本难度或 loss。UDS 则把视角扩展到 utility 和 diversity 的联建模：既看样本是否有用，也看样本是否重复。

重要的是，它直接利用前向传播已有的 logits 信号，不需要额外验证集、参考模型，也避了昂贵的样本梯度计。

从长远看，UDS 代表了类实用的数据选择向：让大模型训练不再只是"堆数据、堆力"，而是让训练过程本身具备强的数据判断能力。

对于 SFT 来说，这意味着我们有机会用少的样本、低的时间成本，获得强的模型表现。

主要作者

邹鹤鸣，季向阳教授团队博士，研究范围覆盖大模型后训练、持续学习与脑启发智能，致力于提升多轮交互式智能体在 RL 后训练中的采样–反馈率与决策信用分配，抑制自演进中的灾难遗忘，并基于脑启发机制探索省力的前沿学习范式。在 ICML、NeurIPS、ICLR 等顶会议以作 / 共发表多篇论文，工作贯穿法创新与工程落地全栈优化，目前腾讯混元大模型团队科研实习生。

论文标题：Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning

论文作者：Heming Zou、Yixiu Mao、Yun Qu、Cheems Wang、Xiangyang Ji

论文地址：https://arxiv.org/pdf/2510.16882

代码地址：https://github.com/gfyddha/UDS

键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系式。

� �   我们会 ( 尽量 ) 及时回复你 : )

� � 点亮星标 � �

科技前沿进展每日见相关词条:罐体保温施工     异型材设备     锚索    玻璃棉    保温护角专用胶

奥力斯    PVC管道管件粘结胶价格     联系人：王经理    手机：18231788377（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区/p>

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定临沂pvc管粘接胶水厂家，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。