什么是主动学习?让模型优先学习最值得标注的数据
主动学习是什么?它如何从大量未标注数据中挑出最不确定、最有价值的样本给人标注,为什么能减少数据成本,一文讲清。
编辑部 ·
训练数据不是越多越好。若有一百万条几乎相同、容易判断的样本,让人全部标注既贵又浪费。**主动学习(Active Learning)**让模型先从未标注数据中挑出“最不确定、最有信息量”的例子,再交给人标注。
一句话理解:把老师时间花在难题上
模型对“这是普通咨询”很有把握,就不必优先标;它对“这是投诉还是退款请求”摇摆不定,或两个类别边界很近,这样本更值得人工判断。标完后模型更新,再挑下一批难题。
常见选样策略
- 不确定性采样:挑模型置信度最低的样本
- 分歧采样:多个模型或多个预测方式意见不一致
- 多样性采样:避免只挑同一类难题,覆盖不同数据区域
- 错误驱动采样:优先处理线上被用户纠正或失败的案例
它的限制
模型不确定的样本不一定最重要:可能只是噪声、数据错误或超出业务范围。主动学习还可能忽略模型“自信但错误”的盲区,所以仍需要随机抽样和覆盖性测试。
总结
主动学习把数据标注从“随机堆数量”变为“优先解决模型不会的题”。它适合标注昂贵、数据量大、任务边界会逐渐清楚的场景;与对比学习等训练方法结合时,能更高效地建立高价值数据集。