-
知识蒸馏完全指南:从一次"小模型把大模型的答案背熟了却照样不会做题"看懂模型蒸馏
2024 年我想把一个大模型的能力压缩进一个小很多的模型里这样既省显存又跑得快。我听说这个技术叫知识蒸馏。第一版我做得很省事拿那个大模型 teacher 给一批数据打上标签然后用这些标签去训练小模型 student。本地一测看着挺像回事小模型训出来了在训练集上 loss 降得很低。我心里很踏实蒸馏嘛不就是让小模型去模仿大模型的输出拿大模型打的标签训小模型就行了。可等我真正拿它去跑测试一串问题冒了出…- 0
- 0
模型蒸馏
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×