-
知识蒸馏完全指南:从一次"小模型把大模型的答案背熟了却照样不会做题"看懂模型蒸馏
2024 年我想把一个大模型的能力压缩进一个小很多的模型里这样既省显存又跑得快。我听说这个技术叫知识蒸馏。第一版我做得很省事拿那个大模型 teacher 给一批数据打上标签然后用这些标签去训练小模型 student。本地一测看着挺像回事小模型训出来了在训练集上 loss 降得很低。我心里很踏实蒸馏嘛不就是让小模型去模仿大模型的输出拿大模型打的标签训小模型就行了。可等我真正拿它去跑测试一串问题冒了出…- 0
- 0
-
模型量化完全指南:从一次"量化完模型变小了却答得驴唇不对马嘴"看懂量化工程
2024 年我想把一个 7B 的大模型部署到一台显存不太够的机器上。我听说量化能让模型变小于是第一版我做得很省事找了个最激进的量化方式把整个模型的权重一刀切压到 INT4。本地一测真香模型文件小了一大半原本加载不进去的机器现在能跑起来了。我心里很踏实量化嘛不就是把模型压小压小了能跑就行质量顶多差一点点。可等我真正拿它去回答问题一串问题冒了出来。第一种模型回答答非所问你问 A 它扯到 B 逻辑完全乱…- 0
- 0
AI部署
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×