-
模型量化完全指南:从一次"量化完模型变小了却答得驴唇不对马嘴"看懂量化工程
2024 年我想把一个 7B 的大模型部署到一台显存不太够的机器上。我听说量化能让模型变小于是第一版我做得很省事找了个最激进的量化方式把整个模型的权重一刀切压到 INT4。本地一测真香模型文件小了一大半原本加载不进去的机器现在能跑起来了。我心里很踏实量化嘛不就是把模型压小压小了能跑就行质量顶多差一点点。可等我真正拿它去回答问题一串问题冒了出来。第一种模型回答答非所问你问 A 它扯到 B 逻辑完全乱…- 0
- 0
Quantization
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×