-
同一句话调用大模型做意图分类,有时分对、有时分错,复现 bug 时还死活复现不出来,我查到底才发现是 temperature 把随机性引了进来:一次 LLM 采样参数设置不当、把概率组件当确定性函数用的深度复盘
我们用大模型做意图分类,把用户输入归到查询订单/申请退款/咨询客服。功能能用,但线上偶发分错:同样一句我要退钱大部分时候对、偶尔分到咨询客服;更崩溃的是测试拿出错的句子去复现,跑几次又都对了、bug 自己好了。查到底才发现是调用 LLM 时的采样参数 temperature:我图省事用了默认值(往往 0.7、1.0 偏高),而 temperature 控制输出的随机性,越高越倾向于不总选概率最高的…- 0
- 0
意图分类
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×