-
我把大模型当成一个同样的输入必然给同样输出的普通函数来用,做了缓存、写了断言固定结果的测试,结果缓存老是不命中、测试三天两头挂,排查半天才明白大模型本质是概率采样、压根不保证每次输出一字不差的深度复盘
我在系统里接了个大模型让它根据输入生成结构化结果,下意识把它当普通函数对待——就像 f(x):同样的 x 必然得到同样的 f(x)。基于这个天经地义的假设我做了两件事:给输出做缓存(以为同输入算一次存下来就能复用),写单测断言输入这段输出必须等于那段固定文本。可上线和跑测试后怪事接连不断:测试三天两头失败,同样输入这次输出和我断言的标准答案差了几个字、措辞调整了下断言就挂;缓存逻辑也总出问题。更抓…- 0
- 0
概率采样
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×