-
LLM 微调与部署完全指南:从一次"LLaMA-3-8B + LoRA 训完上线全是幻觉客户说这条文不存在"看懂为什么跑通 peft 脚本远远不够
2024 年我们给一家法律科技公司做合同审查 AI 产品定位是律师上传合同 AI 自动识别条款风险用通用 GPT-4 跑了一版客户说效果还行但每个合同 0.3 美元月烧 10 万美元而且法律术语经常理解偏差比如不可抗力被 GPT 解释成日常含义不是法律意义客户要求降本加提升准确率最优解是微调一个小模型用 LLaMA-3-8B 加 LoRA 我们意气风发就开始了第一周搞通 demo 拿 1000 条…- 2
- 0
-
LLM 微调工程化完全指南:从一次"医疗客服模型把感冒诊断成败血症吓退用户"看懂为什么数据加训练远远不够
2024 年初我们想做一个垂直行业的客服大模型基于 Llama-2-13B 微调给医疗咨询场景用我们组里只有一个搞过传统 NLP 的工程师大家信心满满觉得有 GPU 有数据就能搞定结果第一版折腾了三个月微调出来的模型上线测试客户问我有点感冒模型回您可能患有败血症请立即就医完全幻觉直接吓退用户项目差点被砍然后我们陆续踩了一堆坑第一种最让我傻眼我们准备了 5000 条对话数据全是公司内部历史聊天记录直…- 3
- 0
-
LLM 微调工程化完全指南:从一次"LoRA 训完法律审查飙到 85% 但日常问候也讲合同条款"看懂为什么 trainer.train 远远不够
2024 年我们想给一个法律咨询 SaaS 加一个中文合同审查助手我们以为很简单拿一个开源 LLM 比如 Qwen 7B 全参数微调一下喂 5 万条合同审查样本就上线我跑通第一版后陆续踩了一堆坑第一种最让我傻眼全参数微调 7B 模型一台 A100 80G 跑了 2 天单 epoch loss 收敛得很慢训完 evaluate 模型对法律术语的理解几乎没变在合同关键条款上的 F1 只比 base 模…- 4
- 0
-
LoRA 与 QLoRA 微调完全指南:让开源大模型变成你的领域专家
"我能不能把开源模型微调成我的领域专家?" —— 几乎每个企业接触 LLM 后都会问这个问题。但全参数微调一个 70B 模型要 8 张 A100,普通团队负担不起。LoRA(Low-Rank Adaptation)和它的量化版本 QLoRA 解决了这个问题 —— 只训练几百万额外参数,就能让模型在特定领域表现接近全量微调。这篇文章把 LoRA 的原理、代码、数据准备、效果评估一…- 0
- 0
QLoRA
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×