部署方案：选型与配置
选型不是跑分游戏，而是把「业务场景 × 硬件条件 × 运维能力」三条约束求交集。以下矩阵来自 33 天、1200 余条测试数据的实证结论，可直接作为本单位/个人选型的基线。
Qwen3 14B
Aingdesk
RTX 5060 Ti 16G
1200+ 条测试数据
① 结论先行
最优组合：Qwen3 14B（计算核心）+ Aingdesk（部署平台）+ 烟草行业专用知识库（数据支柱）， 三位一体，实现数据不出域的安全闭环。
93%
知识库调用精确率
86%
知识库召回率
12.5
token/s 生成速度
≤12G
内存占用
② 模型选型实测矩阵
测试环境：RTX 5060 Ti 16G| 模型 | 内容生成质量 | 知识库调用（精确率/召回率） | 生成速度 | 硬件占用 | 结论 |
|---|---|---|---|---|---|
| Qwen3 14B | 综合最优，专销协同场景（营销方案生成、法规解读）表现突出 | 93% / 86% | 12.5 token/s | 合理（GPU 60%—80%，内存 <12G） | ✓ 最终选定 |
| DeepSeek 14B | 内部文档处理最优，信息覆盖率 92% | 中等（知识融合自然度 85%，略逊） | 中等 | 较高 | 文档处理强，备用于长文摘要 |
| Qwen3 8B | 轻量任务尚可，复杂场景较弱 | 中等 | 较高 | 较低 | 轻量化 / 快速响应场景 |
| DeepSeek 8B | 轻量任务尚可 | 较低 | 较高 | 较低 | 资源受限终端 |
读表提醒：14B 与 8B 的差距不在“能不能答”，而在复杂场景的稳定性与多轮一致性。
若只是做检索问答与格式化工单，8B 足够；一旦涉及法规解读、跨部门方案生成，14B 的领先是数量级上的。
③ 部署平台横向评估
| 平台 | 核心优势 | 适用场景 | 默认端点 | 定位 |
|---|---|---|---|---|
| Aingdesk | 性能稳定、资源调度效率高、高并发支持强 | 正式业务场景 / 生产环境 | 本地客户端管理 | ✓ 生产首选 |
| Ollama | 操作简洁、部署快速、配置便捷 | 快速原型验证、临时测试、轻量化应用 | localhost:11434 | 开发 / 教学首选 |
| LM Studio | 界面友好、模型支持全面、对 Qwen3 系列适配性优 | 本地原型开发、API 测试 | localhost:1234 | 备选 |
| Cherry Studio | 功能丰富、知识库与提示词管理完善、DeepSeek 优化突出 | 多功能集成、知识库前端 | 调用 11434 / 1234 | 交互前端 |
组合建议：Ollama / LM Studio 做发动机（跑模型、暴露 API），
Cherry Studio / Aingdesk 做方向盘（对话、知识库、提示词）。二者分工明确，先启动引擎的 API 服务，前端才能连上。
④ 加权评估体系（可直接复用）
指标与权重
| 评估维度 | 权重 | 观测方式 |
|---|---|---|
| 内容生成质量 | 40% | 准确性 / 相关性 / 完整性打分 |
| 知识库调用能力 | 25% | 精确率、召回率、融合自然度 |
| 硬件性能适配 | 20% | 生成速度、资源占用、并发表现 |
| 部署平台易用性 | 15% | 安装难度、界面、模型管理 |
权重来自业务诉求「高准确性、强针对性、快响应速度」——准是第一位的，快是第二位的。
性能验收门槛
| 指标 | 门槛 | 实测 |
|---|---|---|
| 生成速度 | ≥10 token/s | 12.5 ✓ |
| 并发响应时间 | ≤5 秒 | ≤5s ✓ |
| 并发错误率 | <1% | <1% ✓ |
| GPU 使用率 | 无长期满载 | 60%—80% ✓ |
| 内存占用 | 合理 | <12GB ✓ |
| 检索精确率 | ≥85%（考核） | 91% ✓ |
| 检索召回率 | ≥80%（考核） | 83% ✓ |
⑤ 硬件配置清单
按配置选模型（可直接照抄）
| 机器配置 | 推荐模型 | 体积 | 适用 |
|---|---|---|---|
| 8GB 内存（无独显） | qwen2.5:1.5b / deepseek-r1:1.5b | ≈1GB | 基础对话、简单生成 |
| 16GB 内存 | qwen2.5:7b / Qwen3 8B | ≈4.7GB | 复杂问答、长文生成 |
| 16GB+ 独显（5060 Ti 级） | Qwen3 14B / DeepSeek 14B | ≈9—10GB（量化） | 生产级业务 |
| 24GB 独显（4090 级） | 32B 量化 | ≈20GB | 高精度、长上下文 |
| 任意（必配） | bge-m3:567m（嵌入模型） | ≈1.2GB | 知识库向量化 |
存储：建议预留 ≥50GB 用于模型文件（若长期多模型并存，建议 100GB 以上 SSD）。
下载是本地部署最大的时间成本，机房场景应提前批量预下载并内网分发。
三类典型场景的配置建议
- 区县分公司（生产）：RTX 5060 Ti 16G + Qwen3 14B + Aingdesk + 行业知识库；并发 ≤5 秒、错误率 <1%。
- 教学机房（公选课）：预装 Ollama + Cherry Studio；机房常见 8GB 内存配 1.5B，16GB 配 7B；教师机提前缓存模型。
- 个人网站 / 研究者：本机 Ollama 暴露 11434，静态站点前端直连；RAG 索引放浏览器端，零服务器成本。
成本对照
| 方案 | 年成本量级 | 数据位置 |
|---|---|---|
| 云端订阅（GPT-4 / Claude Pro 级） | ≈$20/月 × 12 ≈ ¥1700+/人·年 | 出境、留存在第三方 |
| 本地部署（一次性硬件） | 电费 + 折旧，边际成本趋零 | 不出本机 |
⑥ 关键配置片段
Ollama · 拉取模型与服务
# 1. 拉取主模型与嵌入模型 ollama pull qwen3:14b ollama pull bge-m3:567m # 2. 查看已下载模型 ollama list # 3. 启动服务（默认 11434） ollama serve
允许浏览器跨域调用（Windows PowerShell）
# 允许任意来源访问本机 Ollama（个人站点必须） setx OLLAMA_ORIGINS "*" # 重启 Ollama 后生效
验证端点可用
# 列出模型 curl http://localhost:11434/api/tags # 一次性问答 curl http://localhost:11434/api/chat -d '{ "model": "qwen3:14b", "messages": [{"role":"user","content":"简述协同联管体系的1335框架"}], "stream": false }'