SESSION 02 · KNOWLEDGE BASE & RAG
第 2 讲 · 告别幻觉与外脑重塑 ：知识库、RAG 与本地部署
大模型「知识截止、不知私有数据、会一本正经地胡说」——本讲教你把模型从闭卷考试变成开卷考试：自建私有知识库（腾讯 ima / RAG），并在自己电脑上离线部署大模型（Ollama），让数据不出本机。
🎯 教学目标
学完本讲，你应当能够……
① 看透幻觉
- 洞悉预训练大模型幻觉与时效局限的机理
② 讲清 RAG
- 掌握 RAG 全链路：解析→切片→嵌入→检索→重排
③ 会用 ima
- 用腾讯 ima 沉淀个人/团队知识并做知识问答
④ 能本地部署
- 用 Ollama 在个人电脑离线部署 DeepSeek/Qwen
🧠 核心知识模块
👻 模块 1 · 幻觉的本质与 RAG 解法
为什么模型会「一本正经地胡说」
- 知识截止(Knowledge Cutoff)：训练完成即「定格」，新事不知
- 高概率生成 ≠ 事实：模型在「猜最像的下一个词」，而非查证
- RAG 相比微调：免训练成本、可动态更新、精准溯源、数据隔离
- 一句话：RAG = 让模型「先翻参考书，再答题」
🔗 模块 2 · RAG 全链路拆解
从文档到答案的 5 步
- ① 文档解析与清洗：PDF 版面解析、表格/图片识别
- ② Chunking 切片：块大小(Chunk Size)与重叠(Overlap)的平衡
- ③ 向量化 Embedding：把文本映射为高维坐标，语义相近则距离近
- ④ 检索召回：余弦相似度 + Top-K；⑤ 重排 Rerank 与上下文压缩
📚 模块 3 · 腾讯 ima 知识库实操
微信生态里的「第二大脑」
- 一键收录公众号/网页/文件，微信侧边栏随时提问
- 团队知识库权限共享，赋能教研与学生管理
- 开放 OpenAPI 与「@知识库」精准命中，抑制幻觉
- 结合祝老师教学知识库：人工智能与旅游创新应用、新媒体运营管理、大数据与旅游业等
🔒 模块 4 · Ollama 本地部署
让数据不出本机
- 为什么本地部署：涉密数据、学生隐私、断网环境
- 一键拉取：
ollama run deepseek-r1:7b/qwen2.5:7b - 配合 AnythingLLM / Open WebUI / Page Assist 构建纯本地知识库
- 显存估算：总显存 ≈ 参数量 × 精度字节（INT4 ≈ 0.5GB / 10 亿参数）
🧪 交互实验室 2 · RAG 检索增强「闭卷 vs 开卷」对比台
输入一个问题，观察 纯大模型「闭卷」 与 RAG「开卷」 的差别——检索到片段才是可靠回答的前提。
🏔️ 屯堡地戏源流
💊 抗菌药联用
🎨 特教 IEP
🌦️ 库外问题
🔎 向量检索 Top-3 命中片段：
💡 本实验为教学模拟：真实 RAG 用向量模型计算语义相似度，此处用字面重合度近似，目的是让你直观感受「检索—增强—溯源」的价值链条。
📊 关键知识速查
| 方案 | 原理 | 优点 | 代价 / 适用 |
|---|---|---|---|
| 提示工程 | 把内容塞进 Prompt | 零成本、即时 | 受上下文窗口限制，无法沉淀 |
| RAG 检索增强 | 外挂知识库，边查边答 | 可更新、可溯源、成本低 | 依赖检索质量，适合绝大多数场景 |
| 微调 Fine-Tuning | 用数据再训练模型 | 风格/能力定制强 | 成本高、难更新、需算力 |
| 本地部署 | 模型跑在自己电脑 | 数据不出本机、离线可用 | 受显存限制，能力弱于云端大模型 |
| 模型规模 | FP16 显存 | INT8 显存 | INT4 显存 | 参考口径 |
|---|---|---|---|---|
| 7B | 约 14 GB | 约 7 GB | 约 4 GB | RTX 4090 24GB 可跑 8B 级 |
| 14B | 约 28 GB | 约 14 GB | 约 8 GB | 需较大显存或量化 |
| 70B | 约 140 GB | 约 70 GB | 约 35 GB | 需多卡/服务器 |
🎓 跨专业随堂案例
源自真实工程与教学的四个实例
📚 知识库三选一实测
- 同一份教材分别灌入 Cherry Studio / Dify / ima
- 结论：Cherry Studio 不可用、Dify 可用、ima 效果最佳
✍️ 教研组判作文
- 把校本评分标准一次性入知识库
- 免每次粘贴、防胡编，评分口径统一
🏔️ 文旅知识库（无锡）
- PaddleOCR+ERNIE+DeepSeek 文档处理
- 准确率 96.8%、检索准确率 93.5%
⚖️ 烟草法律问答提速
- 本地知识库 + Ollama(DeepSeek-R1)
- 法律条文查询从 10 余分钟 → 10 秒内
📎 本讲资源与延伸
扫码/点击直达
📘 第 2 讲课件 PPTX（41 页）
course-llm-s2-slides.pptx
第 2 讲完整课件：幻觉/RAG 全链路/ima/Ollama 本地部署。
扫码直达
下载课件
下载课件
