LLM大语言模型高级应用 · 第2讲 · 知识库与RAG
SESSION 02 · RAG & KNOWLEDGE BASE

第 2 讲 · 告别幻觉与外脑重塑:RAG、ima 与本地部署

让模型只说我们知道、且能溯源的话 —— 走通 RAG 六步链路,掌握腾讯 ima 知识库与 Ollama 本地私有化部署。

90 分钟含 RAG 对照实验台ima 教学共享库作业 2(15 分)

本讲课件(12 页)

← → 方向键翻页
—
LECTURE 02 · 目标

本讲你要带走的三件事

90 分钟 · 从"开放猜测"走向"有据可查"

① 认清幻觉

区分三种成因:知识截止 / 概率推测 / 私域缺失

知道每种成因对应什么解法

② 会搭知识库

走通 RAG 六步链路

会调切片与召回参数

能在 ima 中建个人/团队库

③ 能私有化

理解何时必须本地部署

会用 Ollama 跑本地模型

能做方案选型

MODULE 01 · 幻觉

模型为什么会"一本正经地胡说八道"

三种成因 → 三种完全不同的解法

⏳ 知识截止

训练完成即定格

不知道训练后发生的事

→ 解法:检索外部知识

🎲 概率推测

本质是采样不是查表

低置信度仍流畅输出

→ 解法:给上下文 + 要求引用

🔒 私域缺失

内部资料从未进训练集

问它必然编造

→ 解法:私有知识库 / 微调

现场实验:向通用大模型提问"安顺学院数字文旅智能实验室的成立年份与研究方向",观察它如何编造;再把实验室简介上传 ima 后重问,对比准确度与角标引用。
MODULE 01 · 选型

RAG vs 微调 vs 长上下文:三条路的取舍

选错工具 = 花了很多钱却没解决问题
维度RAG 检索增强微调 Fine-Tuning长上下文硬塞
实施成本低(无需训练)高(需数据与算力)极低
知识更新改文档即生效需重新训练随每次提问变化
可溯源性可给出引用出处不可溯源可指出处但不稳定
幻觉抑制显著(有据可依)中等中等(易中间遗忘)
本课程建议✅ 首选⚠ 仅在风格固化时⚠ 临时方案
MODULE 02 · 全链路

RAG 六步:从一份 PDF 到一句有出处的答案

解析 → 切片 → 向量化 → 检索 → 重排 → 生成

① 文档解析

PDF/Word/网页 → 纯文本

扫描件需 OCR

剔除页眉页脚噪声

② 语义切片

常用 300~800 字/块

重叠 10%~20% 防断裂

按标题层级优于定长

③ 向量化

Embedding 映射为向量

中文需选中英双语模型

④ 相似度检索

余弦相似度 + Top-K

召回 20~50 条

⑤ 重排压缩

Rerank 精排到 3~5 条

上下文压缩降本

⑥ 增强生成

LLM 带引用作答

检索不到就说"不知道"

MODULE 02 · 参数

切片与检索:四个最影响效果的可调参数

同一份文档,参数不同,答案质量可能天差地别
参数常见取值调大的后果调小的后果
Chunk Size 切片长度300 ~ 800 字信息冗余、噪声增多语义被切断
Overlap 重叠10% ~ 20%重复多、成本上升跨块语义断裂
Top-K 召回条数20 ~ 50上下文变长、注意力稀释可能漏掉关键片段
Rerank 精排条数3 ~ 5成本高、噪声回升证据不足
评测方法:固定 5 个问题,只改一个参数,记录"答对 / 有引用 / 幻觉"三项指标 —— 这就是作业 2 的核心动作。
MODULE 03 · IMA

腾讯 ima:把散落资料变成"会回答的图书馆"

祝老师已建设 20+ 主题知识库,其中多门为教学共享库
知识库名称用途典型用法
人工智能与旅游创新应用-教学共享知识库课程共享AI+文旅案例检索、课堂问答
新媒体运营管理-教学共享知识库课程共享爆款文案、账号运营策略
大数据与旅游业课程实践课程共享旅游大数据分析与课程实践素材
AI赋能教学 / AI赋能教学科研教师发展备课、教案、科研工作流参考
AI赋能论文、案例、讲座学术提升论文写作、案例开发、讲座提纲
skills知识库 / 精选优质Skill技能沉淀Skills 写法与优质模板
AI+副业收集创新创业数字副业与变现案例
MODULE 03 · 协作

ima 的第二层价值:从"个人库"到"班组库 + 自动化"

个人沉淀 → 团队共享 → 接口调用

📥 一键收录

微信文章 / 网页一键入库

PDF、Word、图片均可

手机端随手收集

👥 团队共享

按权限分配给同学

全班共建课程资料库

避免重复收集

🔌 OpenAPI

程序化检索与写入

可接入工作流与定时任务

第 4 讲的自动化基础

课堂建议:以专业群为单位(医药 / 文旅 / 理工 / 人文)各建一个共享知识库,每人每周贡献 2 篇高质量资料,4 周后即成为期末项目的专属语料。
MODULE 04 · 本地部署

为什么要把大模型装进自己的电脑

涉密数据 · 学生隐私 · 离线网络 · 零边际成本

🔐 数据不出本机

病历、问卷、未发表数据

云端 API 会留存请求日志

💸 成本结构不同

一次性硬件投入

之后每次推理 0 元

📴 离线可用

机房/野外/涉密网

研学田野调查刚需

# 1) 安装后拉取模型(约 4~5 GB,校园网建议夜间执行)
$ ollama pull deepseek-r1:7b     # 强推理,适合逻辑/数学链路
$ ollama pull qwen2.5:7b         # 中文均衡,通用问答与写作
$ ollama run qwen2.5:7b          # 命令行直接与模型对话

# 2) 搭本地知识库:AnythingLLM 或浏览器插件 Page Assist
#    选择 Ollama 作为推理后端 → 上传 PDF → 带引用问答
MODULE 04 · 选型

云端 API / ima / 本地 Ollama:怎么选

工程常态是三层混合,而不是三选一
方案上手难度数据流向成本推荐场景
云端大模型 App / API极低数据出网按量或订阅通用问答、创意写作
腾讯 ima 知识库低存于平台(国内合规)基础免费教学资料沉淀与共享
本地 Ollama + AnythingLLM中(需 8G+ 显存)完全不出本机硬件一次性涉密/隐私/离线
混合方案(推荐)中敏感本地、通用云端可控期末项目推荐架构
一句话建议:公开知识走云端,专业资料走 ima,敏感数据走本地。
延伸阅读 · IMA

祝老师 ima 知识库中的 RAG 与本地部署资料

课后可在 ima 中检索下列资料
  • 大数据与旅游业课程实践:《第五章 构建领域知识大脑:RAG技术详解.pptx》《RAG技术赋能文旅行业:原理、实践与教学应用.pptx》《rag_verification_checklist.md》《2025私域大模型部署白皮书-59页.pdf》《ima知识库使用指南.pdf》。
  • AI赋能教学:《腾讯ima知识库助力教学与工作》《【ima知识库】AI时代的教与学》《一线教师用WorkBuddy+ima搭教学知识库》《用 WorkBuddy + ima 给老师搭套备课工作台》。
  • AI赋能教学科研:《腾讯IMA知识库高阶玩法之三十:AI幻觉终极解药,@知识库》《对比测试CherryStudio、Dify、ima自带知识库对小学语文教科书的知识检索效果》。
  • 人工智能与旅游创新应用:《09_ima+WorkBuddy搭建知识库》《06_WorkBuddy×ima联动实战手册.pdf》。
HOMEWORK 02

实践作业 2 · 微型专业私有知识库构建与 RAG 评测(15 分)

建议先完成本地 Ollama 安装(见课件第 7 页)
  • 任务:在腾讯 ima 或本地 Ollama 中上传 ≥3 篇本专业文献/讲义,构建微型知识库。
  • 评测:设计 5 个有专业深度的问题,分别对比"纯大模型回答"与"知识库增强回答",记录准确度、引用溯源、幻觉条数。
  • 交付:知识库截图(含文档列表)+ 10 组问答对照表 + 300 字评测结论。
  • 评分:知识库建设 5 分 · 问题设计 4 分 · 对照评测 4 分 · 结论 2 分。
SUMMARY · 第 2 讲

小结与下一讲预告

  • ① 幻觉有三种成因,混为一谈就会用错工具。
  • ② RAG 六步链路中,切片策略与重排最容易被忽略却最影响效果。
  • ③ ima 解决"沉淀 + 共享 + 溯源";Ollama 解决"数据不出本机"。
  • ④ 工程常态是三层混合:公开走云端、专业走 ima、敏感走本地。
下一讲:智能体(Agent)生态 —— 从"它会说"到"它会做"。
1 / 12

课堂互动实验

手机 / 电脑均可直接操作

🔍 RAG 对照实验台

选择一个专业问题,切换"纯大模型"与"知识库增强"两种模式, 观察幻觉、引用与准确度的差异(示例数据,用于建立直觉)。
—准确度(示例评分)
—引用条数
—幻觉条数
点击上方按钮开始对比…

案例与视频

案例 A · 幻觉对照

同一问题:通用模型流畅作答但无出处;ima 知识库作答给出角标并标注存疑处。

案例 B · 教学知识库

把一门课的资料沉淀为共享库,全班共建、检索即答、可溯源。

案例 C · 本地部署

涉密科研数据不出本机,Ollama + AnythingLLM 完成私有问答。

相关智能体 · 扫码直达

全部为 zgdgt.cn 已上线页面
本地大模型专区本地大模型专区扫码打开zgdgt.cn/local-llm/index.html
课程 AI 助教课程 AI 助教扫码打开zgdgt.cn/course-ai-assistant.html
AI 工具导航AI 工具导航扫码打开zgdgt.cn/ai-nav.html
智能体市场智能体市场扫码打开zgdgt.cn/agents-marketplace.html

本讲实践作业

实践作业 2 · 微型专业私有知识库构建与 RAG 评测(15 分)

提交方式:课程门户「作业中心」上传,或在 ima 中新建笔记归入班级共享知识库。

任务:在 ima 或本地 Ollama 中上传 ≥3 篇专业文献,构建微型知识库。
评测:5 个专业问题对比"纯大模型"与"知识库增强"回答。
交付:知识库截图 + 10 组问答对照表 + 300 字结论。
评分:建设 5 · 问题 4 · 评测 4 · 结论 2。

课件与资源下载

← 第 1 讲上一讲内容第 3 讲 →下一讲内容