第 15 课：完成一次可复查的 RAG 实验

到这里，可以把前面的零散练习连起来了。你不需要先写程序，拿出资料、挑片段、写提示词、核对回答，就能完成一次有来有回的实验。

先留下一份别人也看得懂的记录

“试了一下，感觉不错”留不住多少信息。把原问题、资料版本、选中片段及顺序、完整提示词、原始回答都放在一起，再写你为什么判它通过或失败。别人拿到这份记录，应当能看见模型实际读了什么。

方式也写清楚。自己挑卡、自己写答案，是人工模拟；挑卡后交给模型，是人工检索加模型生成。没有运行自动搜索，就不能把结果说成向量检索性能。用到聊天工具时，记录可见名称和时间，不必猜它没显示的设置。

问：“十八日能去图书馆吗？与普通周日有什么不同？”预期资料是 A、D。第一次只提供 A，使用第十三篇的提示词。它可以说明普通时段，却无法凭 A 确定那天有没有特殊安排。

第二次保持问题和要求不变，只补入 D。现在应得到全天闭馆［D］与普通周日时段［A］的比较。两次只差一份通知，你就容易观察到证据缺失的影响。

如果第一次直接说当天开放，记录它在证据不足时过度肯定；如果第二次仍忽略 D，记录它没有正确使用已有资料。两次都值得保留，不要把失败答案偷偷改好再保存。

续借题给 C，证件题给 F，罚金题给 B。与上面的两次合起来，总共五份记录。最后一次故意没有罚金依据，用来观察是否承认不知道。每次都按原文核对，不把流畅当成通过。

如果想重复运行，把每次结果都留下。一次答对只能说明这一次通过了，不能证明稳定。入门先做完一份可复查记录，比不断换工具、只保存最好输出更有帮助。

五份记录分别检查什么

日期第一次查未知处理，第二次查 A/D 是否分别支持比较；续借查次数、天数和条件；证件查有效学生证；罚金查有没有猜金额。记录模板在资料包里，可以直接复制。

写完后，用一句话说明这次发现了什么，再写一句尚未验证什么。下一周会把这些判断放进固定测试题里，方便比较。