第 12 课:先检查资料是否找对,再看答案
模型把十八日说成正常开放,你准备在提示词里加一句“认真核对”。先停一下:它这次到底看到了什么?如果输入只有普通时段 A,没有闭馆通知 D,认真也不能补出缺失的证据。
答错了,先把输入摊开
保留原问题和实际候选,比只看最终答案更有帮助。对这道题,看看 D 在不在;对续借题,看看 C 是否完整保留未被预约、到期前、一次和七天。编号对了,内容被切掉一半,也不能算证据齐全。
读候选时,可以顺着问:它谈的是这件事吗?回答需要的内容都在吗?对象、日期和版本适用吗?B 的十四天看起来与续借有关,但不能回答延长几天;E 讲数量,却不适用于当前上限。
同一句错答案,可能有两种原因
第一种情况:候选只有 A、B,答案却说十八日照常开放。对照完整资料包,发现 D 根本没进来。先修检索,让日期通知能被找到,或者在这次练习里手动补入。
第二种情况:候选已经有 A、D,答案仍说周日九点到十七点开放。现在资料找到了,问题在于回答忽略了例外。要检查模型怎样使用证据,而不是继续增加一堆借阅规则。
两次输出可能一样,下一步却不同。先分清这一点,改提示词、调候选数量才有理由。
没找到,与资料里没有
押金题又是另一种情况。当前候选没有金额,翻完 A 至 H 也没有,那就需要新增来源。闭馆题缺 D 是这次检索不足;押金题缺金额是知识库覆盖不足。
回答时也把范围说准确:“提供的资料无法确定押金金额。”别从没记录推断到没有押金。来源链接是真的,也要逐句核对它是否支持结论;链接可能指向了另一条规则。
拿上面的三种情况,分别写下所需证据、实际候选和失败原因。再挑一条带引用的答案,拆开每句事实,到对应资料里找支持它的原话。
三条诊断记录
A、B 回答日期题:缺 D,先检查检索。A、D 仍答普通时段:证据已到位,检查使用。押金题:资料包缺事实,需要补来源或承认无法确定。
继续阅读:Microsoft: RAG LLM evaluation phase
← 上一篇 · 学习计划 · 练习用的虚构图书馆资料 · 下一篇 →