第 10 课:索引、Top-k 和来源信息
搜到三个结果,还差哪一步?先看看这三个结果是谁选出来的、为什么排在前面。理解索引和 Top-k,能帮你避免把搜索列表直接当成答案。
索引像一份查找用的目录
书末索引把词语指向页码,搜索索引把可检索的特征与资料位置关联起来。关键词索引、向量索引做法不同,目的都是少翻一些资料,更快找出候选。返回结果还要连着正文和来源,否则你只知道“有个地方像答案”,却没法检查它。
更新文件后,也要检查索引是否更新。原文已经写三本,系统仍拿旧片段里的两本回答,改网页文字并没有完成整条链路的维护。
Top-3 的意思是取前三个候选
Top-k 中的 k 是数量。Top-3 取排序靠前的三个候选,排名由检索或排序方法决定。它不承诺三段都相关,更不承诺三条结论都正确。有过滤或候选不足时,返回的数量也可能不到 k。
问当前上限,模拟列表却是 E、B、H。只取第一段,会拿到历史规则;取前两段,才出现当前的 B。H 虽然也谈借阅限制,讲的却是参考书不可外借,不能用来回答普通图书的数量。
再问特殊日期与平常的区别,列表换成 A、H、D。前两段仍不够,第三段才有闭馆通知。这说明这道题需要补上 D,不表示所有问题都应该固定取三段。
多拿一点,还是排得更好一点
候选太少可能漏证据,太多会增加无关内容、重复和阅读负担。用题目检查关键段有没有进来,再考虑数量与顺序。后面的评估会分别看这两件事。
顺便为每段留下编号、标题、日期和状态。编号方便引用,日期和状态帮助选择版本,原始出处让你回去核对。分数可以留下,但不要拿分数代替这些信息。
把 A 至 H 做成八张索引卡,写上能回答的问题。对上面两个模拟列表分别取前一、前二、前三段,标出缺什么。手工列表只是练习;真正测搜索工具时,要保存它实际返回的顺序。
你应该看到的变化
当前上限需要 B,前两段开始有依据,但仍要识别 E 已归档。日期比较需要 A、D,前三段才齐。多取一段有没有帮助,要看新增的是关键资料还是噪声。
继续阅读:Microsoft: Query a vector index
← 上一篇 · 学习计划 · 练习用的虚构图书馆资料 · 下一篇 →