第 19 课:混合检索与重排为什么有用
一边搜索认出了日期,另一边理解了“还开吗”。两边各有收获,能不能把候选放在一起?这就是混合检索想利用的互补。
先把候选找得更全
混合检索通常同时用关键词与向量等方法,再合并结果。关键词保留日期、编号等信号,向量帮助理解换一种说法。是否更好,要用相同问题测试;合并、去重与过滤方式都会影响效果。
别把两边原始分数直接相加当成通用算法。关键词分数与向量相似度不一定是同一种尺度。系统可以用名次融合等明确方法;现在先理解候选怎样汇合,不必背复杂公式。
找到了,再决定谁更靠前
假设列表里已经有 A、H、D,D 在第三位。重排会重新看问题与候选,判断谁更能回答,把有用内容往前放。先较快取一批,再仔细比较,是常见的两阶段做法。
它能改善顺序,却不能找出候选里没有的 D,也不能创造押金金额。仔细比较通常还会增加计算、延迟或成本。这些代价有没有换来更好的结果,仍得测。
拿日期题试着合并一次
人工设定关键词结果是 D、A、B,语义结果是 A、H、D。去重后有 D、A、B、H,必要的 A、D 都在。这只是候选集合的示意,不是在规定最终名次。
接着按“十八日与普通周日比较”的要求排序,把 A、D 放在无关规则前面。两者谁先可以按回答需要安排,不能少掉任何一份。若第一轮压根没找到 D,就先修第一轮。
版本也别交给分数决定。E 与 B 很像,排序高不代表现行有效;历史题还可能必须保留 E。日期、状态与适用范围,要跟候选一起传下来。
自己再做一组“还书日期往后推”的模拟列表。比较混合时固定资料和题目;比较重排时固定第一轮候选。分别记录找没找到 C、它排在哪里,才能看出改动影响了什么。
先判断是哪种失败
候选缺 C,重排没有材料可用;C 在后面,重排可能帮助它靠前;C 已在前面但答案仍用 B,要检查生成。方法的名字不重要,能对上原因才重要。
继续阅读:Microsoft: Hybrid search overview
← 上一篇 · 学习计划 · 练习用的虚构图书馆资料 · 下一篇 →