什么是混合检索?关键词和向量为什么要一起召回

混合检索是什么?它如何把关键词匹配和向量搜索的结果合在一起,各自补上什么缺口,以及合并时为什么不能只看一种分数。

什么是混合检索?关键词和向量为什么要一起召回
编辑部 ·

混合检索(Hybrid Retrieval)是把关键词检索和向量检索一起用来找资料,再把两路结果合并成一份候选列表。它要解决的是:只走一路,总会漏掉另一路才找得到的文档。

关键词检索擅长型号、人名、错误码和法规编号,这些词必须原样出现。向量检索擅长「退款」和「退钱」这种说法不同但意思接近的情况。用户的问题里往往两种需求都有。

合并不是把两份名单接起来

两路打分的尺度不一样,不能直接比大小。常见做法是各自先取出一批候选,再按名次或归一化后的分数融合。也要避免同一篇文档因为两路都命中就被算两次,除非业务上确实想给这种文档加权。

查询改写可以放在检索前面,把省略和指代补清楚。混合检索负责把改写后的问题,同时拿精确词和语义去找。找到之后,仍要靠阅读和核对来判断哪一段真正回答了问题。

怎样少漏、也少混?

保留原词,不要在检索前把编号和产品名改丢。评测时同时准备同义问法,以及必须原词命中的问法。如果某一类问题总是只在一路里出现,就单独看这一路的召回,而不是只看合并后的总名次。

小结

混合检索让「词要对上」和「意思要接近」同时参与召回。它比只押一种更稳,但合并规则和评测样本要分开看。