信息检索查询方法在信息爆炸的时代至关重要。Query改写是一种关键技术,通过同义词替换、相关概念扩展等操作,优化用户查询,提升检索系统的效率和准确性。内部改写利用大型语言模型(LLM)的内部知识库,丰富查询内容。外部改写结合用户查询和特定领域的候选答案,获取相关信息,优化查询结果。

PaSa是字节跳动开源的学术论文检索智能体,基于强化学习和大语言模型,通过Crawler和Selector核心组件实现高效文献检索。在Recall@20和Recall@50指标上,PaSa比Google Scholar分别提升了37.78%和39.90%。PaSa能自动调用搜索引擎、阅读论文并追踪引文网络,提供精准的学术文献检索。
检索增强生成(RAG)系统将检索机制与生成式语言模型相结合,提高输出准确性,解决大型语言模型的关键局限性。RAG的基本架构集成检索和生成,处理知识密集型任务。查询优化技术如扩展、分解、消歧和抽象,显著提升RAG系统的检索和生成效率。
未来信息检索系统将是智能体与搜索引擎协作,大语言模型需学习使用搜索引擎,提升信息检索的准确性和可解释性。可解释概率检索模型将相关性匹配分解为属性匹配,为信息检索提供新思路。