在 Rust 中在客户端重新排序搜索结果

主要观点:

  • Mwmbl在多方面表现良好,已索引超 5 亿页面,有 4000 多注册用户和 30000 多次用户整理,但关心的 NDCG 分数仍较低。
  • 尝试过学习排序但效果有限,部署新排序后导致服务器负载增加,搜索变慢,最终改回旧启发式排序并重新开启爬取。
  • 认为客户端排序可使排序几乎无限扩展,已开始在 Rust 中重建启发式排序,Rust 编译为 Web Assembly 用于新前端,客户端只需加载一次。
  • 后端可能仍需在服务器端进行部分排序,客户端排序可缓存结果并可能存于云存储。

关键信息:

  • 索引页面数、注册用户数、整理次数等数据。
  • NDCG 分数现状及不同情况下的得分。
  • 学习排序的尝试及效果。
  • 服务器负载增加导致搜索变慢及采取的措施。
  • 决定采用客户端排序及在 Rust 中重建排序的过程。

重要细节:

  • 提及 Bing 作为“黄金标准”。
  • 介绍学习排序的相关概念及使用的标准特征。
  • 说明服务器的功能及单一服务器带来的问题。
  • 提及对项目监控的不足及后续改进计划。
  • 阐述客户端排序的可行性及优势。
阅读 8
0 条评论