搜索前端技术概述

搜索在线系统分为三个部分,从用户发起检索请求后,历经web前端、检索前端和检索后端。本文主要介绍检索前端的技术架构和关注点。

为了尽量排除笔者所在公司具体技术的相关名词,下文对各个检索前端模块进行了抽象,下图是检索前端模块示意图。

图片描述

Web前端除了FE相关工作之外,还包括以下几项功能:

提供内容分发服务,并能够通过速度探测服务选取用户与IDC服务集群之间的映射表;

基于LVS网关,提供负载均衡、流量控制、防攻击等能力;

机房级别的流量调度,提供在机房故障情况下,能够快速将流量切走。

在检索前端架构中,主模块可以分解为接入、渲染和服务调度模块。

接入模块常用apache、nginx等作为反向代理服务,当前随着nginx高性能高并发特点,采用nginx作为接入模块成为主流。接入模块中嵌入的第三方模块,可以提供负载均衡(query签名+热词打散)、恶意流量打压及降级等功能。

渲染模块主要服务请求解析及页面渲染工作,这里涉及前端模板的开发。

服务调度模块首要工作是确定用户请求需要访问的多服务后端,而决策的依据是分词纠错模块,在该阶段,分词纠错模块提供需求激发功能:确定用户请求后端的类型;提供纠错功能,对用户query进行纠错处理。这里的其他服务指的是一些特有的模块,比如获取用户历史展现数据、历史行为数据及用户个性化数据等。

服务调度模块在完成需求激发后,请求后端服务,诸如自然结果、广告、特型结果服务后端等。

渲染模块和服务调度模块中都存在策略框架,对后端召回的结果进行策略微调、merge等操作,这里由策略RD负责。

其他后端服务包括广告,互联网变现的最大来源。此外,包括特型结果、垂类等,比如百度的阿拉丁、哥伦布等项目。

检索后端模块将单独做系列技术文章,在此不表。

检索在线系统中存在多种类型的缓存模块,在接入模块、服务调度模块都有缓存,缓存从功能上包括容灾cache、结果cache,从部署上可分为本地cache、远程cache等。缓存除了容灾功能外,主要提供优化请求响应时间的功能。

除以上描述之内容,检索在线系统中还包括诸如转码、摘要处理等服务,再次不表。但要说明的是:转码是wise端的产物,站长是否希望被转码,转码后的效果是否更利于用户体验,可以探讨。

作为架构RD,主要工作除了系统、模块架构重构和优化外,需要关注速度、稳定性、性能三个方面的指标。稳定性直接影响线上服务可用性,速度优化提高服务平均响应时间,性能提升能够节省服务器资源,概括来说,目标都是为了提供用户体验。

idea:

检索前端可以创建一条异步通路,异步通路可以通过将用户历史展现数据、点击数据、行为数据进行整合,在用户检索结束后,由异步请求通路携带用户历史数据请求后端服务,从而根据用户历史数据开发策略优化结果,提高用户体验。这里主要利用了移动互联网时代,手机首屏展现小,隐藏区域可以做的事情给我们更多的启发和创意。

再举个例子,比如用户语音搜索北京天气,那么搜索引擎就会返回北京天气,如果用户这时又想看看上海的天气,口语化的习惯是上海呢?如果没有用户历史数据的支持,上海呢的歧义太大,搜索引擎此刻一定是蒙逼状态。

图片描述

阅读 738

推荐阅读
聊聊架构
用户专栏

原创、收集、整理互联网架构技术文章

5 人关注
19 篇文章
专栏主页