Question

Elasticsearch搜索过程解析

Answer 1

如果被搜索的文档（不论是单个文档，还是批量文档）能够从主分片或任意一个副本分片中被检索到，则与索引文档过程相同，对已知文档的搜索也会用到路由算法，Elasticsearch 中的路由算法如下所示：
Shard = hash(routing) % number_of_primary_shards

除了对已知文档的搜索外，大部分请求实际上是不知道查询条件会命中哪些文档的。这些被查询条件命中的文档可能位于 Elasticsearch 集群中的任意位置上。因此，搜索请求的执行不得不去查询每个索引中的每一个分片。

在 Elasticsearch 中，搜索过程分为查询阶段（Query Pahse）和获取阶段（Fetch Phase）。
在查询阶段，查询请求会广播到索引中的每一个主分片和备份中，每一个分片都会在本地执行检索，并在本地各建立一个优先级队列（Priority Queue）。该优先级队列是一份根据文档相关度指标进行排序的列表，列表的长度由 from 和 size 两个分页参数决定。
查询阶段可以再细分成3个小的子阶段：
（1）客户端发送一个检索请求给某个节点A，此时节点A会创建一个空的优先级队列，并配置好分页参数from与size。
（2）节点A将搜索请求发送给该索引中的每一个分片，每个分片在本地执行检索，并将结果添加到本地优先级队列中。
（3）每个分片返回本地优先级序列中所记录的ID与sort值，并发送给节点A。节点A将这些值合并到自己的本地优先级队列中，并做出全局的排序。
在获取阶段，主要是基于上一阶段找到所要搜索文档的具体位置，将文档数据内容取回并返回给客户端。

在Elasticsearch中，默认的搜索类型就是上面介绍的Query then Fetch。上述描述运作方式就是Query then Fetch。Query then Fetch有可能会出现打分偏离的情形，幸好，Elasticsearch还提供了一个称为"DFS Query then Fetch"的搜索方式，它和Query then Fetch基本相同，但是它会执行一个查询来计算整体文档的frequency。其处理过程如下所示：
（1）预查询每个分片，询问Term和Document Frequency等信息。
（2）发送查询请求到每个分片。
（3）找到各个分片中所有匹配的文档，并使用全局的Term/Document Frequency信息进行打分。在执行过程中依然需要对结果构建一个优先队列，如排序等。
（4）返回关于结果的元数据到请求节点。需要指出的是，此时实际文档还没有发送到请求节点，发送的只是分数。
（5）请求节点将来自所有分片的分数合并起来，并在请求节点上进行排序，文档被按照查询要求进行选择。最终，实际文档从它们各自所在的独立的分片上被检索出来，结果被返回给读者。

具体到一个分片，ELasticsearch是如何按照词条进行进行搜索的呢？
当词条数量较少时，我们可以顺序遍历词条获取结果，但如果词条有成千上万个时，Elasticsearch为了能快速找到某个词条，它对所有的词条都进行了排序，随后使用二分法查找词条，其查找效率为log(N)。这个过程就像查字典一样，因此排序词条的集合也称为Term Dictionary。
为了提高查询性能，Elasticsearch直接通过内存查找词条，而非从磁盘中读取。但当词条太多时，显然Term Dictionary也会很大，此时全部放在内存有些不现实，于是引入了Term Index。
Term Index就像字典中的索引页，其中的内容如字母A开头的有哪些词条，这些词条分别在哪页。通过Term Index,Elasticsearch也可以快速定位到Term Dictionary的某个OffSet（位置偏移），然后从这个位置再往后顺序查找。
前面提及了单个词条的搜索方法，而在实际应用中，更常见的往往是多个词条拼接程的"联合查询"。