OushuDB 体系架构概览

[kied]

图 1 给出了一个典型的 OushuDB 集群的主要组件。计算部分和存储部分完全分离，可以独立扩容。在图中有多个 OushuDB Master 节点。元数据管理服务和资源管理服务位于 OushuDB Master 内部。其他节点为 Slave 节点。每个 Slave 节点上安装有一个 OushuDB Segment 。Segment 实现 OushuDB 的计算。OushuDB Segment 在执行查询的时候会启动多个 QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。在这个架构下，节点可以动态的加入集群，并且不需要数据重新分布。当一个节点加入集群时，他会向 OushuDB Master 节点发送心跳，然后就可以接收未来查询了。

在 OushuDB master 节点内部有如下几个重要组件：查询解析器（ Parser/Analyzer ），优化器，资源管理器，容错服务，查询派遣器，元数据服务。在查询执行时，针对一个查询，弹性执行引擎会启动多个虚拟 Segment 同时执行查询，节点间数据交换通过 Interconnect （高速互联网络）进行。如果一个查询启动了 1000 个虚拟 Segment ，意思是这个查询被均匀的分成了 1000 份任务，这些任务会并行执行。所以说虚拟 Segment 数其实表明了查询的并行度。查询的并行度是由弹性执行引擎根据查询大小以及当前资源使用情况动态确定的。下面我逐个来解释这些组件的作用以及它们之间的关系：
● 查询解析器：负责解析查询，并检查语法及语义。最终生成查询树传递给优化器。
● 优化器：负责接受查询树，生成查询计划。针对一个查询，可能有数亿个可能的等价的查询计划，但执行性能差别很大。优化器的作用是找出优化的查询计划。
● 资源管理器：资源管理器负责整个集群的资源管理。资源管理器需要在并发的查询之间分配资源，并保证查询不使用超过分配给该查询的资源，否则查询之间会相互影响，可能导致系统整体不可用。
● 元数据缓存：用于 OushuDB 确定哪些 Segment 扫描表的哪些部分。OushuDB 需要把计算派遣到数据所在的地方，所以我们需要匹配计算和数据的局部性。这些需要底层存储数据（比如 HDFS 块，Magma Range 等）的位置信息。位置信息一般在底层存储中，每个查询都访问底层存储中的元数据，会形成瓶颈。所以我们在 OushuDB Master 节点上建立了元数据缓存。
● 容错服务：负责检测哪些节点可用，哪些节点不可用。不可用的机器会被排除出资源池。
● 查询派遣器：优化器优化完查询以后，查询派遣器派遣计划到各个节点上执行，并协调查询执行的整个过程。查询派遣器是整个并行系统的粘合剂。
● 元数据服务：负责存储 OushuDB 的各种元数据，包括数据库和表信息，以及访问权限信息等。另外，元数据服务也是实现分布式事务的关键。
● 高速互联网络：负责在节点之间传输数据。使用软件实现，基于 UDP 协议。UDP 协议无需建立连接，从而可以避免 TCP 高并发连接数的限制。

[sleeepyy]

大哥你发文章也走点心啊😂😂 图呢 源链接呢

[muzuiget]

不知所云。