三、 Hive 逻辑算子及其生成(上)

图3.2是只有一条分支的简单DAG图，图中每个节点是一个算子（Operator）。每个算子代表了对数据某种的处理逻辑，算子包含三个主要的方法：

1）initialize:完成算子的初始化。

2）process:完成数据的处理，每次处理表中一条记录的数据。

3）forward:将处理完成的结果输出给子节点处理。

图3.2中，TS是TableScanOperator算子的简写，表示table扫描运算，该算子依次读取表中的每条记录，输出给子节点处理。FIL为FilterOperator的简写，表示过滤运算，对应HiveQL中的where语句。该算子会对输入的记录做过滤运算，将符合where表达式的记录输出给子节点，不符合的过滤掉。SEL是SelectOperator的简写，表示投影运算，对应select语句。该算子对输入的记录，计算select表达的值并输出给子节点，本例中会将输入记录的所有列全部输出。LIMI是LimitOperator算子的简写，表示limit运算，和limit语句对应。该算子控制输出记录的数量，如果数量超过limit值，停止输出。FS是FileOperator的缩写，表示数据输出算子。该算子将输入的记录输出到文件系统，对查询语句而言，记录会输出到临时文件中。

Hive中其他重要的算子还包括JoinOperator(JOIN),GroupByOperator(GBY),ReduceSinkOperator(RS),MapJoinOperator(MapJoin)等。

下面是一个复杂的HiveQL语句：

from student a join score b on a.id=b.id
insert overwrite table d1 selecta.id,count(b.score) group by a.id
insert overwrite table d2 select a.id,b.scoreorder by b.score limit 10

这条语句是多insert语句，包含两条insert语句，生成的算子DAG如下：

                                   图3.3 多Insert语句算子DAG

JOIN算子左边两条分支分别读取表student和score的数据，并进行过滤，按照id分发数据 (ReduceSinkOperator完成),JOIN算子完成join运算，输出给右边两个insert语句的算子分支对数据进一步处理，最后通过FS算子输出到各自的目的数据源。

下表给出了Hive部分算子的功能介绍。