结构化文本计算示例（二）

上一节讲述了结构化文本的一些基本运算，本节继续用案例讲述二目运算和综合运算。

二目运算

集合运算（文件比较）

现有文件f1.txt和f2.txt，第一行是列名，需要对文件中的Name字段进行交集运算。部分数据如下：

文件f1.txt:

文件f2.txt:

代码如下：

函数isect用于集合间的交集运算，A1.(Name)表示取出A1的Name列，形成一个集合，B1.(Name)表示取出B1的Name列。本案例的最终结果如下：

类似地，求并集用函数union，差集可用diff，合集可用conj（相当于union all）。也可以直接用运算符来代替函数，写法更加简洁，比如交集，并集、差集、合集可以改写为：

A1.(Name) ^ B1.(Name)

A1.(Name) & B1.(Name)

A1.(Name) B1.(Name)

A1.(Name) | B1.(Name)

上面的示例显示了读入文本文件并自动拆分为字段后，仅取其中的某一列进行集合运算。那如果想不拆分字段，对整行数据一起比较呢？很简单，在导入的选项加上 s 即可，表示不拆分字段。但需要注意的是，不进行拆分后，相当于直接返回一个只有一列的序表，且此时的列名也没有拆分，变成了Name(Tab)Dept,也就是此时的列名中包含了不可见字符 Tab，这列名是非法的，都没法直接引用了。不过还好可以用序号来表示第几列，此时的代码如下：

    显然，不拆分字段时，肯定只有一列，与其得到一个非法的列名，还不如不要列名，直接返回成集合（序列）多好，此时需要额外加上选项 i，表示只有一列数据时，直接返回成序列。此时交集直接就是集合的运算了，写成 A1^B1 即可，代码如下：

    上面两种算法，得到的都是相同的结果：

归并

    现有table1.txt和table2.txt已按逻辑主键ID1、ID2排序。现在要根据主键用table2更新table1，即主键相同其他字段不同时更新table1，主键不同时向table1插入数据。
源数据如下：

    用table2更新table1之后，table1应当如下：

    代码如下：

以游标方式读取table1.txt和table2.txt，按照逻辑主键用B1更新A1。函数mergex可进行数据归并，并保持结果仍有序，@u表示计算并集。最后将计算结果写入新文件。

这个代码使用了游标，不必考虑内存对数据文件的大小的限制，因此可以处理非常大的文件。

如果文件本身无序，那么需要先排序再归并，这时只需要将每个游标附加一个排序表达式即可，A2可以改写为：

[B1.sortx(ID1,ID2),A1.sortx(ID1,ID2)].mergex@u(ID1,ID2)

有序集合运算

    假设文件f1.txt和f2.txt已按Name和Dept排序，需要计算两者的交集。源数据如下：

文件f1.txt:

文件f2.txt:

当文件有序时，可以通过归并算法来实现集合运算，其性能比普通集合运算更高。代码如下：

merge表示对序表进行归并，@i表示交集，@u表示并集，@d表示差集。

计算结果如下：

如果文件本身无序，可先用函数sort排序，但要注意小文件排序归并比普通集合运算更慢，所以本方法适合较大的文件。

关联计算

    emp.txt是用tab分隔的文本文件，其EId字段对应sales.txt中的SellerId字段，现在要将emp.txt的Name、Dept、Gender这三个字段对齐到sales.txt。

    源数据如下：

代码如下：

    函数join执行连接运算，并将两个表改名为s和e，默认内连接，@1表示左连接，@f表示全连接。之后从连接的表中取得需要的字段，组成新的二维表。结果如下：

综合运算

多层关联

    下面的例子中共有5个数据源文件，其中订单是事实表，客户、产品、地区、供应商是维表。我们需要过滤出客户和供应商属于同一个地区的订单，然后根据这些订单按城市分组，汇总各城市的订单数和订单金额。

关系结构如下图：

    代码如下：

    读入文本，建立事实表和维表之间的关联，之后按关联关系查询订单，再进行分组汇总，其中函数switch用于建立外键关联。

异构文件比较

    Data.txt是tab分隔的文本，共有6个字段，其中here字段是分号分隔的字符串。另有文件list是单列数据。现在要比较这两个文件，如果某条记录的here字段拆分后和List.txt中的任意一行匹配，则将这条记录输出到result.txt中。

    源数据如下：

List.txt

Data.txt

    代码如下：

    A3格子的代码中使用函数select进行查询，条件为here字段用array拆分为字符串序列后，再跟A2序列求交(“^”)集，结果不为空(“[]”)。

    结果如下：

多级目录文件抽取

目录“D:files”包含多级子目录，每个目录下都有许多文本格式的文件，从这些文件中读取指定的行（比如第二行），并将这些数据写入新的文件d:result.txt。

代码如下：

参数path的初始值设为“D:files”，表示从该目录开始抽取数据，之后递归调用本脚本（c:readfile.dfx），每次传入给参数path的值不同。

函数directory用来读出参数path中根目录下的文件列表，选项@p表示文件名带全路径，@d表示只取目录名。

~.skip(1)表示跳过一行。

~.fetch@x(1)表示从当前位置读取一行（即第二条）数据后立刻关闭游标。

分组拆分写出

    文件sales.txt存储了大量销售订单，现在将该文件按年和月拆分为多个文件，文件名格式为“年-月.txt”。

代码如下：

按年月分组解析分组，再按组循环，并写入文件。比如文件2009-01.txt，文件内容如下：

源数据超过内存时应用函数cursor读文件，如组内数据仍超内存，应当使用函数groupx分组，但代码结构无变化。

综合运用（库存计算）

文件Stock.txt存储货物的出入库记录，同种货物每天可能出入库多次，也可能连续几天无任何货物出入库，货物初值为0，入库用In表示，出库用Out表示，需要计算出所有货物的每日库存。源数据如下：

代码如下：

代码说明：先用A2汇总出所有货物每日的出入库总数，再按最早、最晚日期算出完整的日期列表，存于B3。然后按货物分组，循环每组数据，并将当前组与B3对齐，在B6中计算出当前货物的每日库存，计算完成后将所有库存结果保存到A8。

计算完成后A8结果如下：

最后

以上就是大力金鱼为你收集整理的结构化文本计算示例（二）的全部内容，希望文章能够帮你解决结构化文本计算示例（二）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。