Unix shell解决实际问题脚本(2)

处理文件速度比较快的脚本方法:

方法1：function while_read_line_bottom_fd_out

{

>$OUTIFILE

exec 4

exec 1>$OUTFILE

while read LINE

do

echo "$LINE"

done < $INFILE #循环结束处，重定向输入

exec 1

exec 4>&-

}

处理文件速度比较慢的脚本方法:

方法2：function while_read_line_cmdsub2_fd_in

{

>$OUTFILE

exec 3

exec 0

while LINE=$(line)

do

echo "$LINE" >>$OUTFILE

done

exec 0

exec 3>&-

}

使用文件描述符，处理速度可以快10ms.

用以上两种方法处理 1MB大小的文件，方法1用了0.30s,方法2用了8m35.62s.

一些文件处理技术会浪费大量的CPU时间，大多数浪费的时间花费在不必要的变量赋值以及连续打开，关闭同一个文件上，使用管道对循环时也有负面影响，管道使用的文件大小最大不能超过2048个字符。

##########################

(1)ftp:mput:上传，mget下载，nlist:获取目录

(2)为避免在ftp自行化脚本中编写硬密码形式的脚本，通常需要建立密码文件，然后再引用该密码文件当中的用户名，密码等，这个密码文件只有root用户才有权限读写。

############################

分布式数据仓库需要用到一种很重要的技术:远程管理处理数据。

分布式数据仓库3种类型：

(1)业务分布在不同地域，不同生产线,所谓的全局数据库(整个业务范围集成后的数据)，局部数据库(远程站点提供处理数据)

(2)逻辑上看是一个数据仓库，但物理上看，分布在不同的处理器上。

(3)组织管理上各自独立部门无关联的数据仓库。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/24214296/viewspace-1055901/，如需转载，请注明出处，否则将追究法律责任。