1.python实现循环执行目标目录下脚本文件
一段简单的关于：循环遍历目标目录下py文件执行代码如下：importostry:defrun_case(file_dir):forroot, dirs, filesinos.walk(file_dir):fori infiles:ifi.endswith('.py'):cmd ='python '+root+'/'+i
明理灯泡
MapReduce-做jion操作时出现数据倾斜时的处理方案
MR框架的话，我们可以利用DistributedCache（Hadoop内置的分布式缓存机制）来实现。DistributedCache是一个提供给Map/Reduce框架的工具，用来缓存指定的文件。当我们使用了这个机制后，MR框架底层会将指定的文件拷贝到slave节点上的缓存中。使用DistributedCache机制，尤其在做join操作时，可以大大的提高作业的运行效率，并...
他的专栏
他的归档
热门文章
7
