苹果外套

文章
5
资源
0
加入时间
2年10月21天

Python: C扩展初体验

前言使用 Python 毋庸置疑减少了很多规则约束和开发成本,让我们能够更加专注于逻辑而非语法。但是得此失彼,开发效率提高了,却带来了运行性能的问题,所以就常常被其他门派追着暴打。身为一个 pythoner,我们也很忧伤呀,怪我们咯..万幸的是,虽然上帝关掉了我们一扇门,但是却为我们打开了另一扇窗,正因为底层是用 C语言 写的,所以我们可以将一些性能损耗比较大的功能,或者模块,通过 C...

Spark处理Log文件写成Parquet文件的两种方式

我们都知道Parquet的基于列式存储的文件详情参看:https://blog.csdn.net/weixin_39043567/article/details/89874304虽然log文件是有一定的规律,但是不够规整,我们可以规整后写入到parquet文件中,使用时直接spark sql就可以都进来进行相应的操作。那么我们怎么把需要处理的log文件写成parquet文件呢?本文提供两种...