称心灰狼

文章
4
资源
0
加入时间
2年10月21天
3_databaseinit

3_databaseinit

数据采集用flume关于某个目录， 将数据直接通过管道放到HDFS文件中， 数据库到HDFS用sqoop， 此外还可以通过kafka接入数据到HDFS中， kafka安全性和性能好， 一般是别人的线上日志或者啥业务数据接入到flume到自己的文件目录， 然后再接入kafka慢慢的将数据写入到HDFS。前面介绍的是文件存储和表的创建， MapReduce可以实现的是对分布式表进行处理， 对于10G以上的带下的文件， 很难一次直接加载到内存中， 就必须要使用这些了。关于大数据基础知识的相关学
book 2023-12-13
python学习笔记四（字典&集合）字典集合 set

python学习笔记四（字典&集合）字典集合 set

本篇文章主要记录python中量大容器字典和集合，不要说什么列表、元组这俩是序列，虽然都是用来存储数据的但是其本质是不同。但是在python中序列和容器的使用感受差别实在是太小了，主要是看存储的数据的特征选取合适的数据类型就可以了字典定义表现形式：{'key1':value1,'key2':value2}字典是一种可变的容器，字典中的数据采用key-value对进行映射存储(和m...
学习笔记 2023-10-28
10 种常见的BUG分类

10 种常见的BUG分类

看完今天的分享对你是不是有所启发呢，有任何想法都欢迎大家后台私信阿常，一起探讨交流。『阿常你好，常见的 BUG 类型有哪几种呀？以上原内容来自网络检索，阿常整理，侵删。
阿常测试100问 2023-06-09

他的专栏

Windows 7（0）
硬盘存储（0）
JavaScript（0）
显卡（0）
Photoshop教程（1）
阿常测试100问（1）
学习笔记（1）
book（1）

他的归档

2023年12月（1）
2023年10月（1）
2023年06月（1）
2022年04月（1）

热门文章

1
photoshop设计实例解析 漂亮醒目的杂志设计分析
2
10 种常见的BUG分类
3
python学习笔记四（字典&集合）字典集合 set
4
3_databaseinit