缓慢香菇

文章
10
资源
0
加入时间
3年0月20天

ETL工具Kettle研究-3-MySQL数据导入HIVE前言1.数据库配置2.远程Kettle连接配置

前言.从数据库(mysql)中读取数据写入HDFS并建hive表。在该转换中,需要配置2个DB链接(Mysql和HiveServer2),配置Hadoop集群(HDFS),配置子服务器(远程执行服务器)。本实践的元数据文件:mysql-to-hive.ktr1.数据库配置主对象树->DB连接->新建->一般->Mysql->设置(填写数据库信息)注意...

【Pytorch】矩阵操作api介绍

torch.mul() 和 torch.mm() 区别torch.mul(a, b)是矩阵a和b对应位相乘,a和b的维度必须相等,比如a的维度是(1, 2),b的维度是(1, 2),返回的仍是(1, 2)的矩阵。 torch.mm(a, b)是矩阵a和b矩阵相乘,比如a的维度是(1, 2),b的维度是(2, 3),返回的就是(1, 3)的矩阵...

pandas实现对dataframe抽样随机抽样分层抽样

随机抽样import pandas as pd#对dataframe随机抽取2000个样本pd.sample(df, n=2000)分层抽样利用sklean中的函数灵活进行抽样from sklearn.model_selection import train_test_split#y是在X中的某一个属性列X_train, X_test, y_train, y_test = tra...