使用spark查询hudi表

查询数据

1. 初始化环境

   source /opt/client/bigdata_env

   source /opt/client/Hudi/component_env

2. 启动客户端

   spark-shell --master yarn --driver-memory 20g --driver-cores 4 --executor-memory 12g --executor-cores 4 --num-executors 50 --conf spark.executor.memoryOverhead=4096

3. 导入包

   import org.apache.hudi.QuickstartUtils._import scala.collection.JavaConversions._import org.apache.spark.sql.SaveMode._import org.apache.hudi.DataSourceReadOptions._import org.apache.hudi.DataSourceWriteOptions._import org.apache.hudi.config.HoodieWriteConfig._

4. 查询

   val org_reader = spark.read.format("org.apache.hudi").load("hdfs://hacluster/hudi/default/o_org")org_reader.registerTempTable("hudi_o_org")

   spark.sql("select count(*) from hudi_o_org").show()

   spark.sql("desc hudi_o_org").show(200,false)

最后

以上就是勤恳母鸡为你收集整理的使用spark查询hudi表的全部内容，希望文章能够帮你解决使用spark查询hudi表所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。