鲜艳水杯

文章
5
资源
0
加入时间
2年10月24天

如何解决Sparksession/HiveContext访问不到Hive表中新插入的记录, 或者元数据不一致的问题

问题描述在做某个POC项目的测试时候,先pyspark2界面count表A一共有3条,在另一个界面用beeline往这种表插入一条数据,然后继续在beeline中count,此时显示总数为4,插入正常。但是回到pyspark2的界面执行sql语句时候,发现还是3条。原因首先看下以下几个知识点:Hive Metastore当使用enableHiveSupport创建SparkSession...