如何解决Sparksession/HiveContext访问不到Hive表中新插入的记录, 或者元数据不一致的问题

问题描述

在做某个POC项目的测试时候，先pyspark2界面count表A一共有3条，在另一个界面用beeline往这种表插入一条数据，然后继续在beeline中count，此时显示总数为4，插入正常。但是回到pyspark2的界面执行sql语句时候，发现还是3条。

原因

首先看下以下几个知识点：
Hive Metastore
当使用enableHiveSupport创建SparkSession时，外部目录（也称为Metastore）是HiveExternalCatalog。 HiveExternalCatalog使用spark.sql.warehouse.dir目录来获取数据库的位置，并使用javax.jdo.option属性来连接到Hive Metastore数据库。

使用外部Hive Metastore的好处：

• 允许多个Spark应用程序（会话）同时访问它
• 允许单个Spark应用程序使用表统计信息，而无需在每次执行时运行“ANALYZE TABLE”

CatalogStatistics 
CatalogStatistics是存储在外部目录（也称为Metastore）中的表统计信息：

• 物理总大小（以字节为单位）
• 估计行数（又名行数）
• 列统计信息（即列名称及其统计信息）

CatalogStatistics通常存储在Hive Metastore中，称为Hive统计信息，而Statistics是Spark统计信息。

简单来说就是，Spark SQL会缓存Hive Metastore数据。如果更新发生在Spark SQL之外(Hive或者其他外部工具)，那么我们可能会遇到一些意外结果，因为Spark SQL的Hive Metastore版本不是最新的。就比如我遇到的问题，表的count信息没有被正确的获得。

解决方法

我们需要手动刷新这些表或者视图以确保元数据一致。

例子如下：

// spark is an existing SparkSession
spark.catalog.refreshTable("my_table")

对于临时或持久的VIEW表，refreshTable请求分析的DataFrame逻辑计划（对于表）刷新自身。
对于其他类型的表，refreshTable请求SessionCatalog刷新表元数据（即使表无效）。
如果表已被缓存，则refreshTable请求CacheManager取消缓存并再次缓存表DataFrame。

参考资料

unable to view data of hive tables after update in spark
Metadata Refreshing
CatalogStatistics — Table Statistics From External Catalog (Metastore)
Hive Metastore
Hive Tables

最后

以上就是鲜艳水杯为你收集整理的如何解决Sparksession/HiveContext访问不到Hive表中新插入的记录, 或者元数据不一致的问题的全部内容，希望文章能够帮你解决如何解决Sparksession/HiveContext访问不到Hive表中新插入的记录, 或者元数据不一致的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。