我是靠谱客的博主 故意路人,最近开发中收集的这篇文章主要介绍Hive元数据存储的三种模式,hive有哪些保存元数据的方式,各有什么特点。,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

1)、内嵌模式:将元数据保存在本地内嵌的derby数据库中,内嵌的derby数据库每次只能访问一个数据文件,也就意味着它不支持多会话连接。

 

2). 本地模式:将元数据保存在本地独立的数据库中(一般是mysql),这可以支持多会话连接。

 

3). 远程模式:把元数据保存在远程独立的mysql数据库中,避免每个客户端都去安装mysql数据库。

 

Hive Metastore有三种配置方式,分别是:

  1. Embedded Metastore Database (Derby) 内嵌模式
  2. Local Metastore Server 本地元存储
  3. Remote Metastore Server 远程元存储

Metadata、Metastore作用

  • metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。
    元数据存储在关系型数据库中。如Derby、MySQL等。
  • Metastore的作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。

三种配置方式区别

  • 内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起Metastore服务。这个是默认的,配置简单,但是一次只能一个客户端连接,适用于用来实验,不适用于生产环境。
  • 本地元存储和远程元存储都采用外部数据库来存储元数据,目前支持的数据库有:MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。
  • 本地元存储和远程元存储的区别是:本地元存储不需要单独起metastore服务,用的是跟hive在同一个进程里的metastore服务。远程元存储需要单独起metastore服务,然后每个客户端都在配置文件里配置连接到该metastore服务。远程元存储的metastore服务和hive运行在不同的进程

 

 

hive有哪些保存元数据的方式,各有什么特点。

1.内存数据库derby,安装小,但是数据存在内存,不稳定

2.mysql数据库,数据存储模式可以自己设置,持久化好,查看方便。

最后

以上就是故意路人为你收集整理的Hive元数据存储的三种模式,hive有哪些保存元数据的方式,各有什么特点。的全部内容,希望文章能够帮你解决Hive元数据存储的三种模式,hive有哪些保存元数据的方式,各有什么特点。所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(47)

评论列表共有 0 条评论

立即
投稿
返回
顶部