hive在left join时丢数据

98 阅读 0 评论 65 点赞

我是靠谱客的博主机智大门，最近开发中收集的这篇文章主要介绍hive在left join时丢数据，觉得挺不错的，现在分享给大家，希望可以做个参考。

最近在用 hive 做ETL时，出现丢失数据的问题，几番查找下，最终把问题定位在 left join 上，问题如下：

select
    *
from a
left join b
  on a.b_id = b.id
left join c
  on b.c_id = c.id;

在过程中，出现部分 c 表数据丢失，然而通过 a 表在源表查找时，确认当前条件下，是可以关联到 c 表有数据的。最终找到两种解决办法：

1）在不影响业务的情况下，用 join 代替 left join；

2）用临时表，以串行方式，一张一张关联起来，如：将 a left join b加载到一张临时表 t ，再用 t left join c。

以上就是机智大门为你收集整理的hive在left join时丢数据的全部内容，希望文章能够帮你解决hive在left join时丢数据所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。