hive数据库去重数据步骤

1.编写去重sql

SELECT
	*
FROM
	(
		SELECT
			*, row_number () over (PARTITION BY id ORDER BY id DESC) AS rk
		FROM
			ap_jyz_jyzqgdwa
	) tmp
WHERE
	tmp.rk < 2

2.创建新表并将去重之后的数据导入新表

create table newtable as select * from oldtable;

完整示例：

CREATE TABLE ap_jyz_jyzqgdwa_dup AS SELECT
	*
FROM
	(
		SELECT
			*
		FROM
			(
				SELECT
					*, row_number () over (PARTITION BY id ORDER BY id DESC) AS rk
				FROM
					yk_ap.ap_jyz_jyzqgdwa
			) tmp
		WHERE
			tmp.rk < 2
	) a

3.删除旧表

drop table if exists oldtable;

4.对创建的表进行重命名

ALTER TABLE old_table_name RENAME TO new_table_name;

5.删除字段，下面这个sql的意思是只保留id字段，其他删除

alter table yk_ap.ap_jyz_jyzqgdwa replace columns(id	string)

最后

以上就是玩命短靴最近收集整理的关于hive数据库去重数据步骤的全部内容，更多相关hive数据库去重数据步骤内容请搜索靠谱客的其他文章。