StarRocks+Seatunnel+Hive

1 StarRocks 部署

参考 https://docs.starrocks.com/zh-cn/main/quick_start/Deploy

CREATE TABLE IF NOT EXISTS example_db.ads_product_sale_d (
    platform_id   INT           NOT NULL COMMENT "",
    cat_id     VARCHAR(500)   NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(platform_id, cat_id)
DISTRIBUTED BY HASH(platform_id) BUCKETS 8
PROPERTIES("replication_num" = "1");

2 Seatunnel 部署

SPARK_HOME="/opt/cloudera/parcels/CDH/lib/spark"

3 Hive数据导入StarRocks

cat ads_product_sale_d.sh

sh /data/apache-seatunnel-incubating-2.1.2/bin/start-seatunnel-spark.sh -c ads_product_sale_d.conf  -e client -m yarn

最后

以上就是机智萝莉为你收集整理的StarRocks+Seatunnel+Hive 实战StarRocks+Seatunnel+Hive的全部内容，希望文章能够帮你解决StarRocks+Seatunnel+Hive 实战StarRocks+Seatunnel+Hive所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。