我是靠谱客的博主 深情衬衫,这篇文章主要介绍技术选型的主要考虑因素有哪些,现在分享给大家,希望可以做个参考。

数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算。

1、数据库选型:

参考:数据库选型。

image.png

2、数仓项目

数据采集传输:Flume(文件)、kafka(文件,数据量过大做消峰)、Sqoop(mysql),Logstash(小公司)、DataX
数据存储:Mysql,HDFS(hive)、Hbase、Redis、MongoDB(爬虫)、Redis
数据计算:Hive、Tez(基于内存)、Spark、Flink、Storm
数据查询:Presto(即席、Apache)、Druid(德鲁伊)、Impala(CDH)、Kylin(多维查询)
数据可视化:Echarts、Superset、QuickBI、DataV
任务调度:Azkaban、Oozie
集群监控:Zabbix
元数据管理:Atlas

 

 

 

最后

以上就是深情衬衫最近收集整理的关于技术选型的主要考虑因素有哪些的全部内容,更多相关技术选型内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(126)

评论列表共有 0 条评论

立即
投稿
返回
顶部