【数据架构】面向初创公司的现代数据堆栈“为工作使用正确的工具！”需要现代数据堆栈从传统 ETL 到现代 ELT 的转变初创公司的采用策略提取和加载数据仓库转换和建模编排可视化和分析

“为工作使用正确的工具！”

这句话一开始听起来很简单，但在实际方面实施起来却非常复杂。
早期的初创公司发现很难选择生态系统中可用的各种工具，因为它们的数据将如何演变是非常不可预测的。

需要现代数据堆栈

在过去 10 年中，软件行业在以下方面有所增长：

• 计算能力：AWS、Google Cloud 等公共云提供商以标准市场成本提供巨大的计算能力。

• 数据源：物联网生态系统、智能设备的兴起导致每天产生的数据量呈指数级增长。2020 年，地球上的每个人每秒产生约 1.7MB 的数据。

• 业务利益相关者的数据素养：在原始软件行业，分析师过去常常手动挖掘 excel 电子表格，以获得有关数据的一些有价值的见解。如今，事实证明，许多 BI 工具在利用数据的力量和提供有价值的见解方面很有用，从而在业务利益相关者中培养了素养。

• 数据项目中的开源采用：在过去的 10 年中，行业已经看到开源社区的巨大增长。许多很酷的数据工具（~Apache Airflow、DBT、Metabase）在开源社区中蓬勃发展和发展。

从传统 ETL 到现代 ELT 的转变

在这个现代时代，大多数企业都在利用数据驱动的解决方案，我们看到了从原始的遗留 ETL 架构向 ELT 架构的一致转变。

由于以下原因，现代 ELT 处理比传统 ETL 更受欢迎：

• 便宜、实惠且高效的云存储和分析服务。

• 传统 ETL 管道没有那么灵活，无法根据指数数据增长轻松适应。

• 与传统 ETL 相比，现代 ELT 速度更快，因为在将数据加载到仓库之前不涉及严格的转换阶段。

• 鉴于不需要用户定义的转换，ELT 工具非常擅长将源数据简单地插入目标系统，而用户的手动工作最少。

• 分析师可以根据需要使用 DBT 等工具对仓库中的数据执行转换，而无需事先考虑洞察力和数据类型。

初创公司的采用策略

正如本博客前面提到的，初创公司很难预测数据的演变，他们将要应对。
因此，早期初创公司在为其数据堆栈选择工具时应考虑以下事项：

• 其他初创公司和客户的高采用率和意识。

• 这适合数据堆栈的 ELT 模型。

• 数据库范式（例如结构化、地理空间、实体关系、搜索引擎），适合存储和查询其领域和市场产生的数据的要求。

• 付费 SaaS 工具的等效开源替代品。

提取和加载

从所有事件源（如 Web、应用程序、后端服务）收集数据，并将它们发送到数据仓库。

• 付费 SaaS 工具：Stitch、Fivetran

• 免费和开源替代品：Singer、Meltano、Airbyte

数据仓库

组织所有数据的结构化、非易失性、单一事实来源，我们可以在其中存储和查询所有数据。

• 付费：AWS Redshift、Google BigQuery、Snowflake

• 免费和开源替代品：Apache Druid

转换和建模

使用文档从原始数据创建模型以更好地使用。

• 付费：Dataform、DBT

• 免费和开源替代品：Talend Open Studio、Apache NiFi

编排

用于执行和编排处理数据流的作业的软件。

• 付费：Prefect.io

• 免费和开源替代品：Apache Airflow、Dagster

可视化和分析

为了更好地了解和解释来自不同数据源的数据。

• 付费：Tableau、Microsoft PowerBI、Grafana

• 免费和开源替代品：Metabase、D3js、DyGraphs

本文	https://jiagoushi.pro/modern-data-stack-startups
讨论：知识星球【首席架构师圈】或者加微信小号【cea_csa_cto】或者加QQ群【792862318】
公众号	【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 我们在等你，赶快扫描关注吧。
微信小号	【cea_csa_cto】 50000人社区，讨论：企业架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps，数字化.
QQ群	【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 加QQ群，有珍贵的报告和干货资料分享。
视频号	【超级架构师】 1分钟快速了解架构相关的基本概念，模型，方法，经验。 每天1分钟，架构心中熟。
知识星球	向大咖提问，近距离接触，或者获得私密资料分享。
喜马拉雅	路上或者车上了解最新黑科技资讯，架构心得。	【智能时刻，架构君和你聊黑科技】
知识星球	认识更多朋友，职场和技术闲聊。	知识星球【职场和技术】
微博	【智能时刻】	智能时刻
哔哩哔哩	【超级架构师】
抖音	【cea_cio】超级架构师
快手	【cea_cio_cto】超级架构师
小红书	【cea_csa_cto】超级架构师

谢谢大家关注，转发，点赞和点在看。