从功能模块、组件到架构，大数据平台建设如何更好的适配业务？保姆级教程：DSS沙箱环境使用指南征文投稿 | Linkis1.1.1适配Hadoop3.1.1以及部署其他服务征文投稿 | 基于CDH6.3.2独立部署Linkis1.0.3+DSS1.0.1征文投稿 | Apache Linkis 快速集成网页IDE工具 Scriptis

56 阅读 0 评论 37 点赞

我是靠谱客的博主唠叨吐司，最近开发中收集的这篇文章主要介绍从功能模块、组件到架构，大数据平台建设如何更好的适配业务？保姆级教程：DSS沙箱环境使用指南征文投稿 | Linkis1.1.1适配Hadoop3.1.1以及部署其他服务征文投稿 | 基于CDH6.3.2独立部署Linkis1.0.3+DSS1.0.1征文投稿 | Apache Linkis 快速集成网页IDE工具 Scriptis，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

大家在技术框架选用，场景适配方面，现在越来越多的在 GitHub 来查找相关的开源项目，从文档到项目的源码应有尽有。基于开源软件的商业模式也在席卷全球，国内外陆续涌现出不少成功的创业案例，很多头部的大厂近年来也在加大对开源领域的投入，比如微软入主 GitHub，IBM 斥巨资收购 Red Hat，国内的 BAT、华为先后成立开源管理办公室并提出开源战略等。诚然，开源已经成为了科技发展的趋势。

但是，我们在做技术选型时，考虑的不仅是解决当下问题，产品/项目的可持续性也是同样重要。如今，软件开发领域，几乎每天都有新的技术框架更新，诞生，淘汰，消亡…… ，这也就导致了大家在面对开源项目众多优势的情况下，依然难以下定决心选用。

WeDataSphere 项目团队通过 3 年多来和数千位大数据从业者的沟通，和一些自身选型经验中，发现以下 3 点是相对最有代表性的：

从业务需求出发

大数据平台或功能组件的选用方面，大家更务实，印证了这句"一切不以服务业务需求的架构变更都是耍流氓"。摸清现状，贴合公司规模和战略规划进行架构的未来谋划，但是也不要规划的过于超前，业务演变和技术变革都是不可预测的。

摸清现状-数据平台能力层面

不盲目追新，成熟稳定是优选

喜爱新鲜事物是人性，而普遍具有极客精神的工程师，精力允许的情况下更是非常热衷于钻研、使用新技术；并且大家在评定一个技术是否过时这一点也有很多的争论，“相对过时”成了个合适的形容。现在技术变化太快了，可是技术的积累不是一蹴而就的，一个项目拥有大量的用户实践，无疑应该被列入重要评估指标当中。

特别是针对开源项目，其社区是否活跃、发展是否健康、包容性是否足够强，也是选型过程中非常重要的一个方面。而且开源项目由于其天然的开放、透明等特点，大家完全可以根据自身能力现状和资源状况选择合适的参与身份，同时充分利用开源项目的优势，做到灵活匹配。

先试后用，让判断更可靠

在选择适合产品的玄学道路上，遍布各种广告营销，都要用精力、金钱来承担沉重的试错成本。类似于美妆日用中的“试用”概念，在软件行业中也颇为常见，在选用一个技术前，所见即所得的试用体验，能够帮助大家判断是否合适，大大的降低启用成本。

那么，我们回到主题，聚焦到具体的功能模块、组件到架构，WeDataSphere 大数据平台在众多开源、大数据社区用户的支持，贡献和拥护下，过去的3年面向社区发布的 9 个组件，开源社区成员人数近 7,000 ，沙箱用户超 2200+，自建试用企业超 800 家。社区收获了项目的大量用户案例，也为用户带来了众多选型参考。