部署到gcp_不管内部部署，还是云，大数据开源软件有这些不足

罗马不是一天建成的，数据中心也不是一天建成的。选址、挑电力和冷却设备安装、安装服务器，需要几个月的时间，而且还很贵。当一个组织决定升级时，时间和金钱成本还会增加。因此，对于那些不想为建设数据中心而苦恼的公司来说，内部部署不是一个好选择。云也有麻烦，因为对于许多组织来说，迁移是一个棘手、乏味的过程。说到开源软件解决方案，内部平台和云平台都有各自的挑战。Google Cloud分享了在大数据应用方面，内部部署和云都有哪些挑战。          

内部部署和云都面临着挑战    

供应商锁定          

公司可能会发现自己被某个云服务提供商锁住了。供应商锁定可能成为云计算中的一个问题，因为一旦数据库建立起来就很难移动，尤其是在云迁移中，这涉及到将数据移动到完全不同类型的环境中，并且可能需要重新格式化数据。供应商锁定是指切换到另一个供应商的成本非常高，以至于客户选择坚持原来的供应商。

配置和约束管理              

尽管应用程序开发人员可以通过利用底层物理环境来利用内部部署存储，但他们仍然面临一些挑战。由于大多数开源软件依赖于标准化，所以对硬件配置进行更改可能会造成破坏。             

约束管理则是要找出正确的方法来优化数据中心的能源和占地面积等资源，以实现最大的利用率优化。             

托管数据中心              

数据迁移到网络上既昂贵又耗时。为了避免重新定位数据和应用程序的成本和工作量，用户有时甚至手动迁移硬件。例如，亚马逊的Snowmobile是一个45英尺长的加固运输集装箱，由一辆半拖车卡车牵引，它提供EB级的数据传输服务，每辆车的传输量高达100PB。             

在内部部署平台挣扎的地方，云技术蓬勃发展。云计算允许数据开发人员根据其处理需求选择定制环境，从而实现按需扩展，使他们能够更多地关注其数据应用程序，而不需要过多关注底层基础设施。             

随着工作负载随着时间的推移而变化，需要管理服务级别目标(slo)或服务提供商承诺的性能。数据峰值应该在不破坏数据管道的情况下独立处理。谷歌表示，尽管云技术消除了数据中心物流规划的必要性，但集群配置的复杂任务仍然是一个挑战。对于云用户来说，优化处理环境以了解工作负载特性仍然是一个挑战。             

无服务器的未来              

尽管谷歌和其他顶级云提供商多年来进行了创新，但挑战依然存在。谷歌也知道这一点。Google Cloud的Big Query和Dataproc旨在增强OSS平台的能力，同时也为无服务器的未来提供了一个入口。“无服务器对谷歌来说并不新鲜。我们多年来一直在开发我们的无服务器功能，甚至推出了第一个无服务器数据仓库BigQuery。”Google云的产品经理Susheel Kaushik说。             

例如，GCP的Dataproc能够补充像Apache和Presto这样的OSS平台。像Facebook这样需要处理PB级数据的公司在处理数据上依赖于Presto。在决定迁移到Google Cloud之前，Twitter也一直在用Presto。有了Dataproc平台，用户可以管理、分析和充分利用数据和已经在使用的OSS系统。             

Apache也有一个叫做OpenWhisk的无服务器产品。Apache OpenWhisk是一个开源的分布式无服务器平台，它执行功能以响应任何规模的事件。OpenWhisk使用Docker容器管理基础设施、服务器和扩展，因此你可以专注于构建高效应用程序。随着数据分析的优势越来越明显，我们可以预期无服务器产品的快速增长。

在无服务器的世界中，客户可以专注于他们的工作负载，而不是基础设施。配置是自动的。“该轮到OSS了。”谷歌认为，大数据操作系统的下一阶段(无服务器)将帮助用户加快上市时间，自动优化延迟和成本，并减少应用程序开发周期的投资，从而使他们能够更多地专注于构建而不是维护。

原文链接：

https://adtmag.com/blogs/watersworks/2020/10/docker-update.aspx