概述
2019独角兽企业重金招聘Python工程师标准>>>
推荐大家抽空读一下这位大神的演讲内容,
http://www.cbdio.com/BigData/2016-01/05/content_4435937.htm
简单总结一下个人理解到的东西:
1, 数据仓库市场和Hadoop市场基本上是同一个市场。也就是说hadoop、大数据,是市场营销出来的名词,本质上还是做数据分析。只是数据库的量、速度、多样性(大数据的3个V)更多了,需要更多的解决手段和思路。
2, 传统的Hadoop计算框架已经过时,尤其是Mapreduce已经被很多公司抛弃,Hadoop的未来究竟在哪里呢?它可以用作底部的文件系统。但由于HDFS存在非常糟糕的性能问题,因此先要将这些问题解决掉才行。未来SQL将位于顶层,类似于Impala的系统,数据仓库形式的数据库系统都要运行在HDFS之上,所以Hadoop市场内的数据仓库市场将会完全融合。
3, 数据管理和数据分析工作,是未来数据科学家所要做的主要工作,其大部分的算法都是采用数组形式的线性代数,而不是表格形式的SQL。所以, 他非常推崇使用数组来解决此类问题。
而PostgreSQL本身就提供了数组这种数据模型。
4, NoSQL的产品其实没有放弃sql,像MongoDB也有自己的接近sql的数据定义和数据操作语言,只是另外一种展现形式而已;
而 SQL阵营也开始在他们的引擎中加入NoSQL,例如PostgreSQL对JSON的支持。
另外,ACID仍旧是一些商业应用最终要达到的目的。 所以未来的发展方向是SQL和NoSQL系统之后会合并在一起,不使用SQL的引擎不再叫做NoSQL,它们都是SQL的一种实现。我们可以叫这些为NewSQL。
对于我们实际工作的指导意义:
1, 使用PostgreSQL同时满足SQL和NOSQL的工作,尽量替代或者说尽量整合类MongoDB的应用。
2, 使用PostgreSQL的集群架构(GP)、数组功能,来推广满足一些大数据分析类型的应用。
转载于:https://my.oschina.net/rocky0202/blog/615215
最后
以上就是调皮西牛为你收集整理的学术研讨会---Micheal Stonebraker的主题演讲【读后感】的全部内容,希望文章能够帮你解决学术研讨会---Micheal Stonebraker的主题演讲【读后感】所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复