概述
蓝色为自己补充部分
一,大数据的思维变革
思维变革非常重要, 谈及大数据,必定要做到思维模式的刷新。
1.更多~不是随机样本,而是全部数据, 要分析与某事物相关的所有数据,而不是依靠少量采样。
受限于技术现成本或者使分析更简便, “抽样”是我们经常采取的手段。 但是采样分析的成功依赖于采样的绝对随机性,但是现实中采样很难做到随机性。一旦采样过程中存在任何偏见,分析结果就相距甚远。
而且采样分析需要严格的安排和执行,去验证事先设计好的结果。并不能帮忙发现新的问题。
当前的数据采样、存储成本(传感器,交互,log日志无时无刻不在产生数据),以及计算能力(Hadoop,Hbase)大幅提高,在可行的基础上,最好的做法就是使用“所有数据”。
2.更杂~不是精确,而是混杂性, 我们要乐于接受数据的纷繁复杂。
如果测量一个葡萄园的温度, 1个精确的温度计 vs 100个分布在各区的温度计, 即使100个温度计中掺杂了混乱,其可靠性和精度依旧要远远优先。
这要求我们做出三个方面的变革:
1.使用非结构化的数据存储。 因为非常多混乱的数据是独立于精心设计的DB模型。
2.容忍数据的“不精准性”“混杂性”
3.大数据的简单算法比小数据的复杂算法更有效。
从技术上来讲, 5%的数据是结构化的,而95%是非结构化数据。 新的计算方法和框架的突破,开启了全量数据分析的时代。 http://drill.apache.org/ 是一个非常有意思的项目,其描述就是“Query any non-relational datastore (well, almost...)” , 在所有非结构化的数据上进行sql查询。。
3.更好~不是因果关系,而是相关关系 。 我们思维转变,不再探求难以琢磨的因果关系,转而关注事物的相关联系。
好了,请把蛋挞放在飓风用品的旁边。
有了更多的大数据,我们可以轻易探寻到事物之间的联系,从而轻松的反推原因。而在早先的“因果模型”中,我们需找到原因才能分析结果,比如要求证数学难题去推导结果。
二,商业变革及价值
1,数据化,从最不可能的地方提取数据
日本人越水中城团队在汽车座椅下部安装了360个传感器以测量人堆椅子施加的压力。 把人体屁股特征转化成了数据。这样就产生独属于每个乘坐人的精确数据资料。
这个系统可以98%精准的识别乘坐人的身份。
数据化:把现象转化成可以制表分析的量化形式的过程。量化一切就是数据化的核心!
2,数据的再利用性,创新
旧数据维度挖掘、交叉授权使用 等等
3,数据应用的定位: 数据公司、技术公司、思维公司
三,信息安全风险及掌控
略过
最后
以上就是小巧战斗机为你收集整理的《大数据时代》- 读后导图的全部内容,希望文章能够帮你解决《大数据时代》- 读后导图所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复