爱笑狗

文章
7
资源
0
加入时间
3年12月3天

大数据平台目前存在的问题

  大数据本质上是多个信息系统产生的数据汇聚、融合。他表示,当前我国大数据发展已进入到以数据深度挖掘、融合应用为特征的智能化阶段,大数据的价值和意义正在凸显。  大数据平台目前存在的问题  目前绝大多数大数据平台都是基于Hadoop生态,使用Yarn作为核心组件来进行资源管理和调度。但这样的平台普遍存在如下问题:  (1)资源弹性不足,无法按需自动扩容。大数据系统资源的高峰往往具有明显的周期性。例如实时计算资源消耗主要在白天。离线分析中,日报型的计算任务资源的高峰一般在22...