大数据技术发展过剩通用化和个性化需求是最大挑战

92 阅读 0 评论 61 点赞

我是靠谱客的博主自觉八宝粥，最近开发中收集的这篇文章主要介绍大数据技术发展过剩通用化和个性化需求是最大挑战，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

大数据日益成为国家基础性战略资源，推动大数据发展，已成为从政府到民间、从行业组织到企业机构的社会共识。如何用好大数据，让大数据带来可量化的价值？是传统企业转型能否成功的重中考量因素。

9月11日至12日，T11 2017暨TalkingData智能数据峰会在北京举办，来自全球近5000位专家、学者、数据科学家、分析师和企业管理者等汇聚T11，探讨大数据与行业结合的技术趋势、场景应用、前沿案例。

奇点大学执行总裁Kian Gohar在主题为“指数级创新”的主题演讲中指出，书信息ji指数级增长时代已经来临：计算能力、人工智能、传感器、机器人、交互模式、大众化应用的聚合技术，为世界带来指数级飞跃，并改变每个行业。

TalkingData 首席执行官崔晓波在峰会中强调了——数据改变企业决策、数据改善人类生活。TalkingData今年将侧重赋能合作伙伴，同时注重AI等技术创新和实践，致力于用数据驱动商业。

活动第一天下午，CSDN记者就大数据技术趋势、场景应用等问题，与TalkingData的三位技术专家：CTO肖文峰、产品VP 闫辉、首席架构师黄洋成进行了沟通。

大数据技术平台逊于数据源发展

大数据有很多种分类方式，一类是关于大数据技术的平台，另一类是关于数据源部分。平台方面，一般是有开源软件，做成型的类似于CDH版本的平台，还有在上面做一些相关的各种数据库，各种中间的管理平台这样的技术路线的公司。闫辉说：“技术平台这块发展性并不是特别大。”

另外一块域是关于数据的数据源部分，数据源以前大家会认为拥有数据量的，像TalkingData在线的互联网平台，聚集了一大堆的数据量。还有像电信这样的数据源，闫辉认为，这块的发展在这5年之内将非常快，数据最终变成了一种以服务的方式提供出去。

大数据技术发展过剩

TalkingData从去年开始跟进整个大数据的技术生态，2016年从底层开始往上整理，包括：数据工程、数据采集、加工处理、分析到形成决策。它们发现，大数据技术不是遇到瓶颈，而是某种程度有一点过剩，在任何一个细小的领域都能找到好几家包括商业的公司，包括：提供类似的技术开源公司，优化到存储的公司，有各种各样的公司在做这样的事情。肖文峰认为：“Hadoop公司去年是什么公司，今年依然是什么公司，没有突破性的革命。”各大公司业务更多集中在数据应用领域上，技术本质上并没有什么大的突破。

大数据技术落地主要是体现在两个方面

实时性的提升，包括从各个方面去优化，保证这个洞察，可更快得到对数据的洞察。
数据产品的平民化，包括之前提到的数据可视化的技术，还有别的智能化的技术，包括一些人工智能领域的功能，某种程度上都是为了降低技术使用的门槛，

大数据发展的最终目标是让业务用户直接操作数据。在决策上面，满足需求的前提条件是分析数据得到洞察，客户需要别人告知他未来发生什么，如何去应对。

数据分析仅是TalkingData的业务线

谈到和其他数据分析公司的差异化比较，闫辉表示，数据分析业务线只是其一条子产品线，TalkingData的主营产品是SmartDP（智能数据平台），通过整体的平台加上数据原材料一起在一个业务垂直域做贡献。“我没把技术沉的更深一点，而不是垂到一个简短的分析业务线，我们是以移动分析起家，但是我们不是一直停留在那个层面上。” 闫辉说。

通用化和个性化需求挑战

TalkingData一方面采集数据，另外一方面，把技术和数据应用到客户实际场景帮客户解决问题。TalkingData需要一方面降低客户使用成本，把这大数据服务通用化。另外一方面，需要根据客户自己的数据属性、质量的不同，提供个性化服务。

“这是现在大数据行业所有技术公司和解决按公司面临的普遍问题，目前来讲很难看到一套技术方案解决所有的问题。” 肖文峰说。

如何解读客户数据

TalkingData经常会遇到客户数据质量匹配度不是特别高的问题。TalkingData需要了解客户到底需要什么样精度、质量的数据，不同数据质量，为此付出的成本也不一样。“公司要求其前端的咨询人还有售前人员对数据质量有清晰的了解，把客户的业务问题能够精准翻译成数据问题。”这是肖文峰对他们的要求。

此外，TalkingData的数据部门，需要很量化的够从完整性、及时性、准确性、一致性，评估出数据的质量。有了透明化的评估以后，后面的就能知道这个数据是什么样的质量状况，应该用在什么样的场景，适合用在什么样的场景。通过这两方面努力的结果，最终解决客户的问题。

客户数据孤岛问题如何解决？

TalkingData一直在研究解决数据孤岛问题，针对不同场景都有了一些探索。黄洋成通过两个方面介绍了TalkingData的解决方案：

数据保护方面，像隐私保护有一种叫差分隐私，苹果和谷歌都号称在用。TalkingData在有一些领域也会做尝试，通常来说，保证输出位置数据的同时需要尽量不泄露隐私，差分隐私这种技术就会应用到这上面。

数据质量方面，如果你脱离了需求去谈质量没办法谈，相同的数据需求不一样，你对他的质量评估还是不一样的，数据本身的真假对谁都是跟需求没有关系的。

后记

通过参加T11 2017大会，CSDN深切体会到了国内大数据社区和大数据生态的蓬勃发展。虽然是一个技术厂商主导的大会，但开放、合作、共赢的思想在各个演讲话题中传递。在这里，大数据并不是高高在上的技术理念，而是和企业切身业务相结合的服务产品，希望活动能促进更多的传统企业通过大数据技术完成信息化转型，CSDN将继续关注大数据技术领域的发展。