|
|
|
|
移动端

阿里架构师用3点讲透数据中台,这些都是你没看过的

有软件开始的那一天起,数据这个行业就存在了。比如说原来最早的时候,有非常多的数据报表数据可视化,然后到后来,有了商业智能,有了Data Warehouse(就是数据仓库),然后数据挖掘。

作者:帆软软件来源:今日头条|2019-09-27 15:14

数据实际上是一个非常传统的行业。

有软件开始的那一天起,数据这个行业就存在了。比如说原来最早的时候,有非常多的数据报表数据可视化,然后到后来,有了商业智能,有了Data Warehouse(就是数据仓库),然后数据挖掘。

数据这个行业不仅仅是软件,它还有管理的部分,也就是说数据治理,即如何让企业的数据治理的质量更好。所以数据这个行业本身是一个非常传统的行业。每个大型一点的企业都有自己的数据分析部门,数据仓库部门。

那么为什么数据湖也好,数据平台也好,在过去都没有像今年数据中台这么热门。而且关注数据中台的还不仅仅是技术部门,很多都是业务部门,业务部门以前不是特别关注这些技术的数据平台和这些技术的概念,为什么呢?

阿里架构师用3点讲透数据中台,这些都是你没看过的

彩票驛站:一、平台化的概念

本文来源:http://www.344078.com/www_stdaily_com/

www.86msc.com,这位男青年是一名工程师,年仅24岁,猝死原因应与工程师工作压力大、加班常态化有关。31岁的拉维奇效力中超河北华夏幸福,根据“FootballLeaks”披露的合同文件,拉维奇在中超的工资,远高于梅西或C罗,阿根廷前锋在华夏幸福的周薪是49万3千英镑!而且还是税后!疯狂的钱啊!如果进行换算,拉维奇的年薪大约是2563万欧元,折合3013万欧左右,这个数额要远远高出C罗和梅西。暂停归来,北控队杨静敏命中三分为球队止血。唐赫来自吉林省白山市,出生于2000年,天秤座,身高178公分,五官极具亚洲人特点:单眼皮、长眼睛、圆鼻头、厚嘴唇,鼻梁不高,嘴唇上翘。

巴托梅乌指出苏亚雷斯至少会续约到2022年,也就意味着乌拉圭人将在巴萨还要战斗近6年,届时,苏亚雷斯在合同到期后可能直接退役。而这同样适用于当朋友寻找潜在伴侣时需要你(们)帮忙的情形。  因此朴泰桓方面怀疑这一事件和威胁朴泰桓的金钟前次官和崔顺实之间有关联。该媒体的文章说,其实今年夏天,就有中超球队对他有意,9月初,山东鲁能和光州FC进行友谊赛,当时鲁能俱乐部和寄诚庸的父亲进行了会谈。

小宝策划政变,公主摄政女王韦小宝和双儿慌不择路,一路向北来到鹿鼎山,误入了罗刹国军营,韦小宝害怕潜伏于营外的神龙教,便施展伶牙俐齿将正在这里巡视的罗刹国公主苏菲亚骗倒,随她一同去了罗刹国。曾记否,魏巍在《谁是最可爱的人》中写道,一位朝鲜战场上的战士说,“就拿吃雪来说吧。他曾在娱乐圈演偶像大红大紫,如今和母亲一起摆地摊现实生活中,他可一点也不王子;他最吃得开的地方是菜市场,因为明道从小就陪妈妈在菜市场摆摊卖乾货,不但板桥几个大菜市场都有他混迹的回忆,讲到如何挑选新鲜小鱼乾,他可比婆婆妈妈更有一套。2.极度劳累时桑拿桑拿房中温度过高,人体血管迅速扩张,血液回流心脏增加,心脏负担过大,尤其是疲劳过度时,最为危险。

讲到数据中台,我们就要提到平台化。我们现在所讲的SARS也好,所讲的path也好,所讲的数据中台也好,所讲的业务中台也好,它实际上根本的思想来源是来自于平台化,就是platform。

阿里架构师用3点讲透数据中台,这些都是你没看过的

举个例子,我们拿一个饮料厂的产品线来讲,那么他可以生产果汁,可以生产饮料,还可以生产其他的产品,它可能是三四条不同的生产线。从原材料加工成饮料,它有很多环节,虽然品种不一样,但是它很多环节是类似的,比如装瓶、搅拌。

那么这几个不同的生产流程、生产线,我们可以把那些公共的部分合并起来,更加专业化,然后并且让他们独立去维护,之后把那些不同的产品面向客户,使客户体验不同的产品,使它独立出来,这就是平台化的思路。

阿里架构师用3点讲透数据中台,这些都是你没看过的

中台里面很重要的两个中台,一个是业务中台,一个是数据中台。业务中台是提供可复用的业务,API数据中台是提供数据洞察和智能的。

不管什么中台,它实际上都是平台思想的一个体现,一种具象。

二、数据中台为什么受欢迎

这里举个例子,原来的数据平台也好,数据湖也好,数据仓库也好,它们的出发点很多时候有局限性,应该说更是一个支撑性的技术系统,即一定要去考虑我先有什么数据,然后我能干什么,这是传统的数据平台,数据湖,依赖于现有数据的质量,现有数据的状况来做的这样的一个支撑性的技术平台。

但是数据中台在我们现在所讲的概念里面,它更多的是从业务出发,比如说我们现在所设计的一套精益数据的方法,它就是从业务出发,一开始都不用看你系统里面有什么数据,重点的是去解决你的业务需要什么样的数据服务?

只要这个服务有价值,那我们就去想办法去拿到数据,如果没有能力,我们去建技术能力,去完成数据服务的提供。

所以数据中台最重要区别于传统数据平台,技术类平台的区别在于数据中台的思维是业务思维,他从业务问题出发,这也就是为什么业务部门对数据中台会这么欢迎。

阿里架构师用3点讲透数据中台,这些都是你没看过的

我们的目标是哪怕我的数据只有50%的准确性,那么在我提高数据质量同时,我也希望这50%准确的数据也能为我产生业务价值。

过去那么多年,建设的系统是把业务数据化,现在我们很多的企业在后台系统建设好以后,在做的业务系统实际上是把数据业务化,而且有一点也是我们现在行业里面重点强调的,原来我们讲先有业务,后有数据,先有应用系统,后有数据系统,这个观点从今年开始要发生改变了,在业务系统还没有建立起来的时候,我们就要有数据思维,就要把数据集成到业务系统的架构里面去。

原来我们所讲的业务系统叫OLTP,即在线交易系统,然后数据类的系统叫OLAP,即在线分析性系统。

现在可以看到一个趋势,这个趋势就是OLTP和OLAP在融合,也就是很多企业所讲的P流一体,即为批处理和实时流数据处理一体化。原来我们的OLTP、OLAP是平行的关系,先要通过OLTP系统产生数据,然后ETL,然后抽取到OLAP里面,再把多个OLTP的系统抽在一起,之后在OLTP、OLAP的系统里面产生洞见,变成数据可视化报表给业务部门去看,再去改变你的OLTP的做法,这里的OLTP和OLAP是平行的关系。

这样的话,原来的数据百分之七八十在企业里的应用都是数据可视化,都是BI,都是data house报表,让人看,这叫人机接口,这个是人看完数据以后,然后再去提取,之后去做你的决策,改变你的行为,去看数据。

阿里架构师用3点讲透数据中台,这些都是你没看过的

从今年开始,数据中台更多强调的是机器与机器的接口,就是我的数据分析出来的结果,不仅仅以报表可视化的形式让人看,而更多的是把这些API这样的一些数据服务直接地嵌入到交易系统里面产生影响,变成你的价格策略,变成你的推荐引擎,变成你的风险管控。

那么我们所讲数据中台,它不仅仅是一个技术平台,它还是一个体系。

数据中台会对应到一个企业里的一个部门一个组织,也要有数据战略的支撑,要有数据治理,数据中台上面生长一个数据服务,数据服务提供给我们业务系统,提供给我们业务中台,然后我们所接收到的数据消费者,就都生长在数据中台之上,数据中台是一个生态,是一个平台,是一个数据服务,是生产、加工、交易、度量、运营的平台,所以我们把数据中台实际上叫做一个体系。

三、数据中台对企业的价值

阿里架构师用3点讲透数据中台,这些都是你没看过的

数据中台解决的核心问题:

  • 解决应用开发快于数据开发的效率问题。
  • 解决数据开发与数据产生价值的协作问题。
  • 解决在很多企业,它的开发人员,技术人员没有数据能力的问题,这是它从技术层面的核心问题上来解决问题。

1.应用开发要快于数据开发的速度

原来我们在做一张报表,或者是在业务系统里面需要查询一个数据结果的时候,它的过程是比较麻烦的,而且它的测试往往也是比较复杂的,因为业务系统是有业务属性的,但是数据是跨业务的,是融合的。

在OLAP领域中,很多这种情况,比如说我的企业,Java开发工程师很好找,做应用的人很好找,懂data,知道如何做数据建模,如何做算法的人相对来讲是比较少的。但是在我们应用开发过程当中,我们会发现有太多的数据需求,这种情况下应用开发的速度是快于数据开发的速度。

2.加速从数据到价值的服务产生过程

在很多时候我们会发现不同的应用开发项目组,他们都会调用同样的数据模型,同样的数据服务,但是由于不了解数据,并且他们也不知道底层的数据结构,所以他们不同的项目组可能对同样的数据处理会用不同的方法,自己做自己的,然后出来的结果不一样。有的是错误的,所以开发速度慢,并且数据结果不准确,质量低.

但是现在数据中台就要解决这个问题,数据中台要把那些复用的数据模型,要把那些数据模型data派对中一些数据复用的能力,变成一个数据的能力平台,让那些做数据的人专注在做数据,把数据变成一个乐高积木,数据服务提供给应用开发,然后不同的应用开发项目组可以共同的去调用唯一的SARS数据服务,去保证它的数据质量和一致性,加速从数据到价值的服务产生过程,打造高响应力且更加智慧的业务。

阿里架构师用3点讲透数据中台,这些都是你没看过的

如何加快从你的业务到数据到你的数据产品之间的反馈的速度响应力,也是数据中台要解决的问题。它要把应用的价值,应用的速度,和你数据产生的速度中间的差异,时间的差异和有时候业务理解上的差异,通过数据中台去把它弥补起来。

【编辑推荐】

  1. 写过25W行代码,3个操作系统:我如何做架构设计来降低代码复杂度?
  2. 美国《2016-2045年新兴科技趋势报告》,指出20项最值得关注的技术
  3. AI军备竞赛催生未来AI硬件架构发展3大方向
  4. 任正非对话全球人工智能专家全文实录:华为的5G技术只卖给美国
  5. 工信部:实体渠道办理电话入网实施人像比对技术
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

网络排障一点通

网络排障一点通

网络排障及优化调整案例
共20章 | 捷哥CCIE

382人订阅学习

VMware NSX 入门到实战

VMware NSX 入门到实战

网络虚拟化革命性技术
共16章 | Cloud袁

221人订阅学习

消息队列Kafka运维实践攻略

消息队列Kafka运维实践攻略

入门级消息队列
共3章 | 独行侠梦

114人订阅学习

视频课程+更多

Vue.js 2.0之全家桶系列视频课程(vue、vue-router、axios、vuex)

www.86msc.comVue.js 2.0之全家桶系列视频课程(vue、vue-r

讲师:汤小洋1488607人学习过

Mysql5.7 高级性能优化

Mysql5.7 高级性能优化

讲师:白丁12357人学习过

你必学的SSM实战案例

你必学的SSM实战案例

讲师:齐毅25102人学习过

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微

申博在线开户网址 申博太阳城登入 百家乐微信支付充值 www.988msc.com 138申博体育在线娱乐直营网 申博直营网
申博官网登录 js7799.com 申博娱乐网址 菲律宾申博太阳网城上娱乐 www.sbc66.com 申博电子游戏官网直营
申博代理网登入 重庆申博官网登入 申博电子游戏官网直营 申博支付宝充值 申博app手机直营网 申博怎么开户