首页 新闻资讯 小白也能看懂,解读数据中台

小白也能看懂,解读数据中台

不同的企业对数据有不同的需求。

不同的企业对数据有不同的需求。企业数据应用不断更新迭代,企业的中台系统也需要不断变化。从数据处理与数据治理两个维度出发,可以设计一个解耦的数据中台体系架构。该数据中台体系架构具有一定的柔性,可按照企业应用需求进行组合,或者对单个模块进行扩充,能满足大多数企业数据中台建设的需求。

一、数据中台通用体系架构
1、数据存储框架数据中台的核心是数据,数据通过采集系统获取,然后数据经过处理框架加工,并接受数据治理框架的管理,同时也要接受数据安全管理框架的管理,最后开放的价值数据将通过数据运营框架对外提供数据服务。数据中台的数据架构应该独立规划,并采用合理的技术架构对不同类型的数据进行存储。数据存储框架中,无论数据采用对象存储、块存储还是数据库存储技术。

源数据主要由采集框架进行管理,数据治理框架按照数据特征把数据简单分为结构化和非结构化数据两大类,而规范化分域数据则是数据治理框架对全量数据的规范化分域整理。

● 宽表数据是数据关联的结果,利用宽表数据可以对人、事、地、物、组等对象进行完整的数据画像,同时宽表数据也可以作为上层模型数据的中间层数据。

● 元数据和标签数据都是对数据的描述,其中元数据用来对数据的客观属性进行表示,标签数据更倾向于管理者对数据的主观表述及等级划分,比如质量等级标签、安全标签、属性标签等。

● 主数据需要在各系统间频繁更新、交换,且需要独立的存储空间进行维护管理。

2、数据采集框架

数据中台的采集框架应对纳入数据中台的各种源数据进行统一采集管理。数据采集框架中应提供多种数据采集方式,如文件传输协议采集、数据库采集、接口应用程序接入采集、流式采集及网络爬虫采集。同时采集框架应按照数据采集规范对源数据进行预处理,从而去除明显不需要的数据及多余数据,并对采集过程进行管理。虽然数据中台的体系架构没有统一模板,但各企业数据采集框架基本一致。

3、数据处理框架数据处理是每个数据应用的基本环节之一,经典的数据抽取、转换和加载(ETL)处理流程在数据采集预处理、数据整合、数据建模等多个地方均要使用。单独建设数据处理框架有利于数据处理工具组件的集中开发与管理,也有利于数据中台数据处理任务的协调与调度。

数据处理框架专门负责数据处理相关的任务,包括批处理、流处理、人工智能分析、数据清洗、数据交换及查询,此外数据处理的相关工具组件可在处理框架中配置。任务调度模块在数据处理框架中处于居中指挥的作用,并对运行的数据处理任务进行监控及异常处理等操作。

4、数据治理框架广义的数据治理不仅包含提升数据价值的内容,如数据管理、数据目录、数据质量等,也包含数据安全管理及数据共享服务。数据安全管理与数据价值提升是一个矛盾体,如果由一个厂商或开发团队进行数据安全管理及数据价值提升相关软件的开发,则开发者的操作难免有所偏向,而且矛盾不容易公开,少了冲突也就少了优质的解决方案。

5、数据安全框架数据已经成为数据资产,数据安全框架是数据中台必不可少的组成部分。数据安全叠加在数据中台其他功能框架之上,数据采集、处理、交换、共享等每个环节均必须实施安全控制策略。安全框架可以分为日志管理、用户认证、权限管理及加解密等几个功能模块。

6、 数据运营框架数据中台的核心功能是综合众多数据应用的数据处理及数据治理功能,集中建设、集中管理、减少冗余、增加复用。数据中台的最终目的还是为其他应用或开发者提供数据服务,而对外数据服务功能将直接面向不确定的外部对象。因此单独建设数据运营,一方面有利于针对外部用户提供针对性功能;另一方面,数据运营模块作为用户与数据中台核心数据服务之间的中间层,可以有效隔离外部用户直接控制、接触核心数据及应用,可保护数据中台的安全性及内部功能的稳定性。

二、数据中台的目标
数据中台的目标是让数据持续用起来,通过数据中台提供的工具、方法和运行机制,把数据变为一种服务能力,让数据更方便地被业务所使用。

数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。运营体系和安全体系是数据中台得以健康、持续运转的基础,如果没有它们,数据中台很可能像个一般项目一样,一期搭建起平台、建设部分数据、尝试一两个应用场景之后而止步,无法正常地持续运营,不能持续发挥数据应用价值。这也就完全达不到建设数据中台的目标。

 

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: suifengmianlai

为您推荐

圆满落幕!望友精彩亮相2023工业软件生态大会

11月5日-6日,2023工业软件生态大会在深圳成功召开。

开目软件受邀出席2023工业软件生态大会,共探智造未来!

11月5日-6日,2023工业软件生态大会在深圳会展中心火热开展,作为中国高端工业软件领导品牌、行业领先的3D智能工艺软件提供商,开目软件受邀出席并发表主题演讲。

2023第四届中国FMEA峰会暨聪脉新品发布会圆满召开

2023 中国·深圳 第四届中国FMEA峰会 暨聪脉新品发布会 圆满召开 聚焦FMEA 11月1日,由聪脉(上海)信息技术有限公司(以下称聪脉)主办的中国第四届FMEA峰会暨聪脉新品发布会在深圳凯悦酒店圆满召开。

一周客户新闻速递

近期热点 NEWS 2023.11.6 客户新闻 聪脉知道 了解企业客户最新热点 关心企业客户最新资讯 企 业 客 户 新 闻 周 速 递 新闻速览 近期客户热点新闻 1 中国一汽研发总院成功举办中国汽车工程学会汽车非金属材料分会第十届年会 2 金溢科技助力西部首个智驾社区启用! 3 宝钢股份与中国港湾签署战略合作协议 4 4 3 4 日月光半导体推出整合设计生态系统IDE将封装设计效率提升且周期最高可缩短50% 5 广东亿迅2个创新产品入选国家级服务业数字化解决方案优秀案例 6 北方华创连续三年荣登中国电子百强企业榜单 7 广西康明斯发动机首次在柳工重型拖拉机上实现成功配套 聚焦汽车整车行业客户 中国一汽研发总院成功举办中国汽车工程学会汽车非金属材料分会第十届年会 11月2日,“中国汽车工程学会汽车非金属材料分会第十届年会”在湖北十堰隆重举行。

27地入选!住房城乡建设部开展工程建设项目全生命周期数字化管理改革试点

“ 为贯彻落实国务院关于工程建设项目审批制度改革部署,按照全国住房城乡建设工作会议关于“数字住建”工作部署要求,加快推进工程建设项目全生命周期数字化管理,近日,住房城乡建设部印发《关于开展工程建设项目全生命周期数字化管理改革试点工作的通知》,决定在天津等27个地区开展工程建设项目全生命周期数字化管理改革试点工作。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

返回顶部