数据湖 华为正在打造数据根底设备

水、阳光与土壤,是人类生活的三要素。当人类进入万物互联的智能时代,在根底生活要素之外,数据便成了新的消费材料。按照《华为全球行业瞻望GIV》陈述预测,全球数据量将从2018年32.5ZB疾速增长到2025年的180ZB。行业专家以为:在数据成为重生产材料的同时,智能也成为重生产力。

以后,各行各业都在积极停止着数据根底之上的智能化转型,这种转型让重新构建数据根底设备成为关键。为何需求重新构建数据根底设备?数据根底设备与智能化的开展有哪些必定?数据价值如何落地?华为从计算、接入、存储、处置和数据使能这五个范畴重定义数据根底设备,处理这些挑战,助力各行业减速迈向智能时代。

上图为:华为IT产物线副总裁,智能数据与存储范畴总裁 周跃峰

FusionData 华为打造数据湖处理方案

华为FusionData的终极目的是要打造数据湖处理方案,它能够称作为数据湖处理方案的根底。华为数据库,最大的难点是在高可用不变上,华为数据库研发了八年,通过投入少量的人力和时刻本钱,研收回自主创新的数据库。

目前,这些创新方案正使用于各行各业。在北京,通过“数据+智能”,实现政务办事“一门一号一窗一网”,让数据多跑路,群众少跑腿,业务操持时刻缩短了50%;在深圳,通过“数据+智能”,路途交通操纵从“车看灯”酿成了“灯看车”,实现早顶峰主干道车速提升了18%,让都市交通更顺畅。

在招商银行,华为的金融实时风控处理方案,在6000多条风控规则下,对买卖风险决策的呼应速度到达了30ms以内,让招行的买卖风控从事后酿成事中。华为的金融实时风控处理方案,从2016年在招行摆设以来,已累计庇护32亿笔买卖平安,帮忙客户大幅增加买卖损失。

然而,由于多样性数据、多样性系统和多样性业务的现状,招致企业实现数据价值的进程中,面临数据接入难、数据交融剖析难和数据消费难三大挑战。

数据接入难

随着使用挪动化的高速开展,企业前端使用系统和使用模块到达上千个,后端平台无数十个,整个数据平台有上万个接入点,招致系统前端和后端的数据接入非常复杂。比方某公司,一条财经数据触及30多个前端系统,一个业务开发流程需求和400多个系统停止数据对接。

数据交融剖析难

一个业务在剖析进程中,往往需求从多个数据来源抽取数据,通过交融剖析实现业务目的。由于企业烟囱式架构带来的系统开发接口不统一,数据规范不统一,数据处置链路长等成绩,使得数据交融剖析成为一大难题。

以某银行精准营销为例,需求使用用户注册数据、消费行为数据、地位数据等,这些数据分散在关系数据库、MPPDB、Hadoop、 流计算等多种系统中。这些系统提供的接口规范不统一,有SQL、API等;数据存储格式不统一,有文件,表等。数据交融剖析消耗少量人力物力。最后,耗时一个月实现该业务。

数据消费难,事实上质一定是数据用欠好

以某公司为例,全公司共有130多万张表,分散在各个业务系统中;通过数据加工入湖的数据有14多万张表,约占总数据量的11% ;通过加工聚合后的主题库表约5千张,缺乏总数据量的0.5%,无法应对灵敏多变的业务需求。

华为从计算、接入、存储、处置和数据使能这五个范畴重定义数据根底设备,处理这些挑战,助力各行业减速迈向智能时代。

在计算范畴,华为引领多样性计算,从单一算力到多样性算力,婚配多样性数据,计算更高效。

在数据接入范畴,华为引领多样性数据衔接,通过智能全衔接,减速数据活动,让使用与数据衔接更高效。

在存储范畴,为应对存储效率低、办理复杂的成绩,华为重定义存储架构,从单一类型存储到多样性交融存储,构建交融处置根底,大幅提升效率。

在数据处置范畴,为应对更实时和智能的需求,华为重定义数据处置平台,从单一处置到智能交融处置,减速实现数据价值。

在数据使能范畴,打造创新的数据使能平台,构建数据处置与业务创新的桥梁,提升业务体验,让业务更矫捷。

据企业网D1Net记者理解,华为本次公布的智能数据处理方案FusionData包括数据接入、数据处置和数据使能这三个部件。其中,数据接入ROMA处理多样性数据接入成绩,衔接企业使用和数据,消弭数据孤岛;数据处置处理数据交融剖析难的成绩,实现数据免搬家,高效剖析。

数据使能处理用户找数难,取数难的成绩,让用户取得“ATM”式的数据自助猎取与剖析体验,提升数据使用效率,让业务更矫捷。

这三个部件的详细才能及关键技术如下:

智能数据衔接部件ROMA支持少数据源接入、音讯和API的统一办理、智能通道抉择等技术实现智能全衔接,减速数据活动,让使用与数据衔接更高效。

少数据源接入:支持1100多种使用和异构数据源接入,通过开放式数据接入框架可灵敏接入第三方数据源。

音讯和API的统一办理:支持散布式音讯和API的路由统一配置办理,轻松实现散布式音讯和API办事的跨网跨域跨云集成,让数据自在活动。

智能通道抉择:支持数据多通道传输,而且可按照数据特点智能抉择传送通道,大幅提升数据接入效率。

智能数据处置部件包括散布式存储FusionStorage、散布式数据库GaussDB和大数据平台FusionInsight等,通过多类型数据交融存储、交融剖析引擎等技术实现从单一处置到智能交融处置,减速实现数据价值。

多类型数据交融存储:通过存储与计算别离技术,打破系统烟囱式建立;通过智能散布式存储的多协议交融技术,实现一份数据同时支持数据库、大数据、AI等多种业务的剖析需求,让交融数据剖析成为能够。

交融剖析引擎:支持数据库、大数据、AI多引擎交融剖析和多样性算力统一调度。通过统一架构,落低海量数据处置难度,实现极简剖析。

智能数据使能部件DAYU通过智能元数据感知和OneQuery Turbo 技术构建数据处置与业务创新的桥梁,提升业务体验,让业务更矫捷。

智能元数据感知:通过AI技术,自动感知和收集多个系统的元数据,并停止智能化分级分类,生玉成局统一的数据视图,数据寻觅秒级呼应。

OneQuery Turbo :提供统一的数据拜候接口,实现少数据源、多类型数据的统一拜候,简化数据加工流程,数据猎取速度提升10倍以上。

 

文章来源:企业网D1Net (文章来源于互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责

文章均转载自其它媒体:金蝶财务会计 » 数据湖 华为正在打造数据根底设备

赞 (0)