3月30日(rì),2021(第七届)中国(guó)国际(jì)大数据(jù)大会在北京成(chéng)功召开(kāi)。500多位(wèi)大数据行(háng)业嘉宾齐聚一堂,围绕“数字筑基 智见未来”主题(tí),研讨数字经济时(shí)代,数字转型的难点(diǎn)与路径;共(gòng)探“十四五”时期,大数据发展趋(qū)势与新机遇!
华为云中国区副(fù)总裁胡维琦受邀出席大会并发表 “开(kāi)发(fā)数据商业价值,助力政企(qǐ)数据资(zī)产化”主题(tí)演讲。同时,华为云数据使能(néng)DAYU服务(wù)中的FusionInsight MRS云原生数(shù)据湖、Data Lake Insight DLI数(shù)据湖(hú)探索分别(bié)荣获“2020年度大数据(jù)行业优(yōu)秀解决方(fāng)案”奖、 “2020年(nián)度大数据行(háng)业创新产品(pǐn)”奖,这是(shì)业界对华为在大数据领域持(chí)续技术创新、实践应用等方面(miàn)成(chéng)绩的再度(dù)肯定。
图 华为云获2020年度(dù)大数(shù)据行业奖(jiǎng)项
开发数据商业价值,助力(lì)政企数据资产化
华为云中(zhōng)国(guó)区副(fù)总裁(cái)胡维琦(qí)女士在大会(huì)主题演(yǎn)讲中提到,“数据发展重心逐步从关键技术向生产要素(sù)演进(jìn),在(zài)这个过程中(zhōng),数据资产化(huà)并安全流通是商业(yè)新机遇。华为云(yún)数据使能DAYU服务,助(zhù)力政企加速把(bǎ)数据资源加工为数(shù)据资产,让数据(jù)像清洁的水电一(yī)样为政企使用,为数据成为整个社会的(de)生(shēng)产要素打下坚实的基础。”
图 华为云中国区副总裁(cái)胡维琦做主题发言
在工业大数据论(lùn)坛中,华为云(yún)专家表示,“工业数(shù)字化转型(xíng)已是全球共识。从我们的实践看来,工业(yè)数字化转型的关键在于打通信息物理系(xì)统,构筑IT和(hé)OT数据融(róng)合的(de)工业互(hù)联网平台,用AI加持,逐步使(shǐ)能智能制造再升级。“
华为云FusionInsightMRS云原生数据湖斩(zhǎn)获“大数据行业优秀解决方案奖”
华为云FusionInsight MRS云原生数据湖,一个架构可持续演进,构建离线(xiàn)、实(shí)时(shí)、逻辑三种数据湖,助(zhù)力(lì)客户(hù)释放(fàng)海量数据(jù)价值,让业务洞见更准,价值兑现更快。
l 离线数据湖(hú):HetuEngine提供秒级交互式查询能力,数据(jù)不出湖,分析链(liàn)路短(duǎn),性能比(bǐ)Impala快30%+,分析(xī)提(tí)效10倍+;DLC提供统一的元数据,数据(jù)全局可视; HetuEngine提供湖内统一SQL接口:HDFS、Hive、Hbase、ES等(děng),简化(huà)用数。
l 实时数(shù)据(jù)湖:流处理 + Hudi实现数据增量更新入湖,从T+1到T+0; ClickHouse提供毫秒级实时(shí)OLAP分析能力;Flink提供FlinkSQL能力,批流SQL接口统一,实现流批(pī)一体。
l 逻辑数据湖(hú):HetuEngine提供跨湖、跨仓、跨云统一访问,减少数据搬迁(qiān),数据高效流动,全域数(shù)据秒级协同分(fèn)析秒级响应(yīng),业务上线效率提升(shēng)10倍,由“周级”缩(suō)短至“天级”。
华为云DLI数据湖探索(suǒ)斩获“大数据行业创(chuàng)新产品奖”
华为云数据(jù)湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Presto)生(shēng)态,提供(gòng)一站式(shì)的流处理、批处(chù)理、交互式分析(xī)的Serverless融(róng)合处(chù)理(lǐ)分(fèn)析(xī)服务(wù)。 企业使用标准SQL、Spark、Flink程序就可(kě)轻(qīng)松完成多数(shù)据(jù)源(yuán)的联合计算(suàn)分析(xī),挖(wā)掘和探索(suǒ)数据(jù)价值。
1) 融合数据湖:一站式的实时分析、离线分析、交互式分析的Serverless融合处理分析服务
• 实时分(fèn)析:Flink提供FlinkSQL能力,批流SQL接口统一,实(shí)现(xiàn)流批(pī)一体(tǐ)。
• 离(lí)线分析:深(shēn)度(dù)优化(huà)的Spark内核(hé),在TPC-DS标(biāo)准套场景下性能比开源版本快50%+。
• 交互式分析: openLooKeng提(tí)供秒级交(jiāo)互式查询能(néng)力,性(xìng)能比Impala快30%+。
2) 容器(qì)加持:基于(yú)Kubernetes的容器管理技术(shù),满足用户扩缩容和(hé)AI分析(xī)需求
• 自动扩缩容:根据(jù)业(yè)务(wù)负载,对计算资源进(jìn)行(háng)预估和自(zì)动(dòng)扩缩容。
• 自定义镜像:支持运行Kubernetes生态的用户(hù)自定义镜(jìng)像,便于用户快速(sù)构(gòu)建基于行业(yè)库的数据分析能力。
3) 跨源分(fèn)析:支(zhī)持跨(kuà)源(yuán)统一(yī)访问,数据虚拟(nǐ)入湖(hú),逻辑统一访问,免(miǎn)数据搬(bān)迁
• 跨源访问: 支持多种数据格式,云上多(duō)种数据(jù)源、ECS自(zì)建(jiàn)数据库(kù)以及线下数据库,数据无需搬迁(qiān),即可(kě)实现对云上多个数据源进行(háng)分(fèn)析(xī),构建企业的(de)统一(yī)视图,帮助企(qǐ)业快速(sù)完成业务(wù)创新和数据(jù)价值(zhí)探(tàn)索
• 算子下(xià)推(tuī):将(jiāng)算子下推到数据源进行计算获取到(dào)更好的(de)性能,减(jiǎn)少跨源分析时经过(guò)网络的数据量