作者:刘志龙
几年的大数据发展,打开了“数据魔方”,逐渐丰富着企业对于平台和数据理解的想象空间。大数据的基础平台能力,是运营商对内使能内部业务创新,对外吸引合作伙伴、构建大数据生态、开展新商业模式探索的基石。 结合华为在国内及海外大数据项目的实践情况来看,运营商大数据平台建设经历了三个阶段,每个阶段的关注点或侧重点不同,分别是:技术、数据、开放。
2015年以前,关注大数据平台建设的多以信息化部门为主。在大数据平台建设阶段,运营商的关注点大多聚焦在:引入哪些大数据技术?解决哪些单点的技术和业务问题?比如引入Hadoop、Kafka、Flume、Spark streaming等各类开源技术,与现有的传统能力(如Oracle、MPP等)结合,构建混搭架构体系,重点解决当前支撑系统的数据处理瓶颈,如:海量数据处理的问题、数据实时响应的问题等等。对于运营商而言,这个阶段面临的压力,主要是面对纷杂的开源技术如何选型?如何制定适用于电信行业的技术标准体系,规避开源风险?
华为公司拥有独立的大数据技术研发团队,实现开源技术的产品化、版本化,比如:华为Fusion Insight Hadoop产品、华为分布式大数据集成工具产品(BDI)等等,从而提供可持续的大数据产品保障;同时作为主要厂商参与编写各类大数据建设指南、大数据技术方案规范,与运营商一起制定电信行业大数据标准,包括接口标准、性能标准等。
2015年前后,随着大数据技术平台能力构建的逐步完善,运营商与华为都意识到大数据平台应该是:数据+平台。其中大数据技术只是大数据平台的一部分,数据则是大数据平台不可或缺的价值引擎。但实际在建设大数据时面临的普遍现状是:数据源较分散,散落在数十个或上百个生产系统中;数据源数据格式口径不一;省公司原有系统的数据模型动辄成千上万,规范化管理程度弱、标准化程度低。元数据管理、数据质量管理、数据安全管理大多是头疼医头、脚疼医脚,没有从根本上解决问题。因此:数据难融合、数据难治理、模型难统一、老系统难迁移、数据价值难呈现,这五大难题近两年一直困扰着运营商。
华为于2015年开始构建数据治理产品,构建元数据驱动的数据治理平台能力,并专门组建数据治理团队,结合多年的数据理解、模型建设、数据挖掘分析等经验,构建了元数据驱动数据模型体系,旨在实现大数据建模的标准化、统一化,做到源头可控、过程可控、结果可控、安全可控:
2016年上半年开始,大数据进入“深水”期。运营商大数据由关注技术本身,转向为关注数据资产的价值转化;由关注日常支撑,转向为关注主营业务的创新;除关注利用大数据手段实现内部的“降本增效”外,同时关注围绕运营商数据资产,聚合行业合作伙伴,进行新商业模式创新探索,构建产业生态。无疑,数据资产价值的转化、新商业模式的探索等对大数据平台建设提出很多挑战,华为认为需要思考如下问题:
为解决这些挑战,华为认为大数据平台能力开放是必由之路。近几年华为公司一直与运营商在研讨大数据平台的云化演进:从2015年开始探索构建运营商大数据平台云化解决方案能力,于2017年上半年完成华为大数据平台的全面云化(PaaS化)。大数据平台的云化,是一个复杂、持续投入的浩大工程,尤其是PaaS领域,尚无成熟的标准,不像IaaS发展较为成熟,有本可依。华为企业级大数据PaaS平台,希望能够解决如下问题:
华为公司将聚焦企业级大数据平台的云服务能力构建,为大数据开发合作伙伴提供资源、数据、工具、应用等开放能力,满足合作伙伴敏捷开发、敏捷运维的需求,华为公司愿意与行业合作伙伴一起,助力运营商的大数据生态建设。