数据中台元年,企业数字化转型面临的三大挑战
随着企业信息化程度越来越高,企业掌握的数据量从原来的TB级发展到PB级,再到EB级甚至往ZB级别发展。数据形式也在从原来的结构化数据为主转变为以日志、视频、图片、语音等非结构化数据为主。
然而,数据存储和计算、数据组织的运行都是有成本的。当数据消耗成本较小时,企业通过设立独立预算的大数据项目即可应对。但是随着越来越多的数据产生且被应用,数据成本急剧增加,发展数据业务就必须被提升到企业数字化转型的高度,之前的应对策略便不足以应对。毋庸置疑,接下来,数据部门将作为一个业务部门长期存在,这就需要数据部门需要有尽量清晰的业务边界,有可控的投入产出。
同样的转型历程,奇点云创始团队在阿里巴巴时也是亲身经历。2013年,当数据应用不再以BI(看数据)为主,而是为核心业务(数据支撑广告投放更精准)服务时,存储优化和计算优化,以及整体有序的大数据业务规划便成为了当务之急。
过去三年,在帮助企业构建数据中台的实践中,我们提炼了企业数字化转型最主要的三大挑战(业务挑战、技术挑战、组织挑战),或者说企业必然会面临的三大困境,看看数据中台如何为企业发挥价值。
业务挑战:如何以大数据赋能,反哺业务精耕?
越是成功的企业,业务发展的痛点越难以单点解决,需要整体思考、科学决策、集体行动,在业务的创新中解决这些痛点。
比如,如何做好会员精细化运营?如何为门店挑选合适的商品且控制好库存?如何动态打折以至不损伤毛利等等,是摆在企业前面的一个个难题,直接影响到企业的规模扩展或者利润提升,也是企业迫切需要解决的问题。
这就需要构建数据中台,通过大数据赋能业务。
相比传统数据业务,大数据业务的优势在于,通过整体规划智能化的数据应用,来推动业务创新。这就是企业数字化转型的业务内涵。这些数据智能应用需要将业务经验和解决方法论、全域的数据模型,与算法模型相结合,我们称之为“业务智能模型”,它的价值在于“降本增效”。
在奇点云过去三年的数据中台实践中,我们发现这些业务智能模型遍布在整个零售产业上下游。比如通过全方位的数据反馈并指导买手做好选品;又如通过商品的聚类,发现某类特征的商品,可以优化打折速度和幅度,以此提高整体的折扣率从而增加毛利等。再比如,通过门店和商品数据,通过最优算法,解决“什么样的店铺类型应该铺什么商品”,以提升门店的顾客进店转化率,从而提升效益。
业务智能模型需要数据和业务系统深度结合,在运营工作中直接产生效果,让业务能够自动化、高效地运转起来。
技术挑战:如何高效的数据治理,远离数据“黑洞“?
要做好有价值的业务智能模型,离不开高质量、高可用的、全域的数据中台,数据治理就显得非常重要。“数据治理”是企业数字化转型中典型的大数据技术问题。
数据治理,解决的是“业务越来越复杂而数据现状的脏乱差”带来的挑战。*如何合理规划数据结构?如何规范定义数据?如何有效管理数据资产?如何安全分发使用数据?这都需要一套完善的数据治理体系,驱动企业数据化运营转型。
数据治理是基础,也制约了企业的数据智能化方向的发展,难以做到数据创新。从理念上来看,“治”不应只在事后,更应在事前,“理”考验的是业务与技术能力的结合。从实际内容上来看,数据治理是一套方法体系+工具集,旨在帮助企业合理的架构数据、规范的定义与加工数据、清晰的管理数据、安全的应用数据,促使数据从成本中心变成价值中心,驱动企业数字化转型。
奇点云总结了“数据治理的七个要素”如下:
1、数据的标准定义:数据维度及指标需要清晰的、统一的、标准的定义,如“最近一天门店在线上渠道的下单金额”。
2、数据模型的标准设计:按业务领域拆解业务过程,根据业务过程设计数据模型,好的模型标准是高内聚低耦合,能支撑未来扩展。
3、数据的规范开发与测试:在一定的编码规则下开发,确保代码质量的稳定性。
4、元数据的合理管理:数据的存储是需要成本的,需要合理的生命周期管理。
5、数据质量的保障:数据的可用性、可信度,均需数据质量保障,数据质量从上游采集、中间的数据加工,下游的数据服务都需要一套质量检测工具来保障准确性、完整性。
6、数据的安全管控:数据是企业的核心资产,数据安全上升为企业安全。数据安全包含数据的分级、敏感数据脱敏、分行列控制、高危访问实时告警、事后的安全审计等。
7、数据的合规使用:企业成立数据安全委员会,为数据的合规使用制定规范,必须在合规范围内安全使用数据。
组织挑战:如何深挖数据红利,成为业务创新“能手“?
从解决业务挑战和技术挑战出发,企业必须把数字化转型定义为战略问题,从而推动“数据中台”的落地,这也给企业带来了组织上的挑战。
一般来讲,传统的数仓解决方式有两大问题:一方面从业务系统直接计算数据,非解耦架构对业务系统影响极大。一方面基于DB构建的数据仓库,计算及查询效率难以满足业务数据膨胀的大趋势要求。解决这些问题,已经不是藏在“IT部门”的数据小分队这一组织形式所能够解决的。
2018年7月,阿里云总结了过去的成功经验,在业界大力推出“数据中台”解决方案,很好地解决了这些问题。奇点云提出的数据中台架构与设计,其出发点是支撑复杂的、多系统的、数量巨大的、多应用场景的业务形态。在组织层面理顺以下部门或团队关系,来解决企业在组织落地战略上的困惑:
1.与传统IT业务之间的关系:业务和计算分离,业务和数据分离
·大数据业务应与业务系统解耦,采用T+1离线计算方法产出结果数据,不直接在业务系统上进行数据计算,实现了业务和计算的分离、业务和数据的分离。
·大数据部门的工作起点是满足多种计算场景的需求。支持大数据计算,结合了多种计算引擎,针对不同的场景使用不同的计算引擎,如离线计算引擎、实时计算引擎、多维分析引擎、即席查询引擎、实时搜索引擎。
2.与业务部门的关系:站在企业视角打通数据,支撑业务部门用数据
·支持各种异构数据源打通,提供了一套基于reader和writer的抽象化数据抽取插件,除了提供系统自带的插件外,还支持自定义实现reader和writer插件,通过公共的管道,实现结构化和非结构化数据的互相传输,统一技术框架。
·支持业务部门的高并发多场景的实时查询,数据中台集成了基于分布式的KV查询框架,可以支持海量级别的查询请求,并且响应时间可以控制在毫秒级别。
·支持多场景的数据服务,灵活快速支撑业务需求,向导和自定义双模式快速生成API,实时监控API调用情况。
·面向业务部门,为业务部门的数据分析、开发提供培训和技术支持。
3.与合作伙伴的关系:找到数据部门的核心能力
·应该深入业务,影响业务效率。数据模型融合离散的业务数据,可借助数据中台快速构建数据模型,建立全方位的数据视角,消灭信息孤岛和数据差异,灵活支撑业务的变动。
·不应该在大数据平台建设、在很难培养的团队能力上下功夫(比如算法能力),尽量借用外脑。
某服饰K案例:
客户背景:想要通过数据智能化应用,提升管理效率,从集团CEO到各部门经理到一线店长,经营效率需提升,运营过程需要数据支撑,一方面是数据产出速度,一方面是缓冲的精准度。以及优化当前的人员排班,避免客流不大时过于饱和人效较低,高峰期时人员不够导致订单损失。
数据中台解决方案:构建集团/销售总经理/门店店长三层驾驶舱,拉通数据中台的建设,顺势统一指标标准、数据采集标准、建数据模型标准,驱动企业的数据上一个台阶,为后续的创新打下基础。
统一管理:企业管理行为落地KPI体系,KPI数据反映管理与经营的效率;
统一视角:一站式数据服务,从集团总裁,到分公司总经理,甚至到门店店长,都在一个系统中透视KPI、逐层从上到下穿透,直至发现问题。
统一口径:所有指标及维度必须标准化,包括命名规范、口径统一、数据模型统一,从而为指标解读有据可依。
智能排班:通过计算每人的绩效,结合到门店计算人效,聚类区分几类人效人群,得出中等人效即可服务号一般门店。同时预测门店未来的订单量,拟合中等人效水平,计算未来一周内门店各时间段需要的人力情况。结合门店和人员的区域化情况,从而实现了智能排班系统。
实施效果:上线后第一个月开始,集团高管月会,开始使用管理驾驶舱梳理盘点诊断业务;数据中台支撑的仓库单据从原来的10分钟降低到5秒,缓冲补货时间从30分钟降低到5分钟以下;上线3个月,离线的Excel模版报表,从500个降低到250以下;基于数据中台创新了智能排班系统、店铺前台商品推荐系统;技术人员从传统的Oracle存储过程过度到大数据平台,成长了数据模型研发与算法能力。智能排班上线,整体人员下降了10%(自然淘汰人效最低的人员),从而为公司每年带来大几千万的利润。
某母婴M案例:
客户背景:在企业运营效率低下,无标准数据体系及系统支持的情况下,企业所运营的APP千人一面,所有运营活动需要手工调整,几乎没有数据化运营。基本靠经验,影响用户体验,老客户复购率低。
数据中台解决方案:该项目分两期实施,一期规范采集,打通日志、交易、售后等数据,构建统一数据中台,建立标准指标体系,构建业务分析BI系统及一系列运营报表,支撑运营日常数据工作效率提升,快速洞察业务,驱动高效运营决策;二期构建会员、商品、店铺标签体系,增加实时日志采集,在购物主链路四个环节(首页-搜索-购物车-支付)做千人千面推荐引擎,提升用户发现感兴趣和可能需要的商品,提升新客户的转化率与老会员的复购率。
实施效果:上线了平台运营中心,支撑了所有运营日常数据工作;购物主链路个性化推荐,提升了新客户50%的转化率,提升了老客户80%的复购率;
我们认为,在AI驱动下的数据中台大有可为。所有的数据一定是基于数据中台形成一个业务闭环,把数据赋能给新零售前端的应用,可以帮企业真真正正实现自身的数字化转型。