随着云计算技术的深入应用,带来资源集约化和应用灵活性优势的云原生概念产生,大数据技术完成了从私有化部署到云上部署再向云原生的转变,云原生能力正被大数据利用以提升效率。信通院最新发布的大数据白皮书指出:“利用云原生思想进行能力升级”为当前大数据技术发展趋势,在此背景下,中国工商银行持续探索和实践大数据云原生化,提升大数据技术对业务的支撑能力,强化金融服务实体经济的数字驱动能力。
(资料图片)
一、大数据云原生建设初衷
自2002年起,工商银行软件开发中心即持续优化数据架构、推进数据赋能业务,并在完成数据大集中的基础上,开启了金融行业企业级数据仓库建设。此后,工商银行软件开发中心又以“开放、共享”为原则,于2016年启动了大数据服务云体系建设项目,以搭建可靠、高效、易扩展的大数据技术平台为基础,以“一湖两库”和丰富多样的数据服务为支撑,逐步形成了集技术、数据、服务于一体的数据中台体系。目前,工商银行已建成同业最大规模单集群,以大数据技术平台和数据中台体系支撑全行用数赋智,具备“自主可控、规模大、数据全、用数易、时效高、引擎多元”等优秀特点。随着数据和业务规模的不断增长,传统存算一体的大数据架构逐渐面临资源和性能瓶颈,在资源利用、资源调度、高效运维、敏捷创新等方面存在诸多瓶颈,逐渐无法适应未来的业务发展需要。具体来说,存在以下几个方面问题:
1)存算资源紧耦合:传统架构下,大数据集群的计算资源和存储资源是紧耦合的,无法实现独立扩缩容,这造成了计算和存储资源利用率方面存在局部的不均衡。例如流式计算服务集群的计算资源利用率较高,存储资源利用率不高,存算一体架构下存储和计算资源只能同步扩容,带来资源的浪费。
2)资源调度欠灵活:传统架构下,各业务集群间资源使用存在一定错峰的情况,但跨集群、跨业务的弹性资源调配难以实现。计算资源在不同的业务集群之间无法弹性调度,特别是大数据业务和在线业务间存在明显的错峰现象,大数据业务高峰通常是凌晨0点至早上8点,在线业务高峰通常是早上8点至晚上22点,由于两者之间的计算资源不能灵活调度,导致整体设备规模出现了一定程度的膨胀。
3)资源隔离不彻底:传统架构下,为了实现数据全局共享,通常采用超大规模单集群部署模式,导致关键场景之间无法彻底做到资源隔离。
4)集群版本升级难:传统架构下,由于集群版本升级时,所有节点都需要同时更新,增加停机时间和系统风险,无法实现灰度升级,运维成本越来越高,导致新版本能力、新计算引擎的引入实施节奏慢,难以实现敏捷迭代。
云原生是大数据平台下一代架构的发展方向,特指大数据平台充分利用云的特性,以存算分离形态部署,支持计算资源弹性调度,实现技术能力的快速升级,以解决传统架构下的瓶颈问题。
二、大数据云原生建设思路
工商银行大数据和人工智能实验室一直以来保持着对大数据前沿技术的持续跟踪、研究及应用,针对大数据传统架构在资源和性能方面的痛点问题,前瞻性地对大数据云原生化进行了总体部署和工作规划,并在存算分离、资源弹性调度等方面完成了技术试点。
1、架构体系规划
工商银行大数据和人工智能实验室借鉴业界大数据云原生建设经验,从“算、管、存、弹”四个方面进行架构规划。通过建设云上统一存储服务,实现存算分离部署形态,解耦大数据存储与计算资源,并在架构上独立建设统一元数据服务,全局形成统一的数据视图,在统一资源管理服务中引入容器化弹性资源池,支持计算资源弹性调度,使得大数据平台在资源扩容、资源调度、资源隔离、资源利用率全方面获得提升,降低大数据平台综合成本,提升平台资源供给能力。工商银行云原生大数据平台整体架构可分为计算层、存储层和资源层:
云原生大数据平台规划架构图
计算层主要负责数据的处理和分析。通过提供丰富的计算引擎,满足多种业务场景的分析需求,包括批处理引擎Hive/Spark、批流一体引擎Flink、交互式分析引擎等。计算集群不再存储数据,实现无状态化,且可实现计算集群之间资源的完全隔离和按需扩容。
存储层包括统一存储和统一元数据服务,实现数据统一存储、元数据统一管理,统一面向多个大数据计算集群提供全局数据视图,避免传统架构下跨集群共享数据需拷贝一份带来的冗余问题。同时,通过权限统一控制,全局保障数据访问安全。
资源层统一纳管底层异构硬件,通过资源池化能力,向上融合供给大数据计算与存储资源。在资源层统一资源管理服务中创新引入容器化弹性资源池,支持计算资源弹性调度,并实现在离线资源混合部署和调度,使得大数据平台在资源供给能力方面获得大幅提升。
2、核心能力建设
通过存算分离解耦存储与计算资源。工商银行已在金融生态云完成存算分离架构试点,以公有云形式对行外客户提供灵活、弹性的大数据计算服务,真正做到计算不够扩计算,存储不够扩存储,按需供给大数据资源,保障计算、存储集群的资源利用率充分均衡。
通过容器化资源池实现资源弹性调度。工商银行已实现计算引擎容器化轻量级部署,并初步完成了容器化弹性资源池建设,支持在离线业务资源的混合部署和调度,大数据平台可错峰利用在线业务碎片化资源缓解月末、季末批量资源紧张问题,资源调度的灵活性得到了大幅提升。
利用PaaS云平台实现容器化弹性资源池
通过计算集群无状态化改造和拆分,实现关键场景之间计算资源物理隔离,并支持集群灰度升级。工商银行基于存算分离架构,持续推进计算集群无状态化改造,并计划将原先的超大规模集群拆分成多个计算集群,做到关键场景之间计算资源彻底隔离,同时支持新技术能力的灰度引入与快速迭代,化解超大规模单集群的风险,降低运维成本,持续提升平台的稳定性。
三、总结与展望
大数据云原生已是不可逆转的行业趋势,随着云计算技术的不断发展,大数据技术体系也必将向云不断融合。大数据云原生目前仍处于探索阶段,未来工商银行大数据和人工智能实验室将持续推进新一代云原生大数据平台建设,继续秉持“科技引领,创新赋能”的发展理念,不断加强与业界领先科技公司的合作,持续提升大数据技术对业务的支撑能力,为金融科技应用实践和大数据生态建设添砖加瓦。
关键词:
(责任编辑:黄俊飞)推荐内容
- 工商银行大数据云原生探索与实践
- 暑期文旅市场精彩纷呈 多项惠民政策持续
- 取消公摊面积合理吗?清华教授:羊毛出在
- 第十五届“馆校结合•科学教育”论坛将开
- IDC:二季度中国打印外设市场同比下滑18.
- 赛科希德:8月28日融资买入42.9万元,融
- 蓝英装备8月29日盘中涨幅达5%
- 上海科普场馆推出首批“科技与文化融合”
- 天永智能8月29日盘中涨幅达5%
- 【观察】天能动力打造储能引擎,产业链中
- 全国总工会下拨9.6亿元中央财政资金帮扶
- 湖南调整2023年度社保缴费基数
- 节目效果拉满!马斯克在扎克伯格家门口测
- 陈晓娜扎首度合作《无与伦比的美丽》聚焦
- 小型起亚 EV5 电动跨界车首次亮相
- 8月29日上海地区天然橡胶价格基本平稳
- (经济观察)当戈壁滩遇上光伏:昔日不毛
- 女星12年前苦恋国际巨星 3条线索男方身
- 乘客行李中发现弹药 一机场约400人被紧
- Deceit 2黑暗逃生2卡顿/延迟高/跳ping/
- 国内黄金价格今天多少一克(2023年8月29日)
- 伊拉克南部一大巴车与货车相撞 已致8死35伤
- 她是《父母爱情》中的江亚菲,其貌不扬演
- 房子网签怎么查询过户_房子网签怎么查询
- 2024款苹果iPad Pro将迎来重大更新
- 能帮助大树和人类的鸟有哪些 什么大树上
- 努比亚目前正在死磕影像据说有一款重磅旗
- 张家口银行中报“增收不增利”,资产减值
- 知名男演员深夜发文@武汉警方
- 弘扬劳模创新精神 这两位劳模在汉分享经验
- 如何去除青春痘痘坑(如何去除青春痘)
- 花呗迟还一天影响征信吗 花呗晚还1天会
- 如果范志毅是蔡慧康,他会如何体面地向球
- 中兰环保(300854):独立董事关于第三届董
- “互联网+全流程服务” 长沙启动实施0-6
- 华西证券给予拓普集团买入评级 系列点评
- 俄联邦侦查委员会:已找到特维尔州坠毁飞
- 预期美联储加息周期将结束 投资者表示将
- 2022版新课标全新解读,你想了解的这里都有
- 言行相诡,信誉亏空只会越来越大(钟声)
- 夏季怎么吃桂圆不上火(桂圆如何不上火)
- 松绑加码!全面取消限购限售!南昌多个楼
- 甘肃正式开通口岸签证业务
- 河南发布地质灾害气象风险黄色预警
- 美国佛罗里达州一直升机撞入居民楼致2人
- 男子酒后肇事逃逸致人死亡 石鼓交警3小
- 西安有人砸日本车?公安辟谣
- 凌云股份:上半年净利约3.23亿元 同比增
- 上半年化工要求利润普遍承压 积极布局
- 国家体育总局冬运中心党委书记、主任倪会
- 青蟹怎么保存过夜(青蟹怎么保存)
- 福莱特:上半年净利约10.85亿元 拟10派2.38元
- 西媒:阿布德对本轮没有出场感到沮丧,巴
- 银座集团上半年归母净利润2.12亿元 同比
- 施勒智能2023年上半年净利-123.32万 亏
- 《蒸汽世界:建造》发售日预告 12月1日发售
- 华海清科(688120.SH):上半年净利润3.74
- 莱氏亚科(关于莱氏亚科简述)
- 绵阳市涪城区街道城郊街道办事处招聘怎么
- 红米新机现身跑分平台,或搭载联发科天玑
- 国内黄金价格今天多少一克(2023年8月29日)
- 伊拉克南部一大巴车与货车相撞 已致8死35伤
- 她是《父母爱情》中的江亚菲,其貌不扬演
- 房子网签怎么查询过户_房子网签怎么查询
- 2024款苹果iPad Pro将迎来重大更新
- 能帮助大树和人类的鸟有哪些 什么大树上
- 努比亚目前正在死磕影像据说有一款重磅旗
- 张家口银行中报“增收不增利”,资产减值
- 知名男演员深夜发文@武汉警方
- 弘扬劳模创新精神 这两位劳模在汉分享经验
- 如何去除青春痘痘坑(如何去除青春痘)
- 花呗迟还一天影响征信吗 花呗晚还1天会
- 如果范志毅是蔡慧康,他会如何体面地向球
- 中兰环保(300854):独立董事关于第三届董
- “互联网+全流程服务” 长沙启动实施0-6
- 华西证券给予拓普集团买入评级 系列点评
- 俄联邦侦查委员会:已找到特维尔州坠毁飞
- 预期美联储加息周期将结束 投资者表示将
- 2022版新课标全新解读,你想了解的这里都有
- 言行相诡,信誉亏空只会越来越大(钟声)
- 夏季怎么吃桂圆不上火(桂圆如何不上火)
- 松绑加码!全面取消限购限售!南昌多个楼
- 甘肃正式开通口岸签证业务
- 河南发布地质灾害气象风险黄色预警
- 美国佛罗里达州一直升机撞入居民楼致2人
- 男子酒后肇事逃逸致人死亡 石鼓交警3小
- 西安有人砸日本车?公安辟谣
- 凌云股份:上半年净利约3.23亿元 同比增
- 上半年化工要求利润普遍承压 积极布局
- 国家体育总局冬运中心党委书记、主任倪会
- 青蟹怎么保存过夜(青蟹怎么保存)
- 福莱特:上半年净利约10.85亿元 拟10派2.38元
- 西媒:阿布德对本轮没有出场感到沮丧,巴
- 银座集团上半年归母净利润2.12亿元 同比
- 施勒智能2023年上半年净利-123.32万 亏
- 《蒸汽世界:建造》发售日预告 12月1日发售
- 华海清科(688120.SH):上半年净利润3.74
- 莱氏亚科(关于莱氏亚科简述)
- 绵阳市涪城区街道城郊街道办事处招聘怎么
- 红米新机现身跑分平台,或搭载联发科天玑
- 利率市场跟踪周报:LPR非对称降息 “认
- 探寻南海特色农产品“朗沙笋”,一起“挖
- OnePlus承认手机存在绿屏问题为这些用户
- 经济风向标化工业出现改善 但德国出口预
- 黄南尖扎德吉村:通达之路“串”起乡村和
- 让石库门回归居住属性 虹口弘安里探索上
- 金风、明阳入围华润重庆60MW风电机组采购
- 员工挪用公款领导要负连带责任吗
- 信源企业集团(01748)预期将于9月25日派付
- 新股孖展统计 | 8月24日
- 中国男篮首战42分惨败,李凯尔迷失,唯一
- 一张海报惹众怒、吃土豆戏被疑不真实,陈
- 注意!这一病毒提前来袭,最近很多小朋友
- 天风证券:给予永鼎股份增持评级
- 脚本是什么软件 脚本是什么
- 首套房贷款“认房不用认贷”正推动落地,
- 一英镑等于多少人民币(2023年8月28日)
- 东街社区:“小区夜话”话出社区文明
- 15组环保“绿小子”成为摊主 静安区这个
- A股“牙茅”近一年内首次跌停 猪肉概念