金融分布式事务数据库白皮书解读

最近和朋友聊到分布式核心数据库的发展和应用情况以及人行发布的金融数据库规范标准,聊到早在2018年有一份《金融分布式事务数据库白皮书》,其中详细介绍了分布式数据库的发展趋势和必然性,本文就对这份白皮书做一次解读。

金融机构信息系统向分布式架构转型,有内在因素也有外在因素:

分布式数据库发展主要经历4个技术阶段:

分布式事务数据库具备3大核心属性和6大核心能力:

分布式事务数据库有以下几种发展方向:

1)基于单机事务关系数据库的业务分布式改造,即在应用业务层面建立数据分片和数据路由规则此类方式业务侵入方式较为严重

2)基于单机事务关系数据库的分布式管理组件方案,也就是在计算层通过分布式中间件实现自动路由策略,并通过一致性方面的配套理论和算法,解决分布式事务一致性问题

3)分布式数据库理论和实现架构,由数据库驱动、计算节点集群、数据节点集群和全局管理节点组成

集中式事务数据库与分布式事务数据库对比如下所示:

相较而言,分布式事务数据库在软硬件成本、扩展性和伸缩性上对比集中式事务数据库有很大优势;同时利用分布式架构的优势,在可用性和可靠性上也有足够的保障支撑,满足监管RTO和RPO要求。

随着移动互联业务场景的发展及业务场景的丰富,金融行业在新形态下有新的业务需求:

1)金融行业数据激增,对数据库存储和管理提出了更改要求

2)金融行业对业务连续性更加重视

3)面临高并发业务和高用户量带来的系统压力

4)对移动应用响应速度要求更快

5)技术层面的国产化需求

金融行业的数据库技术在几十年的发展过程中,形成了以集中式事务数据库为主的格局:

1)硬件方面

2)软件方面

3)新时代金融业务发展需求

与集中式数据库相比,分布式数据库可以实现数据非分散存储,将数据库的压力分散在不同的服务器上,同时可以实现交易均衡负载,并采用高并发的架构提升交易的处理能力。分布式数据库的几大优势如下:

金融分布式事务数据库技术标准共有50项技术指标,分为6大类:基本功能18项、兼容能力6项、管理能力14项、高可用能力4项、扩展能力4项和安全能力4项。

金融业务架构从集中式到分布式转变过程中,底层的数据存储也从单节点变成多节点的分布式存储。因此底层基础设施架构的改变,对业务系统的设计模式和操作方法也会带来变化:

1)业务系统组件化、服务化改造

2)数据库模式设计,满足扩展需求

3)数据库SQL能力评估及业务开发注意事项

4)容量系统评估及弹性方案

5)高可用及容灾方案

6)系统运维方案

金融分布式事务数据库从集中式架构迁移改造过程中,要基于可持续发展、透明开放以及代价可控原则。

1)可持续发展:当前分布式事务数据库还处于起步阶段,迁移过程中充分考虑分布式事务数据库架构的可持续发展,以满足中长期的发展需求

2)透明开放原则:以透明开放的原则进行各种任务的规划和要求,保证透明和开放度

3)代介可控原则:在对业务和系统的架构调整优化中,选择总体迁移代价最优的路线

1)知识传递先行:在实施阶段,首先需要执行知识的传递和转移

2)测试评估价值体系的建立:在实施启动前,需建立有效的测试评估评价体系

3)上线方案和上线实施:按照业务重要性、业务安全性以及流量压力,对自有存量和增量业务进行分级分类,按照一定顺序逐步验证实施分布式事务数据库

4)实施的阶段性计划

1)转型过程中的应用过度适配和改造

适配分布式事务数据库的技术特性,如分布式事务控制、分布式数据库表关联以及一致性控制等,对应用进行局部调整。但过度的应用侧改造调整,降低了灵活性,耦合度的增加对整体扩展能力以及运行维护成本控制都有负面影响

2)使用旧管理策略约束分布式事务数据库

以整个分布式事务数据库集群的可用性作为核心指标,对于单个节点的故障应采取更加符合分布式事务数据库机制的运维管理流程进行管理

3)不重视基础网络环境建设

分布式事务数据库本质上是分布式计算与存储系统,对网络吞吐和网络延迟有非常高的依赖性和要求。

金融行业分布式架构转型是必然趋势,而分布式事务数据库是分布式架构转型的难点,因此需要金融行业、技术提供商以及学术界和研究机构一起建立标准、开展试点测试验证,完善技术生态圈。

1)建立技术标准体系,以标准带动产业,实现业务共识

2)开展技术试验与测试

3)完善支撑配套体系

1)数据缓存节点和数据持久节点结合

2)计算节点和存储节点组合

3)应用层和路由层耦合

4)三种技术架构优劣总结

像主流厂商GoldenDB和TDSQL等基于第二种技术方案实现的。

1)金融分布式数据库生态的选择

基于以上评分标准主流的厂商基于MySQL基础上进行自研和优化改造,比如TDSQL、GoldenDB、OceanBase等

2)分布式事务数据库的扩缩容能力

在北京金融科技产业联盟编制的《分布式数据库金融应用评价模型》中,节点的扩缩容能力占比权重为50%,说明在分布式数据库功能中,扩缩容能力是一项很重要的考量指标,也是分布式数据库相较于传统集中式数据库的一大优势。

3)分布式数据库集群处理能力

集中式数据库单集群可以存储几十T甚至上百T的数据量,在分布式数据库X86部署架构中以单节点500G存储为例,20T的集中式架构需要40台数据节点服务器,加上计算节点和管理节点,分布式架构单副本至少需要60台服务器。

4)高可用架构对比

从单副本的集群数量可以知道,5副本的集群需要的服务器将会是数量级的增加,随之带来的是集群服务器数量的庞大以及运维压力的增大。从各厂商在同业的建设情况,这些只读副本似乎也只是用作高可用的可靠性,并没有进一步用途比如读写分离以减少主副本的流量压力。而以计算节点+存储节点结合的架构,最后的读写压力都会加载到主库上。至于分布式数据库的同城双活也没有成熟的方案可以参考。

5)分布式事务数据库运维

其它有关分布式核心数据库运维的问题和困难不一一赘述了。

从2018年4月《金融分布式事务数据库白皮书》到2020年11月26日人行的《分布式数据库技术金融应用规范》系列标准发布,国内的分布式核心数据库发展的是如火如荼,以中信和平安银行为代表的商业银行的核心业务系统也分别进行了分布式架构改造并成功投产。集中式数据库架构到分布式核心数据库架构的演进是势在必行,也是大势所趋。

THE END
1.宽表数据库技术白皮书星环科技为您提供宽表数据库技术白皮书相关内容,帮助您快速了解宽表数据库技术白皮书。如果想了解更多宽表数据库技术白皮书资讯,请访问星环科技官网(www.transwarp.cn)查看更多丰富宽表数据库技术白皮书内容。https://www.transwarp.cn/keyword-detail/13088-1
2.Golden实时数据库技术白皮书V2.0.docx该【Golden 实时数据库技术白皮书 V2.0 】是由【杏杏铺】上传分享,文档一共【7】页,该文档可以免费在线阅读,需要了解更多关于【Golden 实时数据库技术白皮书 V2.0 】的内容,可以使用淘豆网的站内搜索功能,选择自己适合的文档,以下文字是截取该文章内的部分文字,如需要获得完整电子版,请下载此文档到您的设备,方便您...https://www.taodocs.com/p-974909260.html
3.中国移动:2024算力网络数据库白皮书中国移动:2024算力网络数据库白皮书 关注数据局微信公众号,击数据局公众号“报告下载”菜单,获取网盘链接下载。 或者加入数据局知识星球,获取更加优质的服务: 附件下载 中国移动:2024算力网络数据库白皮书.pdfhttp://www.shujuju.cn/lecture/detail/30631
4.金融开放平台数据库转型白皮书分 0 /1https://e.huawei.com/cn/material/enterprise/d4dcca762c1e4acdbbd50d1ac64d4f10
5.大数据技术标准推进委员会:2024搜索型数据库白皮书资讯大数据技术标准推进委员会:2024搜索型数据库白皮书 摘要: 随着数据智能时代的到来,非结构化数据日益成为各类组织数据的增长主力,蕴含巨大价值,如何高效存储并利用非结构化数据,成为业内关注的焦点。以自动分词、倒排索引、相关度计算、向量检索引擎等技术为核心构建的搜 ......https://www.baogaopai.com/article-68018-1.html
6.达梦数据库管理系统DM8白皮书.pdf达梦数据库管理系统DM7白皮书-D.docx 上传者:njbaige时间:2021-10-19 达梦数据库驱动包DmJdbcDriver18.jar 一、达梦数据库概述n 达梦数据库是国内自主开发的一款商业数据库管理系统,由达梦软件股份有限公司研发,支持多种操作系统平台,并可用于企业级应用系统、数据仓库、大数据、标准化应用、电子政务等领域。nn二...https://www.iteye.com/resource/hao___feng-11961322
7.浪潮云海Insight分布式并行数据库(MPP)技术白皮书.doc浪潮云海Insight MPP V4技术白皮书浪潮云海Insight 分布式并行数据库MPP技术白皮书版本:V4.0尊敬的用户: 衷心感谢您选用了浪潮云海Insight产品本文档介绍了浪潮云海Insight产品的功能技术规格等,可使用户更好https://www.renrendoc.com/paper/360345165.html
8.亿欧智库:2021工业实时数据库行业白皮书.pdf亿欧智库本次发布的《2021工业实时数据库行业白皮书》将聚焦工业实时数据库行业研究。报告包含行业背景知识、市场概况、下游应用以及未来趋势,希望能为广大从业者和各方关注人士提供有益的帮助。 载入中...手动刷新 1/39页 载入中...手动刷新 2/39页 载入中...手动刷新 3/39页 载入中...手动刷新 4/39页 载...https://www.waitang.com/report/41364.html
9.金融信息化研究所:2024年金融数据库存算分离架构选型白皮书.pdf...免费阅读5页,开通VIP会员之后可下载84页完整文档 文本预览: 《金融信息化研究所:2024年金融数据库存算分离架构选型白皮书.pdf》由会员分享,可在线阅读,更多相关《金融信息化研究所:2024年金融数据库存算分离架构选型白皮书.pdf》请在维基智库报告文库上搜索。 展开>>...https://www.bootwiki.com/info/bae5278034c0453a8e452ec1905c91a8
1.中国软件行业协会2、要从根本上摆脱对单一技术供应链的依赖,必须坚持原始中国软件根技术发展白皮书(数据库册)2023版技术创新,坚定不移地摸索出一条独立自主的软件根技术产业体系发展之路。 3、数据库是业界公认的最复杂、跨技术领域最多的基础软件,随着数字化的深入推进,数据库在技术架构、数据管理、数据安全创新,以及数据科软件行业学...http://www.yanbaohui.com/doc-f4d38f05a086046967846a2cd8712e8c.html
2.华为人工智能行业白皮书2024数据存储与数智化转型的关键要素解析文章浏览阅读479次,点赞14次,收藏11次。本文将深入探讨《华为人工智能行业迈向智能世界白皮书2024》中关于数据存储的重要性,重点分析数据如何成为数字化转型至数智化成功的关键要素。通过研究不同领域的应用实例,展示数智化如何激发数据的潜力,推动各行业更高效、智能https://blog.csdn.net/tiangang2024/article/details/143888938
3.Oracle数据库中文产品技术白皮书Oracle中国Oracle 数据库中文产品技术白皮书 注:为免疑义,本网页所用以下术语专指以下含义: 除Oracle隐私政策外,本网站中提及的“Oracle”专指Oracle境外公司而非甲骨文中国。 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。https://www.oracle.com/technetwork/cn/indexes/documentation/database-documentation-334768-zhs.html
4.关系数据库MySQL版安全白皮书关系数据库MySQL版介绍关系数据库MySQL版在安全上的表现。https://www.ctyun.cn/document/10033813/10132767
5.2024年数据库/数据中心白皮书合集(共50套打包)一键下载中国通服数字基建产业研究院:中国数据中心产业发展白皮书(2023年)(59页).pdf 华为:2024金融数据中心存储顶层架构白皮书(35页).pdf 移动云&大数据技术标准推进委员会:2024算力网络数据库白皮书(33页).pdf 华为:数据中心2030报告(2024版)(90页).pdf 罗森伯格:2024面向 AI 智算数据中心网络架构与连接技术的发展...https://www.sgpjbg.com/bggroup/1849.html
6.数据库标准化白皮书研讨会召开2022年2月17日,由电子标准院发起的《数据库标准化白皮书》研讨会通过线上会议形式召开,来自虚谷、柏睿、阿里云等数十家企业代表参会。 会上,数据库标准化白皮编制组向与会单位介绍了前期工作情况。各企业代表积极发言,在《数据库标准化白皮书》的框架章节设置、章节设置的合理性及章节衔接的紧密性等方面作了充分讨论...https://www.cesi.cn/202202/8261.html
7.SmartReal实时数据库技术白皮书v1.0word文档免费下载SmartReal实时数据库技术白皮书v1.0 智捷实时数据库管理系统SmartReal Real-time Database ManaEMent System,简称智捷实时数据库或SmartReal实时数据库 智捷实时数据库是一种高可靠性、高安全性、跨平台的实时数据库管理系统,可创建、操纵和管理实时数据库,实现对海量实时/历史数据的高效管理。产品支持C/S和B/S应用...http://doc.100lw.com/doc/8cad118aa1abc0630df86bd8
8.亿欧智库2021工业实时数据库行业白皮书亿欧智库 | 2021工业实时数据库行业白皮书刚刚下载此报告推算得出未来实时数据库市场规模增长迅速,其中离散制造业应用市场广阔。 研究分析实时数据库在流程与离散制造业典型行业中的应用情况。 从技术端、产品端和市场端等维度分析工业实时数据库未来发展趋势。 报告亮点...https://www.iyiou.com/research/20211213940
9.POLARDBIMCI白皮书云原生HTAP数据库系统一主体架构与接口...3.2 设计理念 我们以下面突出PolarDB-IMCI的设计理念,这也适用于其他云本地HTAP数据库。 存储计算分离。同时作为云本地数据库的关键设计原则,存储计算分离架构在没有数据移动的情况下实现了适应性计算资源配置,这已经成为主流架构的替代方案。PolarDB-IMCI采取此决策以自然地达成我们的设计目标G#5(高资源弹性)。 单个...https://cloud.tencent.com/developer/article/2324418
10.白皮书DSG大型数据库统一容灾备份热平台DBP软件本白皮书介绍了DSG的DBP(Disaster & Backup Platform)解决方案,是一种基于大型数据库Oracle的应用系统的容灾备份一体化的解决方案。 DSG的DBP是一种高性能的解决方案。当灾难发生时,基于数据库的物理备份和复制技术DBP解决方案,可以兼顾数据库的备份以保证数据不丢失、可以兼顾及小时以内容灾切换等目标,基本可以实现国际...https://blog.51cto.com/u_64239/611563
11.FITI:2024年金融数据库存算分离架构选型白皮书本文件探讨了金融行业数据库技术架构的演变,特别是存算分离架构的应用实践,分析了存算分离架构在性能、可靠性、扩展性、运维、成本效益等方面的优势,以及在实际应用中的挑战和解决方案。 要点总结 1金融行业数据库技术架构演变 金融行业作为信息技术应用的前沿阵地,对新技术展现出较高的敏锐度和快速响应能力。https://www.001ppt.com/ai/read/b1a94b
12.收录1600份白皮书,他立志创建加密白皮书的维基百科法律专业人士John van Rijck建立了目前世界上最大加密货币白皮书数据库,潜在投资者可以通过他的网站All Crypto Whitepapers免费搜索、查询大约1,600个项目的白皮书。 Van Rijck最近接受了Bitcoin News的采访,讲述了他为什么单枪匹马地投入这么多时间开发这个网站,他认为谁是真正会去读这些白皮书的人,这些白皮书的真正价值...https://528btc.com/blocknews/29204.html