PICC数据平台原系统建设在TD一体机平台上,软硬件紧耦合,使用和运维成本很高。目前存储容量和处理性能已达瓶颈,无法纵向扩容,扩容需要中断业务。
本项目旨在通过采用MPP数据库产品来重构系统,通过大规模并行处理的架构,开放的X86硬件平台,建设具备分布式计算和水平线性扩展能力的大数据平台。按照应用场景的不同,构建独立平台,实现平台隔离,避免资源竞争。以解决目前中国人民财产保险股份有限公司数据平台存在的存储资源和计算性能不足的问题。
建设要求
未来中国人民财产保险股份有限公司将形成TD一体机和MPP数据库共存的数据服务平台。
1.可以将运行于TD上的经营分析平台、车险分析和理赔分析等系统的部分功能迁移至MPP数据库上,减轻一体机的压力。
2.利用MPP数据库构建大数据资源中心,促进数据资源融合共享,提升数据资产运营管理能力。
3.将目前在Oracle和Informix系统上运行的数据分析系统移植到MPP数据库中,在大幅降低成本的同时,提高系统的运行效率,为中国人民财产保险股份有限公司的经营分析和业务发展提供更好的数据服务。
针对PICC的特点及建设规划,使用GBase8a集群建设大数据资源中心,通过GBase8a集群的列存储、智能索引、线性扩展、分布式并行计算等技术特性支撑用户的业务发展需求,解决TD一体机、Oracle面临的性能瓶颈和不能线性扩容问题。实现了数据分析的统一整合、统一管理、统一调度,为实现PICC的新目标打下了坚实的基础。
利用GBase8a集群数据库构建大数据资源中心,促进数据资源融合共享,提升数据资产运营管理能力。整体系统的架构图如下:
PICC数据平台架构图
在Oracle和TD系统上运行的数据分析系统移植到MPP数据库中,在大幅降低成本的同时,提高系统的运行效率,为PICC的经营分析和业务发展提供更好的数据服务。
搭建基于GBase8aMPPCluster的大数据湖平台,接入上游业务系统数据;逐渐剥离主仓业务,从集市入手逐渐降低TD主仓业务负载,剥离核心业务,从并行运行到逐步迁移替代。
实施情况
目前PICC已完成数套生产集群共百余节点安装部署,整体承载数据量约数PB。其中ACRM系统搭建A、、B集群承载主要业务,日增量基础数据、月度报表可很快完成数据发布。替换原数据库Oracle后,整体性能提升2~10倍。SGA、ODS、F、DW、DM各层整体数据量数百TB,完成千余个程序迁移工作。
效果及价值
高性能:智能索引、全并行架构,支持极速查询分析,全面支持高性能查询分析场景。ACRM系统数据库从Oracle+IBMP780服务器迁移到GBase8a集群+X86服务器上,在硬件配置比接近1:1的情况下,性能提升2-10倍以上;
可扩展:开放架构,可实现按需水平扩展:Shared-Nothing架构,支持不中断业务在线按需扩展;
高可靠:全组件HA,无单节点故障:联邦架构,集群管理节点、数据节点等组件全HA设计;支持双活集群,全方位保障系统的可用性;
易管理:一键节点替换:提供极简式节点硬件故障处理功能;集群间工具DBLink:实现两套集群间数据可互访;集群管理工具和监控工具,对多套集群集中式、图形化操作。
原厂服务:原厂为PICC提供TD数仓迁移,Oracle迁移的解决方案及专家支持服务。
天津南大通用数据技术股份有限公司(简称:GBASE)成立于2004年,注册资金1.6亿元,公司自成立以来始终坚持自主创新,产品的核心技术及底层代码自主可控,构建了覆盖数据管理全生命周期,包括分析型、事务型、分布式事务型、云原生数据仓库等全技术栈的数据产品体系及服务解决方案。
南大通用自主研发的GBase系列数据库产品及服务范围覆盖全国32个省级行政区域。为金融、电信、政务、能源、交通、国防军工等百余个行业上万家用户提供产品和服务,建立节点超过30000个,管理数据总量超过300PB。并远销美国、巴西、墨西哥等三十余个国家及地区。