陈小伟:从ChatGPT谈起,预测5个数据库开发趋势OceanBase技术站

随着数据快速增长,数据库稳定性问题导致的故障也越来越严重。我们先看几个具体的例子,是ChatGPT帮我找的:

2016年,某社交网络应用的一名工程师在修改一条SQL查询时犯了一个错误,导致了该公司的服务在全球范围内停机。该错误导致了数据库中某些表的数据无法访问,最终导致了整个系统的故障。

2017年,某电商企业曾因一次故障而导致其S3服务在美国东部地区停机。事后调查发现,该故障是由一个错误的删除指令引起的,这个指令本来只想删除一小部分数据,但由于编写了烂SQL,结果导致了整个数据中心的数据丢失。

2018年,某云厂商的云存储服务出现了一个故障,导致一些客户的数据无法访问。调查后发现,这是由于一个工程师在修改数据库的查询语句时犯了一个错误,导致了整个服务出现了故障。

我其实也问了中国大陆地区的情况,ChatGPT的回复也是有很多例子,但是不能够告诉我具体的公司名称,看来目前还是很保护中国大陆厂商的面子的,这背后不知道是否有团队在帮助做一些工作。

这些例子,比如烂SQL导致的系统不稳定,在数据规模不大的时候都不成为问题,但是目前的趋势就是数据规模越来越大,数据库作为保障信息系统稳定性的重要兜底装置,身上的担子就越来越重了。

近些年在数据管理领域的很多挑战,根本原因都可以归结到数据快速增长。信通院的报告显示,中国数据库市场规模近几年保持25%左右的年增长率。

表面上我们看到的是,数据存储规模在快速增加,数据库市场规模在不断增长。我们服务的用户场景,有一些具体的例子:

从数据库开发者的视角来看,或者说从数据库开发工具的视角来看,这背后数据库的实例数量、数据库实例内存储的对象的数量、使用数据库的业务系统的数量、以及数据库厂商的数量、数据库从业人员数量,都在不断地增长。

伴随着上述的诸多变化,给数据库的使用带来了很多问题,近些年在数据管理领域的很多挑战,根本原因都可以归结到数据快速增长。

数据快速增长,应用数量也不断增长,个人、企业的敏感数据流通范围更广了,数据带来的隐私泄露问题也越来越严重。这几年我们国家从顶层设计、法律法规、行业规范、企业自主意识方面都对敏感数据保护越来越重视。

列举一些近些年我们国家颁布的,一系列关于保障信息安全的法律法规和行业标准。

在数据安全之中,数据库扮演至关重要的角色,保证数据不泄露、丢失。数据不丢失是由ACID来保障的,不泄露则需要业务应用系统来和管理工具一起保障。很多客户已经开始重视这个问题,正在寻找解决方案,但解决方案并不普及,目前行业方案还不成体系,配套的开发工具也不够成熟。

数据量在快速增长,数据库实例数量在快速增长,行业的从业人员也在快速增长,但是不同角色并不是等比例增长。

在十几年前,一个OracleDBA管理的数据库实例规模在25个左右,总数据规模在5TB左右。现在的数据规模,如果按照之前的模式,DBA数量是远远不够的。此外,我们发现数据分析师角色人数也逐渐在增长,不同角色在和数据库打交道的时候,工作方式是不一样的。比如数据分析师,几乎不会去用Java连数据库做事务提交,更多的是写SQL、Python脚本等,然后在团队内也有协同的诉求。

从比例去看,DBA和总协同人数的占比甚至小于1/100,在大型互联网公司,这个比例已经接近1/1000。

我们选取了OceanBase服务的用户场景的数据库开发协同过程,不同角色的人员规模,出于保护客户信息的需要,这里的人数是一个近似值而不是准确值。

伴随数据增长产生了很多变化,这些变化导致各类风险的出现或者加剧,我们观察到的挑战,包括以下3个类别。

应对风险,不同行业、不同规模的企业也采取了很多办法,各有各的招,这里举一些典型的实践方案。

大型传统企业:通常采购数据库特权访问系统,基于特权系统的权限管控、SQL审核等功能,数据库特权访问管理系统也叫作数据库堡垒机,会和数据库客户端工具集成来实现权限管控,通常这些功能更多的应用于生产环境而不是开发环境;

大型互联网企业:通常选择自研平台,有独立团队负责开发维护数据库管控平台,对数据库变更过程、运行过程进行全流程管控;

中小型企业:私有云大量采用开源组装,开源产品选择面比较多,但是单一开源产品支持的数据库类型比较单一,功能也不够丰富,所以需要进行组装;

中小型企业:公有云直接依托云服务厂商提供的内置服务,比如阿里云RDS的用户直接使用DMS。

蚂蚁集团数据库开发的协同过程,整体是面向业务Developer视角来看的,因为业务侧才是需求方。

下图是Developer和DBA的协作模型,DBA负责资源规划和审批、部署运维、监控诊断、故障处理、变更审核,开发者负责资源申请、数据库变更。其中资源申请、权限申请、数据库变更等关键操作,需要业务方负责人和业务归口的DBA审核确认后才可以执行。

这里列举蚂蚁集团DBA日常工作中,使用的几个主要的系统:

上述系统大部分是DBA使用,Developer和DBA协同的主界面则是ODC。除了基本的资源申请和变更管控,ODC还提供了一系列用于保障数据安全稳定的功能,比如风险识别、高危操作管控、勿删应急等功能。

我们调研分析了一些数据库开发工具,范围涉及国内市场、海外市场,包括云服务和桌面软件,有商业工具,也有开源免费的工具,通过这些工具我们可以发现协同开发逐渐成为主流。

这里先列一个清单,是这两年从用户侧了解到有在使用的一些工具。

此外我们也看到这两年有一些新的产品出现,比如Bytebase、NineData等。

其中作为云厂商基础设施的,最典型的是DMS,DMS是阿里云的数据库开发安全管控产品,类似的还有华为云的DAS等。

MySQL生态,有不少开源工具产品也被大范围地使用,典型的如Yearning、SOAR、See等。

这里也列一个表格,和国内工具产品不同,海外市场商业工具更加成熟,开源工具更侧重于基础开发功能。

这里举两个比较特殊的产品,Navicat和Bytebase,这两个产品各有典型性。

作为广受开发者喜欢的数据库图形化客户端工具,Navicat给大家的印象更多时候是一个面向个人开发场景的工具。实际上Navicat也提供了协同能力,如NavicatCloud和NavicatServer,可以让用户在不同的设备和团队中共享和协作数据库。用户可以将数据库文件保存到NavicatCloud中,从任何设备上访问和编辑数据库。

NavicatServer则提供了一些高级功能,如用户管理、权限控制和版本控制等,可以帮助团队更好地管理和保护数据库。

Bytebase是2021年国内团队做的数据库协同开发工具,也是开源模式,高阶功能需要收费。基于项目进行协同,以数据库对象为管控目标。Bytebase也提供SQL检查、数据库变更流程、Git集成、备份恢复等功能。

作为数据库开发工具,我们在最开始看到是数据增长带来了一系列变化,并因此带来了系统稳定、协同效率和安全合规三个方面的问题。这个是大的趋势,我们认为数据库开发工具需要去解决这些重要的问题,但是具体到数据库开发工具还需要去做哪些考量,我们不能脱离数据库行业整体的一个格局和趋势,所以首先我们来看数据库行业的一些现状以及趋势。

刚开始看到DMS的时候,我其实觉得还挺强大的,不仅支撑了阿里巴巴、蚂蚁集团大规模业务场景下的数据库协同,也适用于各种阿里云数据库产品的开发和管控,功能非常全面。并且我也去找了国外的竞品,比如AWS/Azure等产品并没有类似的DMS这样强大的数据库管控功能。

那么事实果真如此吗?数据库全行业看,2021年全球数据库市场规模为697亿美元,其中中国数据库市场规模为47亿美元(约合305.8亿元人民币),占全球5.2%;美国开源与商业数据库数量基本持平,我国商用和开源占比分别为83.4%和16.6%;国内MySQL生态为主,海外PostgreSQL生态更活跃;国内数据库协同开源项目较多,海外开源项目以面向个人开发者为主,商业数据工具普遍在往DevOps方向发展。

混合云和多云的发展,可以说是客户驱动云厂商在做产品形态变化,中大型客户不再愿意被一家云厂商绑定。我们看到越来越多的行业场景在做应用架构、数据库架构的时候,混合云和多云成为趋势。这里混合云指的是公有云和私有云混合使用,此时云厂商一站式解决方案不再可用。

为什么这么说,因为TP和AP都有非常优秀的产品在做了,其中有一些还有显著的优势,那么我们是选择做一款更加厉害的TP产品,还是做一款更加厉害的AP产品好呢?每个厂商有自己的答案,对于OceanBase而言,我们相信TP和AP都可以,首先TP是我们的优势,而AP我们也做得不差,那就是HTAP。

话虽如此,当时实际上这个过程没有那么简单,有很多问题需要去解决,我们可以预见在几年之内,TP+AP混合场景仍将是主要场景。但是无论是TP+AP,还是HTAP都对开发工具提出了新的要求,实际上是一套库,还是多套库不是最关键的,最关键的是数据协同的角色,写数据的人和分析数据的人会比以前更加紧密地去协同,这个时候数据库开发工具就需要具备数据同步、全局对象检索MetadataCatalog、多角色协同等相对应的一些能力。

上面我们讲了市场格局、混合云和多云的趋势、还有HTAP或者说TP+AP这些新的场景,这里我们汇总一些具体到数据库开发工具方向,未来会是怎样的趋势,我判断会有5个趋势。

这是是我们今天讲的核心,数据库协同开发会越来越流行。

这一点是对协同开发的延伸,从开发工具到数据协同平台,这里有个概念叫做DataOps,目前为止还不是那么清晰,Gartner去年的报告对DataOps领域做了一些解读,认为未来三到五年会形成一个清晰的市场。

我们会看到数据库开发工具会兼具TP场景和AP场景下的功能。

集成主要是账号系统、审批系统的集成;被集成则是需要产品能够提供API,易于二次开发。

从两个方面去看:一方面是云,目前国内市场数据库60%以上的份额,已经在云上了,而且大家不愿意被一家云厂商绑定,所以跨云的SaaS是很自然的结论。

另一方面,软件业的开源趋势应对全球市场的优势,特别是在现在跨地域、跨云的场景下,在数据管理领域,被全球更广泛的客户信任非常重要,那么你的服务形态一定是SaaS。此外,还要用最低的成本获取更多地区的客户信任,答案就是开源了。所以我认为未来的趋势,开源和SaaS是必然。

正是由于数据的不断增长,带来了数据库稳定性、数据安全、协同效率等三大挑战,云数据库、混合云、HTAP等数据库技术和使用趋势,又给数据库开发工具提出新的功能要求。所以数据库开发工具需要提供更加完善的功能,帮助DBA减轻负担,从而提升数据库开发和运行效率、保障数据库稳定运行。

目前,OceanBase针对上述问题已经有了自己的一套解决办法,我在这里简单介绍一下OceanBase的开发者中心即ODC,这几年它从一个数据库图形化客户端工具,逐渐变成一个面向协同开发场景的管控平台。

OceanBase的功能有很多,不仅有图形化的客户端工具,还在系统稳定,协同效率方面都有功能提供,上图中,黑色字体是已有的东西,蓝色是正在做和今年会做的东西,今年我们将在SQL开发、协同效率、系统稳定、安全合规四个方面做各种各样的优化。

THE END
1.下载中心关于蚂蚁集团 诚征英才 联系我们 开放平台 International Business About Alipay Copyright @ 2020 支付宝(杭州)信息技术有限公司 ICP证浙B2-20160559 https://render.alipay.com/p/f/fd-jwq8nu2a/pages/home/index.html
2.鞭牛晚报:蔚来员工曝加班近500小时进急诊3次;小米回应6.8亿美元...对此,蚂蚁森林发文回应:经山水自然保护中心确认及现场勘查,文中指出的无纺布地块,不属于“蚂蚁森林嘉塘保护地”项目地块,与蚂蚁森林公益项目无关。蚂蚁森林表示,经过现场勘查,位于珍秦二村的“蚂蚁森林嘉塘保护地”没有发现无纺布覆盖,不存在文中指出的污染情况。http://www.bianews.com/news/details?id=147741
3.同程IPO前傍上万达餐饮供应链市场涌入大量资本7月3日,蚂蚁金融服务集团(以下称“蚂蚁金服”)宣布已经完成首轮融资,包括全国社保基金等在内的国内优质投资者成为蚂蚁金服股东。蚂蚁金服总裁井贤栋表示,融资之后蚂蚁金服会继续加大投入,在扩大对国民的服务能力基础上,与国民分享成长价值,希望成为一家真正的“国民企业”。 http://www.bylai.com/edu/edu-27813.html
1.Premia4G支付宝下载华为Premia4G支付宝10.6.58.8000免费...支付宝是蚂蚁集团旗下业务,诞生于2004年,已经成长为的数字支付开放平台和服务业数字化经营开放平台。 我们面向消费者、各行各业商家提供便捷、安全的数字支付服务,面向合作伙伴持续开放技术、产品,助力实现数字化升级。 与此同时,大量商家机构通过支付宝App为消费者提供政务办事、扫码点单、生活缴费等超过1000种生活服务...https://sj.zol.com.cn/huawei/premia/detail_19756.shtml
2.支付宝下载安装到手机alipayappdownload支付宝,一般又称蚂蚁借呗,蚂蚁花呗app,借呗贷款,蚂蚁借呗贷款app,Alipay。 支付宝是蚂蚁集团旗下业务,诞生于2004年,已经成长为世界领先的数字支付开放平台和服务业数字化经营开放平台。 我们面向消费者、各行各业商家提供便捷、安全的数字支付服务,面向合作伙伴持续开放技术、产品,助力实现数字化升级。 https://www.liqucn.com/rj/10070.shtml
3.蚂蚁市场下载蚂蚁市场最新版下载蚂蚁市场app下载蚂蚁市场下载栏目提供了最全的蚂蚁市场版本内容,喜欢这款软件的用户,可以下载最新的官方版本,还能够找到相同类型的APP,保证每一位来到这里的玩家都能够找到感兴趣软件版本。更新时间:2024-09-17蚂蚁市场版本大全 官方版 蚂蚁市场相关软件 华为应用商店 安卓版 系统工具|49.56MB vivo应用商店 安卓版 系统工具|27.47...https://shouyou.3dmgame.com/zt/193804_game/
4.目前市场上的AP大体上分为两种:瘦AP和胖AP,两者最大的区别就是瘦...刷刷题APP(shuashuati.com)是专业的大学生刷题搜题拍题答疑工具,刷刷题提供目前市场上的AP大体上分为两种:瘦AP和胖AP,两者最大的区别就是瘦AP可以集中管理而胖AP不可以,所以在室内分布系统中用的更多的是胖AP。()A.正确B.错误的答案解析,刷刷题为用户提供专业的考试题https://www.shuashuati.com/ti/84a4b651ac96492da6507776544bf31f.html?fm=bdbds68b9cbfc097a78dd16da37c7e484348a
5.玩转小米盒子1:选购指南及应用推荐小米盒子1安卓版本蚂蚁市场 这是一个电视盒子应用商店类的软件,和当贝、沙发管家之类的类似: 官网在这里,自行下载即可。 如果官网挂了,这里提供一个备份安装包:https://wws.lanzoui.com/iKBgSvanakj 密码:7bkh。 火星直播 因为众所周知的原因,支持电视直播的盒子APP越来越稀少了,而没广告、支持回看,甚至是比电信运营商自家的电视...https://blog.csdn.net/hy6533/article/details/120781538
6.无线ap供应商,价格,无线ap批发市场马可波罗网无线ap批发市场,包括无线ap,无线ap价格,无线ap供应商,无线ap厂家。查找无线ap相关产品,产品报价,企业信息,请上马可波罗网。http://b2b.makepolo.com/cpinfo/mx2238103.html
7.xinquan.liaozhong7.cn/yyys/202410同时,欧洲市场的消费者对于汽车的质量和性能有着更高的要求,这也将对中国车企的产品,提出更高的挑战。$“= 杨洪,男,侗族,2000年3月21日出生,黔东南州施秉县甘溪乡高碑村人。2010年8月因触电失去双臂。因从小生长在?阳河风景名胜区,母亲见其水性好,又爱好游泳,2012年8月,把杨洪送到镇远县开始游泳训练。#...http://xinquan.liaozhong7.cn/yyys/2024-10-29/59509093.htm
8.m1.bocew.com/newxr24256728最后的结果,嘉士伯成了那场收购之争的最终赢家,并且依靠重啤的资源和渠道成功打开西南市场,成为了西部省份啤酒市场的领导者。 但嘉士伯对重庆的承诺却始终没能兑现: 嘉士伯中国区管理总部一直都在广州; 2022年还将上市公司重庆啤酒的办公地址从重庆迁移到了广州。https://m1.bocew.com/newxr24256728
9.lx.miaoji007.com/newxr44337340/40809921.htm这也是普洛斯持续深耕中国市场的一个缩影。相关数据显示,2023年,普洛斯资本GCP全球新增募资约60亿美元,其中超过30亿美元来自中国市场新设立的基金和投资平台,包括携手国家绿色发展基金及国家能源集团旗下绿色低碳基金设立的首个综合性绿色能源投资平台,以及多只在岸人民币收益基金等。 https://lx.miaoji007.com/newxr44337340/40809921.htm
10.www.58co.cn/newxr69198124/www.58co.cn/newxr69198124/12988422...2024年,国内旅游市场的数字不断攀升,然而高端酒店市场却遭遇寒流,无论是消费还是拍卖转让均显得冷清。&,- 搜索 海报新闻 融媒体矩阵 山东手机报 海报...欧美大荫蒂毛茸茸视频 国语自产少妇精品视频蜜桃蚂蚁 秋霞电影大香蕉鲁丝 性爱动态图gif 老司机蜜芽精品A∨在线播放 阿娇囗交13分钟在线播放 儿媳玥玥 一...http://www.58co.cn/newxr69198124/www.58co.cn/newxr69198124/12988422.htm
11.football.citymedia.cn/newxr97301602/34025039.htm去年4月央行指导利率自律机制建立了存款利率市场化调整机制,自律机制成员银行参考以10年期国债收益率为代表...非洲黄色干逼视频Ap 免费看GV的网站 06.36MB 8836好评 上面一边亲下边 円城ひとみX99AV Ferrhttp://football.citymedia.cn/newxr97301602/34025039.htm
12.www.hndfzx.com/xxxr69349721按此测算,全国层面首套、二套房最低贷款利率分别为4%、4.8%,但一些楼市较“冷”的地方首套房贷利率可突破前述下限,有针对性地降低房贷利率,稳定当地房地产市场。_——。 “帮助伪造证据案”则发生在2013年12月。当时,一个名叫秦六林的借款人欠刘强高利贷无力偿还,双方商议将秦名下的4间商铺租给刘强来抵债,但...http://www.hndfzx.com/xxxr69349721
13.www.bilitao.cn/xxxr54038897.shtml起因是市场下跌比较狠,某只基金回撤比较大,一些理财经理为了宣泄自己的不满,在微信后台以“诱导销售”...今日蚂蚁庄园最新消息 810.71MB 044好评 日本18岁免费在线观看 二次元双人摇床网站 骚逼色天天 ...欧美一级A啊A啊AAAAAP片 插我小穴视频 女生娇喘吁吁啪啪黄片视频 23.84MB 82%好评64人) 四川...http://www.bilitao.cn/xxxr54038897.shtml
14.三生轮回诀与其他平台相比,东郊到家对合作商户的选择更加严格和谨慎。东郊到家注重合作商户的信誉和口碑,只与有良好经营记录和服务质量的商户合作。同时,东郊到家还提供全面的支持和服务,包括市场推广、技术支持和售后服务等,帮助合作商户快速成长并取得成功。-- 「活动」首次登录送19元红包 ...http://dez.uin8.com/vendor/symfony/neon.php/mokied/703403.html
15.zhongjia1818.com/newxr94328267/53436754.htm造成英伟达盘后大跌的原因是,该公司公布的营收预测低于最乐观的市场预期,从而引发了投资者对其爆炸式增长正在减弱的担忧。 热门股表现 ...蚂蚁庄园今日课堂答题 63.91MB 21%好评628人 国内精自线一二三四2021网站 波多野吉衣一区二区三区 原神角色不遮副乳照片 27.94MB 75%好评548人 ...http://zhongjia1818.com/newxr94328267/53436754.htm
16.live.huidaoyun.com/newxr76703466/32780200.htm丁雄军上任后,公开表示要“让茅台酒回到合理的市场价格”、“让茅台酒回归商品属性”,主要手段是营销渠道和价格体系改革。 换个角度看,茅台终端价格疲软正是向“合理市场价格”的回归。眼看离自己立的Flag越来越近,丁雄军却抱憾离任。 2024年前六个月中,仅五月、六月由新领导班子操盘,但从《2024年中报》已能看出一...http://live.huidaoyun.com/newxr76703466/32780200.htm
17.www.jxmzxx.com{$woaini}>www.jxmzxx.com{$woaini}预计到2023年底欧盟将囤积100吉瓦的光伏组件。2023年以来,中国对欧光伏组件每月出口量均高于去年同期水平,3月份出口量甚至同比增长51%。中国光伏行业协会数据显示,今年上半年中国光伏产品出口总额初步测算超过290亿美元,同比增长约13%。最大市场欧洲占比约五成,增速超40%-。http://www.jxmzxx.com/appnews_20241112/96162096.html
18.www.evcev.com/maaj86995670.htm蚂蚁新村小课堂今日答案最新 63.42MB 262好评 美团外卖猛男Gayb0y1069_中青在线 五月丁香黄色网站 ...2023年度日本正能量大豆市场情况_扬子晚报 89.23MB 01%好评42人) 少妇把腿扒开让我添69小说 红领巾...黄台窗口官方大全(官方)APP下载安装IOS/安卓通用版/手机ap_天眼新闻 你的棍棍可以通通我的下水道吗...https://www.evcev.com/maaj86995670.htm
19.10月1日蚂蚁庄园探秘在这个充满神秘与挑战的世界里,每一天都是一场新的冒险。10月1日,蚂蚁庄园迎来了一个特别的日子,许多小伙伴们都在寻找答案,以解开未知之谜。在这篇文章中,我们将深入探讨这一天发生了什么,并揭示那些隐藏在表面之下的秘密。 解锁第一步:收集资源 首先,小伙伴们需要了解如何有效地收集资源。这包括学习如何种植农...https://www.jdlxsvoxap.cn/shi-chang/216778.html
20.blog.jiashu.plus/aplido11狗狗猛涨精肉狗大壮市场占有率 国外黄岗不收费 红桃视颢官方隐藏人口 每日大赛吃瓜网站在线 大寄吧抄13 每天都在汆肉中度过高清 家庭监控小马拉大车 蚂蚁影视17c 开元传媒的最新电影 海角封神27岁的财务姐姐 满18周岁安全转入2024 中国windows野外mgdrcc 性教育的电影 兄弟骨科hlH 近相亲祖母六十代 成免费...http://blog.jiashu.plus/aplido_11_14/205039.html
21.blog.xuewuboy.club/aplido11狗狗猛涨精肉狗大壮市场占有率 动物胶配方高清视频大全动 17c一起槽国卢 花房姑娘第四季在线观看免费 母与子之间的阴阳调和大河自西 大地影视中文在线 ...蚂蚁影视17c 他的舌头好像有魔力一般小说 老狼之家永久域名 一起草cnn网页端 女人牦户突出的好处 一起草官网登录 吾爱嘟噜啦最新入口 坐在爸爸的大紫...http://blog.xuewuboy.club/aplido_11_15/730418.html