ApacheDolphinScheduler支持使用OceanBase作为元数据库啦!海豚调度

DolphinScheduler是一个开源的分布式任务调度系统,拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性,适用于大规模分布式任务调度的场景。目前DolphinScheduler支持的元数据库有Mysql、PostgreSQL、H2,如果在业务中需要更好的性能和扩展性,可以在DolphinScheduler中使用OceanBase数据库作为元数据库进行替换。节点数量和规模可以自由调整,实现无缝扩展和缩减。

OceanBase数据库是阿里巴巴自主研发的分布式关系型数据库,具有以下特点:

分布式架构:OceanBase采用分布式架构,可水平扩展,支持PB级别的数据存储和处理。

高可用性:OceanBase采用分布式副本机制,实现数据的冗余备份,保证在节点故障时仍能提供可用的服务。

高性能:OceanBase采用多维度优化技术,包括数据存储、查询优化、分布式事务等方面,可大幅提升数据库的性能。

强一致性:OceanBase采用基于Paxos协议的多副本一致性算法,实现强一致性的分布式事务处理。

兼容SQL:OceanBase支持标准的SQL语言,包括DDL、DML和DQL等命令。

可扩展性:OceanBase支持在线扩容和缩容,可根据业务需求自由调整节点数量和规模。

安全性:OceanBase采用多层安全策略,包括密码加密、数据加密、访问控制等,保障数据库的安全性。

总之,OceanBase数据库具有高可用、高性能、强一致性等特性,适用于大规模、高并发的业务场景。

在DolphinScheduler中使用OceanBase做数据源在调度业务上的优势:

高性能:OceanBase可以处理大规模数据,而且在数据存储和处理方面都采用了多维度优化技术,所以相对于其他数据库,其有更高的性能表现,可以快速地处理数据。

高可靠性:OceanBase是一个分布式数据库,通过多节点的数据冗余备份,当某个节点发生故障时能够自动切换,保证服务的高可靠性。

事务处理:如果业务需要原子性的操作,OceanBase可以提供强一致性的分布式事务处理,从而保证数据不会出现不一致的情况。

分布式调度:DolphinScheduler自身是分布式任务调度系统,和OceanBase分布式架构相互匹配,可以充分利用Oceanbase的分布式特性,提供更高效率的调度服务。

可扩展性:DolphinScheduler和OceanBase都支持在线扩容和缩容,可以根据业务需求自由调整节点数量和规模,实现无缝扩展和缩减。

使用OceanBase作为数据源可以带来高性能、高可靠性、高安全性和强大的扩展性,和DolphinScheduler结合使用,将会为调度业务的稳定性、可靠性、可扩展性带来更优秀的表现。

SQL语法:OceanBase支持MySQL的常见SQL语句,如SELECT、INSERT、UPDATE、DELETE等命令。

存储引擎:OceanBase支持InnoDB存储引擎,从而可以兼容MySQL的事务和锁定特性。

存储过程:OceanBase支持MySQL的存储过程特性,包括存储过程、存储函数和存储触发器等。

工具和驱动:OceanBase支持MySQL的常见工具和驱动,如MySQLWorkbench、Navicat和JDBC等。

阿里公有云:在阿里云官网申请公有云的OceanBase实例,申请成功后可在控制台-云数据库OceanBase版-实例列表页面看到状态为运行中的实例:

本地启动Api服务:修改dolphinscheduler-api模块配置文件中的数据库地址

本地启动Standalone服务:修改dolphinscheduler-standalone-server模块配置文件中的数据库地址

同上

服务器部署:修改/apache-dolphinscheduler-3.1.2-bin/bin/env/dolphinscheduler_env.sh中的数据库地址

在使用DolphinSchedulerSQL文件dolphinscheduler_mysql.sql初始化数据库时,SQL的开始会设置SETFOREIGN_KEY_CHECKS=0不检查外键约束,需要注意的是OceanBase社区版4.0之前是不支持DDL语句的外键约束的。例官方版本V3.1.1,

所以在这里我们要注意下OceanBase的版本兼容性。

报错信息如下:

报错信息

DolphinScheduler本身是一个非常强大的分布式调度系统,它可以帮助您轻松管理和调度大规模的数据任务。而当它与OceanBase结合使用时,它可以为您提供更具弹性、更安全、更可靠的数据存储方式。这种组合可以帮助您更好地解决大规模数据任务管理和调度的问题,同时提高您的工作效率和任务应用的可靠性。因此,如果您正在使用DolphinScheduler来管理和调度数据任务,强烈建议您尝试使用OceanBase作为其元数据库,让您的任务应用变得更加高效和可靠。

THE END
1.阿里云无影云电脑 EDS 易用、安全、高效的云上桌面服务 通用- 4核8GB 1 个月免费 了解更多 域名 亚洲No.1 的域名注册商,注册量超 2000 万 首年低至0.5美元 了解更多 容器服务 Kubernetes 版 ACK 云原生 Kubernetes 容器化应用运行环境 Kubernetes 专有版和 Kubernetes 无服务器版免费使用 ...http://int.alibabacloud.com/
2.阿里云cdn下载,cdn技术,cdn软件,cdn自建,cdn部署,cdn安装阿里云阿里云定价_CDN价格详情注意:阿里云CDN仅支持近30天的日志下载,如对日志和计费有异议,请在日志有效期内提出对账申请,逾期无法提供对账服务。 如果您购买了资源包以后仍然出现扣费或者欠费的情况,请 更多内容请查看https://www.aliyun.com/price/detail/cdn ...https://wdcdn.com/html/cdnjishu/20241117/3015.html
3.活动回顾云原生开源开发者下载解决方案技术解决方案 文档与社区文档开发者社区天池大赛培训与认证 权益中心免费试用高校计划企业扶持计划推荐返现计划 支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心 关注阿里云 关注阿里云公众号或下载阿里云APP,关注云资讯,随时随地运维管控云服务 联系我们:4008013260 ...https://www.aliyun.com/sswb/1752813_1.html
4.阿里巴巴投资者关系投资者关系 股价信息 阿里巴巴集团 (BABA) - 纽约证券交易所 $ 87.110 -$2.240(-2.507%) 2024-11-19T20:01 EST 货币单位:美元 数据服务由阿里云提供,发放时间至少延迟15分钟。 阿里巴巴集团 (9988) - 香港联交所 HK$ 84.200 -HK$1.050(-1.232%)https://www.alibabagroup.com/investor-relations
5.公有云推介2服务助力企业数字化升级面向客户产品及案例介绍(60页...公有云推介2服务助力企业数字化升级面向客户产品及案例介绍.pptx,云服务助力企业数字化升级联合出品目 录CONTENTS一云的价值二 客户上云动机与典型案例解析三企业上云方案及云上产品满足多种业务场景万物互联带来的海量数据移动互联网带来的大规模用户访问复杂业务场景下对https://max.book118.com/html/2021/1125/7065053100004051.shtm
6.基于Tosca和Terraform的多云资源编排探索工具鲸品堂(1)terraform init:这一步是进行 provider 的初始化。在本案例中,我们描述了对接阿里公有云且使用 1.204.1 版本的情况。由于在此之前没有进行提前下载,因此在执行该命令时,Terraform 将自动进行下载。以下是示例输出: ? (2)terraform plan: 这一步用于检查 main.tf 中的逻辑是否合理,并且可以在 plan 执行日...https://xie.infoq.cn/article/4e50c981cfab3a91322553b5f
7.骞云统一运维管理平台V7.7正式发布支持云主机(阿里云/Azure)通过API来执行命令执行脚本 调整Azure Windows脚本执行接口,资源创建后直接将自定义数据中的脚本内容通过该接口执行 支持阿里公有云、Azure、AWS资源的键值标签双向同步功能 支持阿里公有云Redis云原生版的创建、导入和删除 支持阿里公有云Elasticsearch的创建、导入和删除 ...http://m.cloudchef.io/h-nd-319.html
8.云服务停止拆分!阿里最新季度利润大增34%,高管:市场环境发生变化而在市场环境变化之外,巧合的是,上周的11月12日,阿里云遭遇了大规模宕机。除了阿里旗下的淘宝、闲鱼、钉钉、饿了么、阿里云盘等一系列应用之外,就连阿里公有云业务的外部产品也出现了崩溃,波及范围极广,并持续了一个小时以上。 同时就在一年前的2022年12月,阿里云香港地域发生长时间持续性故障,服务中断一度超过12...https://www.elecfans.com/d/2315163.html
9.ZStack3.8.0发布OSCHINA针对混合云 IPsec VPN 互联场景,此前已支持多个本地私网(云路由网络 / VPC 网络)到阿里公有云的 IPsec VPN 连接,但一个云路由器 / VPC 路由器仅支持创建一条本地 IPsec 隧道。在 ZStack 3.8.0 中,本地 VPC 路由器下的每个 VPC 子网均支持与阿里云子网建立隧道连接。 https://www.oschina.net/news/113758/zstack-3-8-0-released
10.顺德农商银行公有云服务项目单一来源采购公告云服务器ECS、DataV数据可视化、视频点播、内容安全、活体人脸检测服务、域名证书服务、公网性能压测、宜搭、公有云组件接口服务(通义千问、高德友盟等)。 2.意向采购方式:单一来源 3.欲采用单一来源采购方式的原因及说明: 我行公有云相关应用部署在阿里公有云上,相关服务必须由阿里云计算有限公司提供,因此本次拟采用...https://www.sdebank.com/mainsite/gywm/cgpm/cgxx/2023122416004459920/index.html
1.阿里地区免费招标信息阿里地区采购服务平台阿里地区消防救援支队迎宾大道消防救援站室内训练馆建设项目合同公告10-11 2024年官网系统阿里云服务器租用合同10-08 中华人民共和国普兰出入境边防检查站货物项目DD24092913476520_hQoIVR09-29 交通运输部路网监测与应急处置中心阿里公有云账户续费服务项目单一来源采购合同公示09-27 ...https://www.jianyu360.cn/list/city/XZ_ALDQ.html
2.以云为基:鼎甲迪备引领云平台数据保护新潮流●与阿里公有云集成的备份方案 在阿里云公有云集成了鼎甲的备份技术,阿里云用户通过简单操作实现自主备份管理,享受高效、灵活且安全的云端数据保护解决方案。 云原生保护方案 Kubernetes 作为云原生的核心平台,其数据保护必不可少,不容忽视。鼎甲 DBackup 采用云原生非侵入式部署方式,无需依赖开源 K8S SDK,支持 Kubernete...https://maimai.cn/article/detail?fid=1854411082&efid=GvXC1IqSY5p_GbC3JCiLSg
3....Description:阿里企业邮箱,业内唯一家拥有独立公有云服务的...简介(Description) 354个字符 (一般不超过200字符) 阿里企业邮箱,业内唯一家拥有独立公有云服务的邮件运营商,高性能网络架构,支持按量计费节约企业成本,限时折扣优惠多多,多年阿里云邮箱运营经验,1000万用户的信任之选,阿里邮箱企业版,免费企业邮箱,安全稳定,全球云机房,海外多点部署,全球畅游,助力企业轻松上云. ...http://giacham.com/seoer/seo/www.ex-tmail.com
4....企业邮箱购买阿里企业邮箱拥有独立公有云服务的企业邮箱运营商,高性能网络架构,高可用/安全性高,无单点故障隐患,支持无缝集成钉钉,让企业办公更高效,全球云机房,海外多点部署,全球畅邮百度关键词 7天 30天 前10名 前20名 前30名 前40名 前50名 0 0 0 0 0 前10名 前20名 前30名 前40名 前50名 0 0 0 ...http://bfsyjyjs.com/tools/seo-lookup/www.yunkehudong.com
5.超级云阿里云合作伙伴精选云服务器CDN实人认证超级科技是阿里云战略合作伙伴,超级云精选阿里公有云产品,为用户提供云服务ECS、CDN、实人认证、数据库、DDos防御等产品。https://yun.chaojidun.com/
6.阿里云2022产品图标库(axure元件库版)提供阿里公有云的设计组件元素,更好的辅助完成产品经理设计相关工作。可以借鉴相关的设计思路。这个需要的分比较少,比较便宜,推荐需要的人下载。大家也可以多多交流,提提建议。公有云阿里在国内是比较知名的厂家了。非常有参考价值 展开 回答1: 阿里云2022产品图标库是一个旨在帮助设计师快速搭建云产品界面的工具。该...https://wenku.csdn.net/answer/5b5f67660f0a11eea6c2fa163eeb3507
7.公有云灾备和私有云灾备私有云灾备私有灾备云公有云灾备和私有云灾备是指在云计算环境中,为了应对硬件故障、网络故障、自然灾害等不确定因素,采取的数据备份和恢复策略。在这种情况下,公有云灾备和私有云灾备的主要区别在于数据存储和计算资源的位置和所有权。 公有云灾备 公有云灾备是指将数据存储在第三方云服务提供商的数据中心,并通过该提供商的云服务进行...https://cloud.tencent.com/developer/information/%E5%85%AC%E6%9C%89%E4%BA%91%E7%81%BE%E5%A4%87%E5%92%8C%E7%A7%81%E6%9C%89%E4%BA%91%E7%81%BE%E5%A4%87