如何执行补数据并查看补数据实例大数据开发治理平台DataWorks(DataWorks)

不支持手动删除补数据实例,实例过期后(30天左右)平台将自动删除。如果任务不需要再运行,可选择冻结实例。

公共调度资源组实例保留一个月(30天),日志保留一周(7天)。

独享调度资源组与Serverless资源组的任务实例、日志均保留一个月(30天)。

运行完成的实例,当日志大于3MB时,平台会每天定时清理。

权限限制

对于补数据中选择的根任务或其下游任务,若您没有任务所在工作空间的操作权限,则无法对该任务执行补数据。如果工作空间的任务为本次补数据的中间任务(即该任务的上下游依赖在此次补数据范围内),为保障下游任务运行,该任务将空跑(不会真实执行,任务启动运行后立即返回成功状态),可能导致该任务的下游任务数据产出异常,请谨慎操作。

当补一个区间的数据时,若启动补数据的第一天存在一个运行失败的实例,则当天的补数据实例均会被置为失败状态,第二天的实例也不会启动运行。仅当第一天的全部实例均运行成功,第二天的实例才会启动运行。

如果周期实例和补数据实例均启动运行,为保证周期实例正常运行,您需要终止补数据实例的运行。

支持将无需补数据的任务添加至黑名单。若黑名单中的任务为本次补数据的中间任务(即该任务的上下游依赖在此次补数据范围内),为保障下游任务运行,该任务将空跑(不会真实执行,任务启动运行后立即返回成功状态),但可能导致该任务的下游任务数据产出异常。

补数据实例过多或并行数过高可能导致周期调度的资源紧张,请根据需求合理配置。

为避免补数据实例占用过多的资源而影响周期实例运行,平台对补数据实例制定以下规则:

如果补数据选择业务日期为昨天(T-1),即补当天数据时,补数据任务优先级由任务所在基线优先级决定。

如果补数据选择业务日期为历史业务日期(T-2)时,补数据任务将按照以下规则对任务进行降级处理:

7级、8级任务优先级降为3级。

5级、3级任务优先级降为2级。

1级任务优先级保持不变。

进入运维中心页面。

在左侧导航栏单击运维助手>补数据,进入补数据页面。

如需对某个周期任务补数据,也可在运维中心>周期任务界面,单击对应任务后的补数据。

在补数据页面单击新建补数据任务,根据业务需求配置补数据任务。

配置基础信息。

平台自动生成默认格式的补数据名称,您可按需修改。

选择要补数据的任务。

您可通过手动选择、按链路、按工作空间、指定任务及所有下游等方式,对您有权限操作的任务发起补数据,并基于该任务选择需要补数据的其他任务,不同方式的配置参数存在差异。

选择一个或多个任务作为根任务,再选择根任务的下游任务作为本次补数据的任务范围。该方式兼容原“当前节点”、“当前节点及下游节点”以及“高级模式”补数据方案。

兼容原当前节点、当前节点及下游节点、高级模式等补数据方案。

最大支持同时补的根任务数上限为500,总任务数(即根任务及其下游任务)上限为2000。

详细参数说明如下。

参数

描述

方式选择

选择手动选择。

搜索根任务

通过名称或ID搜索、添加根任务。您也可单击批量添加,通过资源组、调度周期、工作空间等条件搜索,批量添加多个根任务。

仅支持选择您已加入工作空间(即您为工作空间成员)的任务。

已选补数据列表

待执行补数据的任务。列表展示已添加的根任务,您可基于根任务选择要执行补数据的下游任务。

支持根据依赖关系的层级筛选下游任务,根任务的直接下游任务默认在一层,以此类推。

最大支持同时执行补数据的根任务数上限为500,总任务数(即根任务及其下游任务)上限为2000。

任务黑名单

若某任务无需补数据,可将其添加至黑名单。黑名单中的任务将不参与本次补数据。

仅支持将根任务纳入黑名单,若根任务中的子任务不需要补数据,请在已选补数据列表将其移除。

若黑名单中的任务为本次补数据的中间任务(即该任务的上下游依赖在此次补数据范围内),为保障下游任务运行,该任务将空跑(不会真实执行,任务启动运行后立即返回成功状态),但可能导致该任务的下游任务数据产出异常。

选择一个起始任务,以及一个或多个结束任务,通过自动分析,将根任务与结束任务间的所有任务作为本次补数据的任务范围(包括起始任务和结束任务)。

选择按链路。

搜索任务

通过名称或ID搜索,添加一个起始任务,以及一个或多个结束任务,平台将根据起始及结束任务分析中间任务(即中间任务为起始任务的直接或间接下游任务,为结束任务的直接或间接上游任务)。

中间任务列表

平台根据起始任务及结束任务自动分析到的中间任务列表。

列表仅展示2000个任务,超过2000的任务不会被展示,但会正常执行。

选择一个任务作为根任务,并按照下游节点所在工作空间确定本次补数据的任务范围。该方式兼容原“海量节点模式”补数据方案。

兼容原海量节点模式补数据方案。

不支持配置任务黑名单。

选择按工作空间。

通过名称或ID搜索、添加根任务。平台将对根任务下游任务所在工作空间的任务进行补数据。

包含根节点

定义此次补数据是否包含根任务。

补数据工作空间

基于根任务下游任务所在的工作空间,选择需要对哪些工作空间中的节点进行补数据。

仅支持选择当前所在地域中的DataWorks工作空间进行补数据操作。

选择工作空间后,默认对工作空间的所有节点补数据,您可根据需要自定义补数据的黑白名单。

任务白名单

除选中的工作空间包含的节点外,仍需要进行补数据的节点。

选中的工作空间中不需要进行补数据的节点。

选择一个根任务后,平台会自动分析,将该任务及所有下游任务作为本次补数据的任务范围。

仅在补数据任务运行时,才能看到触发运行的任务,请谨慎使用。

选择指定任务及所有下游。

通过名称或ID搜索、添加根任务。平台将对根任务及其所有下游任务进行补数据。

仅支持选择您已加入的工作空间(即您为工作空间成员)的任务。

若所选根任务没有下游任务,则补数据任务提交后将只补当前根任务的数据。

配置补数据运行策略。

参数说明如下。

业务日期

指定所选任务需要进行补数据的业务日期,精确到天。

例如,当前日期为2024-03-12,业务日期为2024-03-17,则等实际日期为2024-03-18(大于业务日期)时,补数据实例便会启动运行。

指定周期

建议仅在小时、分钟调度任务需要补指定周期的数据时修改该参数配置。

并行

若对多个业务日期执行补数据时,可指定若干个分组并发执行本次补数据任务。取值如下:

是:平台将按照指定的分组数对业务日期进行拆分,根据分组结果生成多个补数据批次并发执行。

否:按照业务日期顺序串行执行,前一个补数据实例运行结束后下一个补数据实例才会运行。

并行数取值范围为2~10组,多个实例并发执行的情况如下:

例如,业务日期为1月11日~1月13日,并行数为4组,则只会生成三个补数据实例(每个补数据实例对应一个业务日期),三个实例并发执行。

例如,业务日期为1月11日~1月13日,并行数为2组,则会生成两个补数据实例(其中一个补数据实例会包含两个业务日期,这两个业务日期对应的任务串行执行),两个补数据实例并行执行。

补数据告警

设置此次补数据操作是否会触发告警。

是:满足触发条件则产生告警。

否:此次补数据不会触发告警。

触发条件

设置告警触发条件:

失败或成功皆告警:无论补数据运行成功或失败,均会产生告警。

成功告警:补数据成功时才会产生告警。

失败告警:补数据失败时才会产生告警。

仅当补数据告警选择是时,需配置该参数。

告警方式

选择通过短信与邮件、短信、邮件等方式接收告警,告警接收人为补数据的发起人。

顺序

选择按照业务日期正序或业务日期倒序进行补数据。

调度资源组

指定运行补数据实例使用的资源组。

跟随任务配置:使用周期任务原本配置的资源组执行补数据实例。

指定调度资源组:使用指定资源组执行补数据实例,避免补数据实例与周期实例抢占资源。

配置补数据任务校验策略。

用于配置补数据校验失败时是否终止任务执行。平台将对本次补数据任务的基本情况和潜在风险项进行检测,具体如下:

基本情况:本次补数据涉及的任务数,生成的实例数,是否存在节点成环、节点孤立、实例无权限等情况。

单击提交,补数据任务创建完成。

若满足如下条件,补数据任务将无法运行:

在补数据页面右侧,单击展开搜索,可通过补数据名称、运行状态、节点类型等条件筛选需要查询的实例,也可快速批量终止正在运行的补数据任务。

检查状态:当前补数据实例的检查状态。

节点数:补数据实例包含的节点数量。

业务日期:运行补数据实例的日期。

操作:可对补数据实例进行批量终止、批量重跑、复用等操作。

操作名

说明

批量终止

可选择批量终止补数据实例中运行中状态的实例,执行此操作后,对应实例将被置为运行失败状态。

不支持终止运行未运行、运行成功、运行失败状态的实例

批量重跑

批量重新运行补数据实例。

仅支持重跑运行成功、运行失败状态的实例。

批量重跑会立即对选中的多个实例进行重跑,不会按照实例间的依赖关系运行。如需按顺序运行,请使用重跑下游或重新执行补数据操作。

复用

可选择复用某次补数据操作的节点集,方便您快速选定需要进行补数据的节点。

名称:单击节点名称,即可进入节点详情页查看更多节点信息。

运行时长:节点任务运行的时长。

操作:可对补数据节点任务进行查看DAG图、终止运行、重跑等操作管理。

DAG图

终止运行

可终止运行运行中状态的节点,执行此操作后,该节点将被置为运行失败状态。

不支持终止运行未运行、运行成功、运行失败状态的节点。

该操作将使实例运行失败,并阻塞实例的下游节点的运行。请知悉风险并谨慎操作。

重跑

重新运行目标节点任务。

仅支持重跑状态为运行成功和运行失败的节点。

更多

重跑下游

重新运行目标节点任务的下游节点。

置成功

将该节点任务的状态置为成功。

暂停(冻结)

将当前节点置为暂停(冻结)状态,并停止调度。

恢复(解冻)

将暂停(冻结)的节点恢复调度。

查看血缘

查看节点的血缘关系图。

对勾选的任务节点,单击终止运行或重跑,即可批量终止运行或重新运行所选的节点任务。

THE END
1.HTML实例HTML 实例 HTML 测验 HTML 总结 HTML 参考手册 HTML 元素(字母排序) HTML 元素(功能排序) HTML 浏览器支持 HTML 全局属性 HTML 事件 HTML 颜色名 HTML 画布 HTML 视频/音频 HTML 字符集 HTML 文档类型 HTML URL 编码 HTML 语言代码 HTML 国家代码 HTTP 消息 HTTP 方法 键盘快捷键HTML 实例HTML...https://www.w3school.com.cn/example/html_examples.asp
2.HTML代码大全(完整版).docx《HTML代码大全(完整版)》一、HTML基础1.HTML概述HTML(HyperTextMarkupLanguage)是一种用于创建网页的标记语言,是万维网的核心技术之一。HTML文档由一系列的元素组成,每个元素都由开始标签和结束标签包围,用于描述网页的内容和结构。2.HTML文档结构`<!DOCTYPE>`:声明文档类型,告诉浏览器这是一个HTML5文档。`<>`:根...https://www.renrendoc.com/paper/361071411.html
3.html文字居中html图片居中代码html文字居中和html图片居中方法代码,通过在html中实现文字居中图片居中篇 在html中实现文字图片内容居中有三种方法,其中两种使用CSS样式实现,一直使用原始的html标签内加入“align="center"”(居中)实现。 一、对body加CSS居中样式 - TOP 我们直接对body设置CSS样式:text-align:center 1、完整HTML实例代码: <!DOCTYPE...http://www.divcss5.com/html/h603.shtml
4.HTML/HTML5代码实例下载项目描述今天就来分享一个用HTML语言开发的农产品帮扶网站吧运行环境浏览器项目技术(必填)HTML+CSS运行视频(可选)无是否原创(转载必填原文地址)原创|转载(URL地址)项目截图(必填)以下是部分代码截图运行截图(必填)注意事项(可选)无... 浏览132评论0下载14牛币3公司产品介绍模板HTML/HTML5 ...https://www.zuidaima.com/code/html.htm
5.html5,实例开发代码侯伟东html5,实例开发代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Document</title> <meta name="viewport" content="width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=0"/>...https://www.cnblogs.com/houweidong/p/5878251.html
6.个人博客html代码开发实例源码下载个人博客html代码 网页布局 下载此实例 开发语言:CSS 实例大小:1.87M 下载次数:99 浏览次数:759 发布时间:2020-12-23 实例类别:网页布局 发布人:冯大佬 文件格式:.rar 所需积分:2 相关标签:个人博客个人博客 网友评论举报投诉收藏该页 同类人气实例 【CSS】 h5网页版打开摄像头源码...https://www.haolizi.net/example/view_151743.html
7.简化版2048微信小游戏html5核心代码(内含JAVA实例代码)爱给网提供海量的游戏源码专辑资源素材免费下载, 本次作品为简化版2048微信小游戏html5核心代码(内含JAVA实例代码), 本站编号48508543, 该游戏源码专辑素材大小为3m, 该素材已被下载:147次, 更多精彩游戏源码专辑素材,尽在爱给网。 浏览本次作品的您可能还对 html5 感兴趣。 https://www.aigei.com/item/jian_hua_ban_20.html
8.html导航栏下拉菜单怎么制作?这里有详细的代码实例超级码客html导航栏下拉菜单怎么制作?这里有详细的代码实例 2024-10-11 00:09:37 [ 作者:寻∝梦 ] 阅读数:8872 本篇文章介绍了关于html导航栏下拉菜单的制作,文章一开始就给出了全部的导航栏下拉菜单的代码,没看懂的下面都有详细的解释。下面就让我们一起来看这篇文章吧...https://chaojimake.cn/maker/18465.html
9.HTML中怎么实现div左右布局web开发1、摆布布局实例代码 如下div css实例html代码可直接拷贝复制外地实例。 <!DOCTYPEhtml><html><head><metahttp-equiv="Content-Type"content="text/html; charset=utf-8"/><title>摆布组织div 实例 css5.com.cn</title><style>#wai{width:400px;border:2pxsolid#900;padding:10px;overflow:hidden}.divleft...https://www.yisu.com/zixun/641910.html
10.Driver.js页面着重,新手引导,用户互交引导插件+案例html中直接引入 <linkrel="stylesheet"href="/dist/driver.min.css"><scriptsrc="/dist/driver.min.js"></script> html实例代码(vue同理) <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metahttp-equiv="X-UA-Compatible"content="IE=edge"><metaname="viewport"content="width=device-wi...http://0en.cn/archives/130.html
11.css/html网站政府模板源码「51前端」网站前端模板分享平台。标签页展示:css/html网站政府模板源码、css3/html5网页政府模板实例以及展示了很多css3/html5政府网站模板案例等等。https://www.51qianduan.com/temp/tag/370
12.HTML代码实例在HTML代码实例教程中,您可以学到有关HTML 基础,HTML 标题,HTML 段落,HTML 文本格式化,HTML 样式,HTML 链接,HTML 图像,HTML 表格,HTML 列表,HTML Forms 和 Input,HTML iframe,HTML 头部元素,HTML 脚本等基本知识。 课程目录 相关文章 课件下载 5小时学习时长 原创教程:独孤九剑系列 立即查看 第1章 HTML 基础 ...https://www.php.cn/course/1024.html
1.html5简单实例源代码html5源代码实例教程:http://www.w3school.com.cn/jquery/ 源代码下载: http://download.csdn.net/detail/wyx100/9827067 html5文件布局结构 html5文件布局结构html5语言标记 浏览器执行效果 html5文件源代码 源代码下载: http://download.csdn.net/detail/wyx100/9827067 ...https://blog.csdn.net/wyx100/article/details/70833515
2.java将html转成图片代码实例(html2image)java这篇文章主要介绍了java将html转成图片的相关资料,在Java开发中,将HTML转换为图片可以使用html2image库,文中通过代码及图文介绍的非常详细,需要的朋友可以参考下+ 目录 前言 最近有一个需求需要根据指定的样式生成图片,使用java原生技术有些麻烦,所以上网搜了下案例,最后发现最好用的还是html2image,这里进行简单总结...https://www.jb51.net/program/327312vi5.htm
3.html左右循环滚动代码,不间断循环滚动效果的实例代码(必看篇...* @para 用法实例 scrollObject(“res”,50,”up”,470,200,””,”resource”) 对contentById(resource)下内容进行滚动 * * @para 用法实例 scrollObject(“res”,50,”up”,470,200,”d:\\images\\”,””) 对filePath(images)下内容自动获取并进行滚动,目前只支持ie ...https://cloud.tencent.com/developer/article/2100882
4.大学生网页设计制作作业实例代码(全网最全,建议收藏)HTML+CSS+JS基于HTML+CSS+JavaScript仿淘宝购物商城设计毕业论文源码 点击查看? web期末作业设计网页——开平碉楼(20页)HTML+CSS+JavaScript 点击查看? HTML5期末考核大作业 基于HTML+CSS+JavaScript仿王者荣耀首页 游戏网站开发 游戏官网设计与实现 点击查看? HTML网页制作代码——简约的旅游图文相册博客HTML模板(12页)HTML+CSS+Jav...http://zhangshiyu.com/post/51164.html
5.HTML教程(看完这篇就够了)在本教程中,您将学习如何使用 HTML 来创建站点。 HTML 很容易学习!相信您能很快学会它! 本教程包含了数百个 HTML 实例。 <!DOCTYPE html><html><head><metacharset="utf-8"><title>水香木鱼的博客</title></head><body><h1>我的第一个标题</h1><p>我的第一个段落。</p></body></html> ...https://www.360doc.cn/article/22130000_1023371928.html
6.文字和图片居中的HTML代码怎么写?1、完整HTML实例代码: <!DOCTYPE html><htmlxmlns="http://www.w3.org/1999/xhtml"><head><metacharset="gb2312"/><title>W3Cschool居中实例</title><style>body{text-align:center}</style></head><body>W3Cschool会被居中</body></html> 2、居中实例截图 ...https://www.jianshu.com/p/c814e7ec1a04
7.HTML实例一菜鸟工具HTML实例一下载其他案例引用代码选择库运行自动执行 ?x 13 1 <!DOCTYPE html> 2 <html> 3 <head> 4 <metacharset="utf-8"> 5 <title>菜鸟教程(runoob.com)</title> 6 </head> 7 <body> 8 <hl>我的第一个标题</hl> 9 <p> 10 https://c.runoob.com/codedemo/1661
8.html网页设计实例范例带代码51CTO博客已为您找到关于html网页设计实例范例带代码的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及html网页设计实例范例带代码问答内容。更多html网页设计实例范例带代码相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。https://blog.51cto.com/topic/html-web-design-example-with-code.html
9.网页设计基础html/html5css3网页前端1+X网页考证PS美工第4章 表格与流体网格布局源代码下载 第5章 表单与行为源代码下载 第6章 模板和库源代码下载 第7章html和html5基础源代码下载 第8章 PhotoShop网页界面设计源代码下载 第9章 Flash动画素材制作基础源代码下载 第10章 网站设计制作实例源代码下载 2012版教材源...https://jx.gdgm.edu.cn/skills/solver/classView.do?feature=blockItem&action=browse&blockKey=30765007&siteKey=30764673&key=38412309&cleanSession=true&menuNavKey=30766576
10.超详细的HTML<!–…–>注释标签使用实例如需更多有关 HTML 事件属性的信息,请访问事件属性。 HTML注释的作用 一套完整的代码可以让人眼花缭乱,当程序员想要对某些部分进行修改的时候,可能要花很多的时间去找出那部分的代码。就像我们在文章中给重要的部分进行标记、做记号一样,在代码里可以使用到“注释标签”来对一些代码进行注解。注释标签不会在可视化界...https://www.w3cschool.cn/htmltags/tag-comment.html