存储健康分:表初始100分,根据通用计算治理项命中的情况进行扣分,以表的大小为权重进行汇总计算,最终汇总到个人/项目/租户粒度。
计算健康分:节点初始100分,根据通用计算治理项命中的情况进行扣分。最终汇总到个人/项目/租户粒度。
治理对象
分数指标
打分规则
存储健康分
物理表和逻辑表的权重为:物理表总存储分*70%+逻辑表总存储分*30%。
物理表
单物理表分数
初始总分为100分。
空物理表扣10分。
废弃物理表扣40分。
未管理的物理表扣20分。
生命周期过长的物理表扣10分。
总物理表分数
计算口径为:各物理表的加权平均数。
物理表权重为表的存储大小,空表大小默认1。
逻辑表
单逻辑表分数
空逻辑表扣20分。
黑盒物化的空逻辑表扣30分。
废弃逻辑表扣30分。
未管理的逻辑表扣20分。
总逻辑表分数
计算口径为:POW(sum(逻辑表明细分)/逻辑表总分数,4)/1000000。
计算健康分
总分计算规则:POW(sum((节点明细分)/生产环境节点日运行数量,4)/1000000。
任务节点
单计算节点分数
初始总分100分。
数据膨胀扣10分。
节点报错扣分规则为(pow(2,7天内出错次数-1)-1)。
空表导入扣50分。
输入为空扣50分。
产出表未读取扣50分。
暴力扫描扣50分
公式如下:
100-数据膨胀-数据倾斜-节点报错-空表导入-输入为空-产出表未被读取-暴力扫描。
计算口径如下:
pow(greatest(0,100-所有扣分)),4)/1000000。
在Dataphin首页,在顶部菜单栏选择治理>资源治理。
在左侧导航栏选择资源管理>资源分析,进入资源分析报告页面。
您可以查看Dataphin全局指标(图示①)、治理健康度(图示②)、趋势分析(图示③)、项目分析(图示④)。
总任务表:报告日期对应的任务实例总数。
总表数:全局数据表总数,包括开发和生产两类项目中的逻辑表和物理表。
项目数:全局项目总数,包括生产和开发两类项目。
开发者数:Dataphin成员列表中成员数量的总和。
健康度包括计算和存储两部分。
计算健康分:为您展示报告日期当天的计算健康评分。健康分是根据健康分高低进行分段评估:
大于等于85分,健康等级显示为高。同时提示您状况不错,保持住哦!
大于等于60分小于85分,健康等级显示为中,同时提示您刚及格,请继续改进!
小于60分,健康等级显示为低,同时提示您尚未及格,抓紧提高分数!
计算消耗:为您展示计算治理领域消耗的资源,1cm代表1个核占用1分钟,1cu代表1个核占用1天。计算口径如下:
1core*60s=1CM--表示单核CPU跑了一分钟。
24h*60CM=1CU--表示单核CPU跑了一天。
1000CU=1KCU。
形式说明如下:
1000CM以内,使用CM单位。例如987CM。
超过1000CM,使用CU单位。例如1200CM=0.83CU。
超过1000CU,使用KCU单位。例如1100CU=1.1KCU。
小数均保留小数点后两位,您可以使用更高级单位进行量级换算。
存储健康分:为您展示报告日期当天的存储健康评分。
存储消耗:为您展示治理领域消耗的存储资源。
存储单位为B/KB/MB/GB/TB/PB/EB/ZB。
待提升管理个人:计算部分展示计算健康分最低的10个人,存储部分展示存储健康分最低的10个人。
单击趋势分析后的存储,进入存储健康分页面。默认展示30天内存储健康分和存储健康分(均值)的数据趋势。
您可以将鼠标悬浮在具体的日期上,查看以此日期为基础的最近7天内存储健康分(均值)和该日期的存储健康分。通过比较存储健康分(均值)和存储健康分判断数据趋势的稳定性,存储健康分(均值)和存储健康分差距越小,数据的稳定性越好。例如上图中的标识③所示,以2023-01-18为基础的最近7天内存储健康分(均值)为71.41分,2023-01-18当天的存储健康分为71.38分。
数据展示的方式及意义与存储健康分页面一致。
单击趋势分析后的计算,进入计算健康分页面。默认展示30天内计算健康分和计算健康分(均值)的数据趋势。
在计算健康分页面,单击页面右上角的计算消耗,默认展示30天内计算消耗和计算消耗(均值)的数据趋势。
项目分析模块默认以项目和业务板块为维度,为您展示所有项目下的项目名称、业务板块、任务数、表数量、计算量、存储量、计算分、存储分、管理员和待治理项信息。
项目名称:该项目的名称。
业务板块:该项目所属的业务板块。
任务数:只取生产环境的任务数,包括同步任务和代码任务。
表数量:项目内所包含的表数量,包括物理表和逻辑表。
计算量:项目内所有任务执行所消耗的计算量,单位为CU。
存储量:项目内所有数据表所占用的存储空间,MaxCompute引擎的存储大小是三副本,Hadoop系列引擎的存储大小是单副本。
副本指的是一份数据可以在不同的节点上存储,这些节点上存储的每份数据相同,数据副本是增加数据存储冗余来防止数据丢失。