顶尖数据挖掘开发平台(TipDMD2)产品白皮书刘名军

地址:广州市经济技术开发区科学城232号

热线:40068-40020

邮编:510663

目录

第1章引言.....................................................................................................................3

1.1.产品简介...........................................................................................................3

1.2.产品功能...........................................................................................................3

1.2.1.产品构成..................................................................................................3

1.2.2.TipDM数据挖掘建模平台.........................................................................4

1.2.3.Model-Int模型调用模块............................................................................5

第2章快速开发示例.......................................................................................................5

2.1.建设目标...........................................................................................................6

2.2.模型构建...........................................................................................................6

2.3.模型发布...........................................................................................................8

2.4.模型调用...........................................................................................................9

2.5.模型更新..........................................................................................................10

第3章接口开发示例.....................................................................................................10

3.1.创建方案..........................................................................................................11

3.2.加载数据..........................................................................................................12

3.3.模型训练..........................................................................................................12

3.4.模型评价..........................................................................................................14

3.5.模型应用..........................................................................................................15

第4章联系我们............................................................................................................16

随着企业信息化的推进和应用水平的不断提高,企业中积累的数据规模越来越庞大。如何有效地利用历史数据,挖掘出价值的分析信息,从而帮助企业能够对未来变化作出及时正确的决策,最终在激烈的市场竞争中占据主动,已经成为当前企业越来越迫切想要解决的问题。顶尖数据挖掘开发平台(TipDM-D2,称简D2)数据挖掘开发平台就是这样一套用于从大量的企业数据中创建出智能知识技术,快速进行应用定制的二次开发平台。

D2以智能预测算法为核心,并提供标准的应用接口,以满足企业复杂的应用需求。基于该平台提供的接口,能方便在DEPHI、PB、VC、VB、NET、JAVA等环境进行二次开发调用。产品可广泛运用在金融业,保险业,电信业,证券业,制造业,零售业,生物制药等各行业。

基于TipDM的数据挖掘二次开发主要包括创建方案、加载数据、构建模型、评价模型和应用模型等步骤,如图16-1所示。

图11基于TipDM的数据挖掘二次开发流程

构建模型是数据挖掘应用开发的重要环节,常用的数据挖掘模型包括分类与预测、聚类分析、关联规则挖掘、时序模式和智能推荐等模型。

以分类与预测模型为例,接口方案如下图所示。

由上图可知,分类与预测模型接口方案主要包括两大部分:

1)TipDM数据挖掘建模平台:主要提供方案管理、数据管理、分类与预测建模和模型发布等功能

2)Model-Int模型调用模块:完成对TipDM生成Model的调用实现。Model调用支持VB、VC、PB、Dephi、C#、.NET、JAVA等开发环境。

模型构建流程如下:

模型构建的目的是基于专家样本数据,形成一个稳定的可用的预测模型(可理解为一个公式)。

平台主界面如下:

Model-Int为模型调用模块,完成对TipDM生成Model的调用实现。Model调用支持VB、VC、PB、Dephi、C#、.NET、JAVA等开发环境。

本例要求实现基于数据挖掘技术的变电设备预警及故障诊断,为实现设备运行状态及发展趋势全面掌控,提升设备状态检修水平,保障电网的安全稳定运行提供必要的技术支撑。具体包括:

2设备潜在风险分析

2在线监测装置的运行评价方法

2GIS设备局部放电内部放电源类型的辨识方法以及综合定位方法

2变压器设备状态的油色谱差异化预警方法

2设备故障案例库的建设以及智能诊断方法

1、创建模型方案

根据建设目标,本例需要构建如下预测模型:

2设备潜在风险评价模型(Model1)

2在线监测装置的运行评价模型(Model2)

2GIS设备局部放电内部放电源类型辨识模型(Model3)

2GIS设备局部放电综合定位模型(Model4)

2变压器设备状态油色谱差异化预警模型(Model5)

2、专家样本管理

以设备潜在风险评价模型为例,在方案管理界面中,双击激活该方案,在数据管理界面中导入进行设备潜在风险评价的专家样本数据(专家样本数据需要在充分理解业务的基础上,由有经验的专家和数据挖掘建模人员共同整理得到)。

3、数据探索和预处理

模型预测的质量不会超过抽取样本的质量。数据探索和预处理的目的是为了保证样本数据的质量,从而为保证预测质量打下基础。

数据预处理主要包括缺失值处理、坏数据处理、属性选择、数据规约、离散处理、特征提取等。下图为对导入的样本数据进行属性选择。

4、模型训练

模型训练是针对导入的专家样本数据,在设置好建模参数后,进行模型构建,下图为采用LM神经网络算法进行建模界面。

5、模型验证

模型训练完成后,需采用一些新的样本来对模型进行验证,以确保模型稳定和有效。

模型经训练并验证后,即可点击“发布模型”按钮发布该模型。如设备潜在风险评价模型方案采用LM神经网络建模,发布的模型文件Model1.tdm包含如下信息:

模型发布后,根据集成环境需要,可通过VB、VC、PB、Dephi、C#、.NET、JAVA等不同开发语言来调用。

模型调用非常简单,以下为JAVA语言调用示例:

y=myFunction(Stringp,StringmodelTdm)

式中:

myFunction—调用接口函数名

p—模型输入

modelTdm—模型文件

y—模型预测输出

当模型需要更新时,可重新训练并发布模型,并将新的模型文件覆盖掉原有的模型文件即可。

下面以下表所示防窃漏电建模样本数据为例,实现分类与预测模型的构建及接口调用。样本数据中前80%为模型训练数据,后20%为模型检验样本。模型输入项为电量趋势增长指标、线损指标和告警类指标;输出项为是否窃漏电。

防窃漏电样本数据

用户编号

电量趋势

增长指标

线损指标

告警类

指标

是否窃漏电

2014年9月6日

9900667154

4

1

2014年9月20日

9900639431

0

2014年9月17日

9900585516

2

2014年9月14日

9900531154

9

9900491050

3

2014年9月13日

9900461501

2014年9月22日

9900412593

5

9900366180

2014年9月19日

9900322960

2014年9月9日

9900254673

2014年9月18日

9900196505

10

2014年9月16日

9900145248

9900137535

2014年9月7日

9900064537

9110103867

2014年9月23日

9010100689

2014年9月21日

8910101840

2014年9月11日

8910101209

8910101132

8

8910100309

8810101463

8710100857

7

分类与预测模型构建及接口调用具体包括如下几个步骤:

创建数据挖掘方案,接口调用请求说明:

参数说明:

参数名称

属性类型

最大长度

必须

详细说明

appcode

String

32

接入系统在TipDM平台下注册所得的注册码

userId

在TipDM平台的注册Id

schemeName

50

方案名称

appType

方案应用类别,当前支持的应用类别有以下几种

100:数据分类;

101:数值预测;

102:聚类分析;

103:关联规则;

104:时序模式;

105:偏差检测

schemeDesc

100

针对方案的描述信息

返回值:json数据,成功创新方案

{"status":"success","schemeId":"40285e814bdd60d9014bdd62bda70001","msg":"远程创建方案成功!"}示列代码:

schemeId

在TipDM平台新建的方案ID

dataFile

File

样本数据文件

返回值:json

示列代码:

L

Double

学习速率

M

学习动量

S

Integer

随机数种子

N

训练次数

返回值:json,训练结果及模型存放路径,其中模型存放路径在调用模型评价接口时当作输入参数传入。

接口调用请求说明:

testData

以英文逗号进行分隔,字段个数(不包含分类结果)、顺序与专家样本保持一致

THE END
1.教育部产学合作协同育人项目管理产学合作协同育人项目平台 cxhz.hep.com.cn 联系我们对接展示平台智能基座企业实习招聘 【通知】关于举办第十一届教育部产学合作协同育人项目对接会的通知2024-10-28 用户登录 登录 立即注册忘记密码 找回用户名未收到激活邮件?https://cxhz.hep.com.cn/
2.广州泰迪熊电子商务有限公司简介:广州泰迪熊电子商务有限公司是?家成?于2018年10月11日的有限责任公司,属于以从事批发和零售业为主的企业。位于广州市花都区,法定代表人为徐红霞,目前处于在营状态。注册资本:200万元人民币。通过企查查大数据分析,广州泰迪熊电子商务有限公司共行政许可2个。 https://www.qichacha.com/firm_bcc773f2d3c22e56ed0f8ef1c0e7d329.html
1.广东泰迪熊投资有限公司招聘怎么样?岗位:巡逻,特勤,社区管理,治安防范,安全保卫,看管收押,视频监看。 福利待遇:五险一金,节日福利拉满。 感兴趣可以联系我哦 发现人脉 仲先生 广东泰迪熊投资有限公司· 营运助理 影响力23 访客10广东深圳 个人简介:电子商务运营,任职广东泰迪熊投资有限公司营运助理职位,常驻广东;近期有10位访问者,在脉脉形成影响力23...https://maimai.cn/brand/home/XfZlCnFu
2.媒体中心?广商网—龙头企业人物专访行情趋势期市动态隔日伦敦LME市场收盘大多下跌,伦铝隔日开于2643美元,亚盘时段大致在2630-2640美元区间震荡调整,盘中后段遇一短时跌势快速下滑至2610美元附近后震荡回升,欧盘时段涨势在2620美元附近收窄,随后再度低走,跌势延续至收盘前下探至2600美元关口附近,收盘报2609美元,跌38美元。国内沪期市方面行情表现不一,沪铝主力2501合约...http://www.gdeb.cn/media.php?did=795101
3.媒体中心?广商网—龙头企业人物专访行情趋势期市动态29日镇江市场建筑钢材价格震荡上行,目前鸿泰三级螺纹钢厂提价格3330元/吨;永钢厂提3420元/吨。 今日现货价格震荡上行,螺盘面翻红,市场整体交投氛围明显改善,下游采购积极性提高,全天成交较前一交易日小幅增加。据调研本周建筑钢材产量小幅下降,总库存小幅增加,需求季节性特征显现,小幅走弱,当前本地市场商家暂无库存...http://gsw168.com/media.php?did=795377
4.东莞茶山镇广告公司少于50人规模企业排名(排行榜)找到1 条企业排名,公司达到一定热度才能上榜,数据每天更新。企业标签根据算法分析标注,可能具有相关性,但可能并不准确。有误请联系客服。仅供参考。排序:按人气 按职位量 按薪酬 按增长速度 一键复制公司名称 1 广东聚美文化创意有限公司 880次浏览 全年浏览 2次 规模:少于50人 成立:17年 ...https://www.jobui.com/rank/company/view/dongguan/guanggao/area192008/size2/
5.广州市泰迪熊婴幼儿用品有限公司管理留言和查看联系方式请登录后台 本页是 [广州市泰迪熊婴幼儿用品有限公司] 在顺企网广州黄页的介绍页,如果您是负责人并希望管理这家公司, 请免费注册,通过企业认证,便可完成绑定。可修改,发布推广您的产品和服务。 如果信息有误需要纠正或者删除,请联系我们 ...https://www.11467.com/qiye/31623978.htm
6.幸福医药有限公司傷風感冒系列 速效配方紓緩因傷風感冒引起之症狀,包括流鼻水、鼻塞、頭痛、發燒等。 了解更多 傷風感冒+咳系列 全面感冒配方有效迅速紓緩因傷風感冒引起之症狀,包括乾咳、痰多、流鼻水、鼻塞、頭痛、發燒等。 了解更多 傷風感冒熱飲系列 速效熱飲配方,有效針對及紓緩初起傷風感冒症狀。 https://www.fortunepharm.com/
7.安徽省应急管理厅关于通报2020年度安全生产技术服务机构监督评审...一是6家外省(市)技术服务机构未如实报送在安徽开展技术服务业绩情况,如江苏安泰安全技术有限公司、内蒙古吉安劳动安全评价有限公司、乌鲁木齐泰迪安全技术有限公司、北京中矿基业安全防范技术有限公司、北京安信兴业管理咨询有限公司、北京达飞安评管理顾问有限公司。二是部分外省(市)技术服务机构驻皖负责人相关信息不实,任命...https://yjt.ah.gov.cn/public/9377745/145886711.html