在大数据分析平台应用过程中,数据本身并不是数据分析和数据挖掘的重点,重点在于如何应用这些技术去解决企业在运营中实际的商业问题.通过对数据分析和挖掘,了解企业运行过程存在问题,预判企业中各类业务发展走向.对数据分析与挖掘结果来说主要有两个方面,一是将分析结果给客户使用,另一个是将分析结果提供给内部用户使用,因此在大数据分析平台设计中,将数据应用划分为三个应用中心:
1)推荐中心
2)决策中心
决策中心面向广电企业内部决策者、管理者、经营分析人员,通过对企业经营数据的KPI、运营监控、经营盘点,使企业决策者掌握企业运营状况及发展趋势;智能报告协助分析人员自动定位经营中的问题;即席查询在预定义的语义层基础上,实现灵活的自定义查询;通过主题分析满足各部门、岗位的多维度分析需求;通过专题分析就某一具体问题进行深入挖掘,辅助专业分析人员的工作;统计报表满足各部门常规统计需求.
3)服务中心
1.4系统管理
系统管理是大数据分析平台一个辅助功能模块,主要是为了系统管理员对大数据平台进行有效的监控和管理,提升大数据分析平台性能使用,包含有如下几个模块:权限管理、数据质量管理、元数据管理、调度管理、系统监控等.
2数据应用分析
移动互联网的发展为传统行业带来了新的思考,如何在互联网时代更好地实现以客户为中心的服务理念,借助大数据分析平台、海量的客户非结构化的行为数据和传统的结构化数据,可以有效提升广电个性化、人性化的服务水平.大数据分析平台通过整合广电网络中多个数据源,并按照主题进行划分,在定义主题的过程中,提供广电业务概念的规范定义.数据模型不偏重于面向某个应用,而是站在企业角度统揽全局,提供可扩展的模型设计,偏范式化的设计使平台在最大程度上保持一致和灵活扩展性.依托某广电网络公司业务开展情况,搭建数据分析平台,具有如图2所示的主题结构,共计8大类53小类,从广电网络运营的各个方面进行了数据分析.
2.1直播节目分析主题
2.2多媒体业务分析主题
2.3互联网应用分析主题
广电作为政府宣传的喉舌,一个主要的特点就是可管可控,相对此而言,互联网网络一个重要特点就是用户各类行为的不可控性.在三网融合的新环境下,广电网络一个重大改变就是引进了互联网业务,同时通过多屏互动技术使广电终端类型日益复杂,如何对广电网络引进的互联网业务和终端进行有效的管控,成为摆在广电网络运营商面前一个重要课题.运营商可以清晰地看到用户在讨论什么、在看什么,以此来分析用户将来可能采取的行为趋势,进而来引导用户舆论与行为,实现对广电网络的可管可控的最终目的.同时广电网络也可以利用互联网数据从如下两方面做了分析,运营流量及应用优化,节省网络带宽,减少运营费,同时用以提高用户体验度,增加用户粘性;充分利用线上、线下同步运营模式,深入挖掘线上讨论内容,为线下运营提供指导.
2.4广电客户分析主题
2.5市场收益分析主题
三网融合后,广电网络作为一个市场主体,需要适应日趋激烈的市场竞争环境,提升广电运营商的企业核心竞争力,应充分利用业务支撑系统产生的大量宝贵的数据资源,建立广电企业收益分析系统,实现对收益数据的智能化加工和处理,为市场运营工作提供及时、准确、科学的决策依据.利用先进的OLAP技术和数据挖掘技术,帮助企业的经营决策层了解企业经营的现状,发现企业运营的优势和劣势,预测未来趋势;帮助细分市场和客户,指导营销、客服部门进行有针对性的营销和高效的客户关系管理;对决策的执行情况和结果进行客观准确的评估,深受用户的青睐.如图7所示的收益分析结果,可以清晰看出企业各类业务在营收中所占比例,可以明确了解哪类业务是企业的优质业务,哪类业务需要进一步加强开拓市场,同时也可以预测哪类业务会有更大的推广空间,为企业持续开展业务提供指导.
2.6智能内容推送主题
3总结
随着烟草行业信息化推进现代化进程的快速发展,新兴的IT技术、先进的IT技术等已不断融入到烟草行业的生产、营销及管理等过程中,逐渐改变了烟草行业原有的经营管理模式,加快了烟草行业结构调整,完善管理体制,提升市场竞争力。可以说,信息化建设给烟草行业带来了改革与发展。因此,对新兴技术的研究与探索,具有十分重要的意义。尤其是视频监控技术的发展,给烟草行业的带来了较多的好处,烟草从种植、生产、流通、消费的每个环节中,视频监控技术都发挥了重要作用。视频大数据分析技术是近两年兴起的技术,视频大数据分析的应用,在公安视频侦查等中已突显其发展前景,本文将针对烟草行业,讨论视频大数据分析的发展应用。
2视频监控在烟草行业的发展及应用现状
(1)烟田监控:实现对烟田、育苗大棚内实时监控;
(2)烟叶收购站监控:实现对烟草所有站点烟叶收购全流程监控视频调看、查询、巡视、控制的功能;
(3)生产及公用设施区监控:主要用于监控车间内重要设备、生产线运行、物流线路及环境状况,以及动力中心车间内空调、锅炉等重要设备的运行及环境状况,防止灾害和事故的发生。
(4)烟草物流配送中心监控:对物流配送中心进行实时监控;
3视频大数据分析的技术需求
4视频大数据在烟草行业的应用思考
4.1安防业务
基于传统视频监控,安防业务是传统业务之一,通过大数据分析,有效快捷的提取安防所需要的视频片段。同时基于视频行为告警策略,及时告警。
4.2安全生产
结合视频大数据分析,将以往多次生产事故监控视频整合,通过对多次生产安全事故的分析,总结出更为安全可靠的生产规则;再则通过视频监控与生产行为的结合,制定安全生产标准,通过声音报警或警示灯报警等技术,在不符合标准视频监控预定义的安全规则情况时,能够及时报警。通过视频监控分析,提升生产的安全性。如采用彩色网络快球摄像机和彩色固定网络枪式摄像机,彩色网络快球摄像机的预制位设置应优先,根据视频大数据分析后,系统可提供不同故障区域或设备的故障信号,各工艺段或设备的操作运行信号,通过系统集成与生产监控实现联动,平常摄像机对正在操作或运行设备进行监控,一旦某个故障点报警,摄像机立刻自动转动到报警点,监控中心的NVR主机开始录像等。
4.3效率生产
结合视频大数据分析,通过分析各个不同烟站或烟厂中的同一种生产行为,结合对海量数据进行智能分析,提取出价值数据片段,形成元数据信息库,再通过人为加工后期数据,总结形成效率生产有用的价值信息,提供生产借鉴,提高生产效率。
4.4创新生产
通过视频大数据分析,将以往的视频通过轨迹分析,得出以往生产过程中各类生产动作中不必要或者多余的部分,简化或者优化生产规则;通过对给类生产行为的总结,提出合理的建议,为生产提出创新性意见或建议,提高生产率。
5结论
系统主要实现软件的模块话设计,包括反射率数据分析模块、速度分析模块、天线运行稳定性分析模块以及雷达组网数据分析模块。
1.1反射率分析模块
1.2速度分析模块
多普勒雷达采用了速度退化模糊技术以扩大其对径向风速测量不模糊的区间。结构设计主要考虑数据显示的径向方式,流程设计则与反射模块类似。当然在界面设计上,系统将提供对颜色配置的定义,使其人机交互更为快捷。
1.3天线稳定性分析模块
1.4雷达组网分析模块
2.结束语
数据挖掘是在数据库中进行知识发现的重要方法,是从大量的表面数据中提取隐藏在其中的知识的过程。近年来,该技术发展迅速,已应用到各个领域。本文主要介绍固话漏话用户数据挖掘和分析。
2数据挖掘技术应用于电信用户数据研究
2.1固网用户数据的组成和结构
对于企业来说,大量的用户数据不仅有利于客户关系管理(CRM),同时也是获得用户知识的源泉。从用户知识发现的过程中可以看到,用户数据的质量会对知识发现的结果产生直接的影响,所以用户数据准备也是一项很重要的步骤。从商业系统中提取出高质量的用户数据就成为一项最主要的工作。固网企业的用户数据包括用户基本信息、用户账单信息以及客服信息。数据仓库就是根据这种方式来组织的。
2.2知识发现的方法和过程
用户知识发现概括如下:根据提出的商业目标,分析大量的用户数据,找出隐藏的和未知的规律或者丰富已知的规律,进而提出模型;最后要将数据挖掘和分析的结果转化成有商业意义的方法,然后采取进一步的行动。用户知识发现必须遵循以下几个步骤:商业理解,数据理解,数据准备,分类模型,评估应用。
2.3数据挖掘建立用户分类模型
近年来,“以客户为中心”的电信市场开始强调为不同用户提供个性化服务,其前提条件就是用户分类。这也说明了过去的消费行为也预示了未来的消费倾向。
(1)商业理解
对用户的理解不仅是理解电信市场的开始,也是理解客户关系管理的开始。在电信企业中对用户的理解包括:用户种类,不同类中用户的本质属性区别,用户偏好,不同类别之间的用户如何通信等。
(2)用户数据准备
(3)用户分类模型
本文使用聚类分析对用户进行细分以建立分类模型。聚类分析是把大量数据点的集合根据最大化类内相似性、最小化类间相似性的原则进行聚类或分组,使得每个类中的数据之间最大限度地相似、而不同类中的数据之间最大限度地不同。
3固网漏话用户数据分析
3.1关于固网漏话用户数据分析的商业理解
通过各种渠道调查,对固网漏话用户数据分析的目标可以概括为以下几点:
(2)对用户开通漏话保护业务前后的ARPU值分析比较,分析收益的对比;
(3)对目标用户数据分析,从用户分类的角度来管理,设计针对性的服务,提升用户满意度。
3.2系统用户数据准备
数据准备的过程:明确目标;制定计划;分析变量的获取;数据收集和获取;数据集成。根据当前客户关系管理基本状况和数据挖掘的目的,涉及到的人口属性变量有:性别、年龄、住址、用户职业、婚否、学历、薪资等。用户分类结束之后,再使用描述变量来进行分析说明。本文选用某市电信公司运营支持系统和经营分析系统的数据,从中选取了基本客户基本信息表、客户详细话表、账单及缴费信息表、产品信息表、业务使用清单等原始数据。数据挖掘工具选择SPSSClementine。在使用该工具进行挖掘之前,需要对数据进行清洗:
(2)去掉异常数据:比如用于测试的号码;
(3)去掉极端值:不具备普遍性的极值容易产生噪声。
3.3固网漏话用户数据分析结果
考虑到不同分类建立的有效性和简便性,以及固话用户和数据源的特点,本文采用常见的K-means算法,其高可靠性、高精准性以及低复杂度使其成为主流的聚类算法。本文选用SPSSClementine作为数据挖掘工具进行K-means聚类分析。获取原始数据并进行预处理之后,选择参与聚类的细分变量,输入簇的个数k,选择k=7,然后点击“聚类”按钮,使用K-means算法对固网漏话用户数据进行聚类。经过正常值选择、极值处理等一系列的数据清洗工作,最后用于研究的记录有251284条。
3.4分析结果和解释
4结论
1.1垄断
1.2发电竞争
发电竞争模式,竞争主要体现在发电环节,输电和配电仍然采取垄断经营。在电力经营过程中对电力市场进行开放,引入发电企业,在市场中由垄断企业对发电企业生产的电力进行买断,然后由垄断企业统一卖给电力用户,这种供电模式的引入加大了市场中电力的供给量。
1.3电力转运
电力运转模式就是合理的将发电、输电、配电三个过程进行分离,每个发电厂都独立成为一个企业,各个发电厂之间采取公平竞争。市场中的用电大户,可以低价从电力企业直接购买电力,利用统一电网实现电力运转。在电力运转模式中,部分竞争市场、垄断经营市场和竞争市场同时存在。
1.4配电网开放
配电网开放模式的主要特点是:发电、输电、配电三个环节适当分离,三个环节都各自成为独立的经营体系,三者之间存在电力买卖关系。这种经营模式将发电、输电、配电三者打破了传统的电力运营管理模式,电力市场形成了多种商家相互竞争的形式,这不仅增加了发电企业之间的相互竞争,客户可以通过自己的需求来选取适当的发电商,而且电力消费者和生产者之间形成了一种真正的买卖格局,从而为电力显示商品特性提供了便利条件。
2企业多维数据分析具有的特点
2.1多维性
2.2实时性
2.3开放性
多维数据分析支持多数据源和系统平台。因此,在实际工作中,不论数据存储量有多大,存储在何处,采取何种方式对数据进行存储,都可以及时获取到存储的数据,并且可以以多种方式将分析结果提供给不通过平台上的客户使用。
2.4可分析性
可以从不同的角度对数据的最大值、平均值、最小值、汇总进行记录和处理,将庞大的有用数据提供给客户,此外还具有数据分析和数据查询等能力。
2.5安全性
确保信息的安全,避免受到欺诈,对用户进行分级管理,数据分析过程中,对于数据分析结果只能提供给相应的用户。如果在实际工作中,存在多个用户共同应用同一个分析时,应当对客户的级别进行合理划分,依据客户所处的安全级别,允许客户查看对应层次的信息。
3电力营销多维数据分析过程
(1)依据决策者和企业业务在信息上的需求,对多维数据分析主题进行确定,在进行多位数据分析时,依据面向主题分析获取信息,从而实现为决策者提供信息的目的。
(3)多维数据模型的建立,多维数据分析需要以多维数据模型为基础,从哪些角度对多维数据模型进行观察,对哪些数据进行分析,可以通过多维数据分析决定哪些数据需要仔细分析历史数据结构来获得,从获取的数据中找到有用的数据构建成适当的度量、维度从而构成高效的多维数据模型。
(4)设计人员依据现有的多维数据模型,选取适当的度量和维度,结合报表利用适当的统计方法,通过图表直观地展现企业的大量了历史数据。
4分析电力影响数据主题
在电力营销决策中,每一个主体都对应一个具体的分析,表示一种营销决策者在工作中需要掌握的信息。本文在研究上将分析主体分为用户情况、购电情况、电价情况、电费回收、设备资产情况等,并对较大的主体进行了进一步划分,针对电力营销的数据分析,应当从宏观到微观,从多个角度对电气企业的数据进行科学分析,为电力企业的各级领导者提供决策信息。因此,在分析上还需要确定分析层次和分析角度。
2蚊虫的转录组学研究
(1)昆虫唾液腺中普遍存在的唾液蛋白,包括抗原-5蛋白家族、核酸酶、碳水化合物水解酶等;
(2)在吸血的长角亚目昆虫(包括白蛉、蚋、蠓等)中丰富表达的D7蛋白;
3蚊虫的小RNA组学研究
4结语
根据资料显示,在国内的不同城市都出现过电力资源监测出异常数据的情况。这种情况的出现,能起到“牵一发而动全身”的作用,甚至在某个城市内的电力资源系统中出现“蝴蝶效应”。如果不能引起高度的重视,一旦问题爆发,需要承担的损失将难以估计。针对这个问题,国家电网公司进行了全面性的试点改革。将原有的统一监测模式转换为在线监测模式,让数据传递更加快捷、直观。虽然此次改革解决了很多难题,但是在电力应用的重要数据方面还存在着解读欠缺,不能正确的解读数据,就会影响对于电力系统发展方向的预测,从而无法纵览全局,在这个方面来说,需要地方供电企业加大科技投入力度,以明智而高效的举措为用电客户进行高质量的服务。
2电力在线监测过程中异常数据的分析和解读
根据《国家电网报》的报道可以看到,在2014年,在南方某地区电力工作人员通过监测发现辖区内的一个电度表出现了电压不稳的情况,这种情况的出现,就浅析“量价费损”在线监测过程中异常数据分析及处理杨娟国网山东鄄城县供电公司274600说明此电表所管辖的区域内有违规用电户,或者是记电表出现了问题。通过工作人员的连夜分析,发现是记电表的内部芯片出现了问题,正是因为这个问题才导致了整个电力系统的不稳。工作人员将所有记电表的内置芯片全部更换,发现电力系统开始正常运行,芯片更换后,追补到了六千余瓦电量,取得了阶段性内的成功。这就说明,通过监测发现了数据异常后,需要及时的分析才能排除可能,从而“对症下药”。
3如何处理电力监测中的异常问题
3.1“量价费损”在线监测工具的运行机制
此监测工具主要是进行电力预警,将有可能出现的问题以形象直观的方式及时反馈。一般来说,监测工具是使用多种类型的监测盘构成的,不同的监测盘负责监测电力系统的不同方面。监测盘可以通过人工定时的方式自动刷新,没更新一次数据就是一次新的监测。通过监测盘,可以展现出电费、电价、电力使用情况等方方面面的数据,各种数据指标都是各电力工作人员需要着重构建用电系统的依据。其中不同颜色表示风险预警的不同状态,如果是红色,那么就说明电力系统存在高危风险,此时应该特别注意,全力排查有关问题。监测盘的指针如果落到了黄色区域,那就说明高危风险出现的几率增加,此时应该防患于未然,如果指针在绿色区域,就说明一切指标和数据处于一个安全的状态内,所有用电系统一切正常。
3.2“量价费损”监测过程中的问题预测
在电力监测过程中,除了有不同颜色的标注之外,还有弹出窗口作为提醒。这区别于不同的颜色风险区域,可以以更加醒目的方式提醒有关人员,引起全部人员的注意力。在电力监测过程中会发现,电费问题一直是一个难以解决的重要难题。因为用电户繁多,没法及时将电费收回,影响了电力公司的正常运转。而在监测工具中,新增了智能运算这一个过程,可以通过有关程序,计算出有关的电费和电价,从而对相应的用电客户做出提醒,降低电力系统的风险,这种省时省力的方式受到了良好的效果。
3.3“量价费损”在线监测的优点
某一变电站是220kV新建负荷站,220kV和110kV电气主接线均使用双母线接线方式,通过2213,2214和-500kV变电站连接并接入系统,110kV系统和10kV系统尚无出线。站内有2台三卷变压器,接线型式为Y0/Y0/Δ-11,额定容量是180000/180000/90000kVA,电压组合是220±8×1.25%/115110.5kV。
2相量检查的意义
对新安装或电流回路有过变动的保护装置,在其投入运行前,必须用一次电流和工作电压检验,也就是进行相量检查。在检验保护装置电流回路接线正确后,方可将保护投入运行,为电网的安全、稳定运行提供保障。
3相量数据采集和分析
3.1井目量数据分析
502所带为10kV5母线,投入3组电容器,每组容量为7.5Mvar,总容量为22.5Mvar。因为所带负荷为纯电容元件,所以,有功P为0Mvar,无功Q为22.5Mvar。即得出视在功率S为22.5MVA。取10kV系统平均电压为10.5kV,得出502的一次电流为1237A。已知502保护用TA变比是4000/1,可求得502TA保护绕组二次电流为0.309A。通过相量检查,可知502各TA保护绕组电流为0.294A左右,计算值与测量值相差不大。因此,可以得出502各TA保护绕组变比使用正确。同理可推导出503各TA保护绕组变比使用正确。3.1.1.2502,503相位分析,10kV5母线通过502向2号主变输送无功,10kV3母线通过503向3号主变输送无功,并且已知有功为0,因此,对应相电压超前一次电流90°,电流以母线侧为极性,则二次对应相电压超前二次电流90°。通过相量检查所得电流相位与理论推导一致。3.1.22202,2203相量数据分析
3.2变比分析
502各TA保护绕组电流为0.294A左右,且已验证502各TA保护绕组变比使用正确,因此,通过502的一次电流是1176A。由于102,103,145均在合位,所以,10kV5母线通过502向2号主变输送等量无功,10kV3母线通过503向3号主变输送等量无功。根据基尔霍夫定律可知,102,103,145没有电流流过。因此,2号主变可视为只有高低压侧运行,即两卷变运行。根据能量守恒定律,低压侧输入功率等于高压侧输出功率,取10kV系统的平均电压为10.5kV,220kV系统的平均电压为231kV,由此可得,2202一次电流I为(1.732×1176×10.5)/(1.732×231)=53.45A。已知2202的主变差动保护用TA变比是1250/1,则可求得2202主变差动保护二次电流是0.0428A。2202母线差动保护用TA变比是2500/1,则可求得2202母线差动保护二次电流是0.0214A。通过相量检查可得2202TA保护绕组的电流分别为0.0413A和0.0205A,计算值与测量值相差不大,由此可得,2202各TA保护绕组变比使用正确。同理可推导出2203各TA保护绕组变比使用正确。
3.3相位分析
220kV5母线通过2202,2203接受无功,并且已知有功为0,因此,对应相电压超前一次电流270°,电流以母线侧为极性,则二次对应相电压超前主变差动二次电流270°。因为母差用保护绕组为反极性,由此可得二次对应相电压超前母差二次电流为90°。通过相量检查所得的电流相位与理论推导一致。观察可知,A相、B相、C相的电流幅值基本相等,相位互差120°,即A相电流超前B相120°,B相电流超前C相120°,C相电流超前A相120°。由此可得,2202,2203各TA保护绕组极性正确。
3.4相量数据分析
3.5母联极性问题
该变电站220kV系统为双母线,配置母线保护BP-2B和RCS-915AB.BP-2B母线保护各元件TA的极性端必须一致,装置默认母联TA的极性与2母线上的元件一致。RCS-915AB母线保护TA极性要求支路TA同名端在母线侧,母联TA同名端在母线1侧,可将该变电站的母线1称作4母线,母线2称作5母线。因此,2245母联BP-2B母线保护用TA同名端在5母线侧,2245母联RCS-915AB母线保护用TA同名端在4母线侧。
3.6变比分析
2214是2202通过2245提供一次电流,因此,2245一次电流为51.625A。已知2245各TA保护绕组变比为2500/1,则可求得2245各TA绕组二次电流为0.0207A。通过相量检查可得2245各TA保护绕组电流为0.0202A左右,计算值与测量值相差不大。由此可得,2245各TA保护绕组变比使用正确。
3.7相位分析
220kV4母线通过2245接受无功,且已知有功为0,因此,对应的相电压超前一次电流270°,充电保护电流以4母线为极性,则二次对应相电压超前充电保护二次电流270°。2245母联BP-2B母线保护用TA同名端在5母线侧,并且母差用保护绕组为反极性,则二次对应相电压超前BP-2B母线保护二次电流270°。2245母联RCS-915AB母线保护用TA同名端在4母线侧,并且母差用保护绕组为反极性。由此可得,二次对应相电压超前RCS-915AB母线保护二次电流90°。通过相量检查可知,电流相位与理论推导相差不大。
3.8相量检查结论
之前多通过表记得出一次电流的大小和送受关系,其实这是不准确的(TA表记绕组也需要相量检查),应该通过负荷情况,用理论方法计算和推导出一次电流的大小和送受关系,以便核实相量检查结果。相量检查后的相量分析不但包括相位分析,还应包括变比分析,只有在变比和相位都正确的情况下,才能算作相量正确。