近年来“物联网”(IoT)和“大数据”是两个最受瞩目的话题。在物联网的概念里,有关任何开和关切换到网络的设备皆会彼此连接,它们之间都彼此相互连结。这包括了手机、咖啡机、洗衣机、耳机、台灯以及可穿戴的设备,很多物品都是属于这个范畴(图1)。这也适用于机器零件,例如:飞机的喷气发动机或石油钻井平台的钻头。无论有没有意识到这一点,我们的生活周围已经被这些依赖于大数据的东西所包围了,不过这也使得生活更美好。
物联网(IoT)是目前大数据市场的最新趋势。在未来十年内,估计会出现约两百五十亿个网络连接设备,比个人计算机、手机和平板计算机等的数量加起来还多,这是一个很庞大的连接(有人甚至估计这个数字还要高得多,超过一千亿)。物联网是连接“物品”的巨大网络。这关系是在人与人、人与事、物与物之间。因此,影响物联网最大的因素之一就是数据:数据量、数据的管理和使用,如图2所示。
图2物联网连接数据的数量
二、大数据
大数据是指大量的数据,它是非结构化和没有组织性的,指的是不断增加的数据,且需要收集、储存、管理和分析的技术。这是个复杂的和多层面的现象,影响到人员、流程和技术。从技术的角度来看,大数据整合了组织、管理、分析和显示数据,这些都是“SevenV’S”的特点。
图3在SevenV’S里面的大数据演变为数据的价值
1.资料量
2.数据输出输入的速度
3.数据类型,多样性
多样性是指数据的不同数据资源和格式,而它不能将自己储存在结构化的关系数据库系统。数据的多样性直接影响数据的完整性。数据中的多样性越复杂,就越容易产生错误。
4.真实性
5.有效性
数据的有效性可能听起来相似于数据的准确性,但概念上却是不同的。有效性意味着数据的正确性和精确度。
6.能见度
7.价值
这是一个非常重要、具有价值或很有用的数据。这个“价值”是大数据处理后所期望的结果。实际上,数据的价值必须超过成本。
大数据技术是一项新的技术和结构,意指在从各种非常大量的数据中获取价值,并透过使用快速采集来发现和/或分析大数据技术层,包括:
基础设施,如储存系统,服务器和数据中心网络基础结构数据组织和管理软件分析和搜寻软件决策辅助和自动化软件服务器包含业务咨询、业务流程外包、IT外包、以IT项目为基础的服务、IT辅助和培训有关大数据如何运用。
图4大数据在物联网中的角色
如果没有适当的把数据收集到位,对企业而言将不能排序所有在嵌入式传感器(图4)中流动的信息流。这意味着,如果没有大数据,物联网仅可提供企业一点点东西。要引进先进的物联网使用案例,其关键在于:在一般情况下进行数据分析、要能从想象中到实际上可以实施、借助进入到数据基础结构,来达到经济实惠和易维护性。
8.大数据架构
新大数据结构是弥补传统系统中的不足之处,但也增加了整体的复杂性。这种技术使公司能够分配数据的储存与数据的分析,并分析有效性以及辨识模式、趋势等。公司不仅能够进行历史分析和回馈导向的报告,同时也期待着,预测商业的见解,从而积极支持未来的决策。多数专业系统需要处理不同的需求和方法。特别是对于物联网而言,M2M和传感器的数据,因为数据的实时处理和分析是必要的,而且传统系统无法提供其所需,因此内存和流动式数据库的应用程序是必要且不可少的。
大数据的技术结构可以分成六个不同的重点领域,以专业技术为主轴:数据储存、数据存取、数据整合、分析处理、视觉和数据管理。
图5简易大数据架构
9.云端运算
而物联网真正的创新来自于它与云端运算的完美结合。当连接设备之间相互发生作用时,大量的数据将产生于此。这些数据很容易地被捕捉到以及储存,但需要将其转化为有价值的知识和可执行的情报–而这是云端真实的实力所在。实际上,云端运算是一个模型,为了足够方便、并依据网络需求权限,来配置运算资源的共享池(如网络,服务器,储存,应用和服务),它可快速配置和发布最小的管理工作或服务提供商互动。有三种云端服务模式如下(图6):
(1)云端软件服务(SaaS)
多数的SaaS应用程序,是用来涵盖在所有情况的范围之下企业用户的所需。
(2)云端平台服务(PaaS)
PaaS提供开发人员工具和知识库构建、测试、配置和在云端基础设施上运行这个应用程序。PaaS借助无需配置和扩展Hadoop的元素来实现降低管理的工作量,并作为先进分析应用程序的开发平台。
(3)云端基础设施服务(IaaS)
图6服务模式
(4)私有云
私有云是专用于一个组织,不共享物理资源。此资源可由公司内部或外部提供。私有云配置的典型要求是安全性,严格区分企业的数据储存和处理是否被无意或是恶意进入共享资源。
(5)公共云
图7私有和公共云端运算之间的区别
(6)混合云
混合云架构合并私有和公共云的配置。通常是为了实施安全性和弹性,或提供更便宜的基本负载和脉冲能力。
借助增加附加的实例与服务他们每个人一部份的需求,来垂直扩展以实现弹性。像Hadoop的软件是专门为分布式系统来利用垂直扩展,他们在大平行规模里处理小的独立任务。分布式系统也可以作为数据储存,例如NoSQL数据库,或文件系统像是Hadoop的HDFS。透过与复杂工作流程的机器集群,可用风暴在接近实时之下提供协调数据流的处理来替代。典型的云端大数据项目的数据处理重点放在缩放或采用Hadoop。像Hive和Pig这两个工具已经在Hadoop之上,这使得它可行轻松地处理庞大的数据。
三、HADOOP
Hadoop是一个强大的开放架构,它几乎是由整个大数据堆中许多不同的技术所组成,借着利用正在使用的几个组织,并透过物联网(IoT)来收集分析和处理数据。对于物联网(IoT)收集非结构化数据,这仅仅成功了一半,另一半处理批量,是使用Hadoop分析数据。物联网的成功或失败取决于大数据,随着企业步入物联网的世界里,物联网与大数据之间的共生关系被广泛利用在盈利的业务决策上。物联网大部分是关于数据而不是设备中的数据。大数据和物联网就像是战略合作伙伴,因为它们不只是从物联网收集数据,还必须进行处理和分析,以争取改善业务营运。因数据的特性,物联网设备适合用于采用分析大数据的方法。物联网(IoT)的基础设施已经达到了成熟的水平:
无所不在-现在传感器已经很便宜,并可被包含在任何系统内。向外扩展集中计算-Hadoop可被用于分析、处理和储存所有IoT所产生的数据,并具有成本效益的可扩展分布式计算系统。
图8物联网三要素之间的相互作用
四、物联网的应用和大数据HADOOP
1.迪斯尼世界独有的流行魔术手环
迪斯尼世界独有的魔术手环,是物联网如何利用大数据的最佳范例之一。魔术手环是一种可穿戴式的手环,游客可以戴在手腕上,从办理报到手续到他们的房间开始、购买食物、进入主题公园的旋转门。迪斯尼收集有关游客在主题公园内活动的非结构化数据,以将其用于分析,帮助他们-工作人员的吸引力和游乐设施的有效性,调节餐厅在尖峰时段的存货,容纳更多的客人进入饭店。
2.受到大众喜爱的珠宝店AlexandAni
AlexandAni这两家受到大众喜爱的珠宝店,它们在店内使用Beacon的技术来追踪商店内的游客数量和发送特定的折扣券,使顾客一进入到商店中就能发送给他们。
3.Beacon技术在麦当劳食品供应链
麦当劳是用Beacon技术透过顾客的手机应用程序,知道谁在麦当劳餐厅附近,以提供优惠券给客户。顾客收到有个人化种类的讯息,并使用手机应用程序找出最有关联的交易。
4.UPS(联合包裹服务公司)
五、运用大数据的案例
现在的大数据技术提供了各种不同的能力。它已经用来创造新产品、预测行为和趋势,并优化销售活动。大数据正在改变各种行业的经营方式,它能提供量身打造的医疗保健,使得我们的城市更智慧、更安全。本节的其余部分将讨论,大数据被用于一些特定的情况。
1.利用大数据来预测犯罪地点
预测未来犯罪是现在现实的一部分。其中一个例子是洛杉矶警察局(LAPD)在近期利用大数据来预测犯罪地点,因此降低整个大都市区的犯罪,在使用预测软件的区域作出了以下贡献,降低33%的室内偷窃、21%的暴力犯罪和12%财产犯罪。当地震发生的时候,在附近会有很高的机率出现余震。这个数学模型,是由一位助理教授乔治莫赫所开发的,它可以用来定义和预测新余震图案。
犯罪数据显示类似的模式(见图9)。这些数据有助于洛杉矶警察局LAPD了解犯罪的性质。它表示当犯罪发生在一个地方的时候,就会有更多的犯罪出现在附近,这些犯罪活动的模式,就类似余震模式。当他们把之前的犯罪代入方程式,就会产生在过去预测里发生了什么事。而现在该部门可以透过运算来分析识别犯罪模式,这系统的分析,让暴力犯罪在洛杉矶连续递减。
就像遵循一个地震余震,附近的盗窃也跟着快速重复发生(从洛杉矶2004/5的数据)
图9犯罪余震
2.以大数据作为医疗保健创新的源泉
大数据的发布可能会激发很多公司开发医疗保健应用程序,或类似的创新。以下是大数据革命创造有关医疗创新的一些例子:
(1)MHealthCoach支持慢性病照护的病人、提供教育,并透过一个互动系统来治疗。这个应用程序利用医疗保健的成本和项目的数据,这是由卫生保健研究与质量的机构所赞助的,以及来自临床试验的结果和警告。MHealthCoach也可被供应者用来识别高风险患者,和提供重要的消息并提醒他们(图10)。
图10Mhealthcoach
图11Propeller应用
Ginger.io提供了一个手机应用程序,即患者(如糖尿病患者)同意,与他们的供货商合作,透过他们的手机进行追踪和协助应用程序记录呼叫讯息、简讯、位置,甚至是移动的讯息(图12)。患者也响应了智能手机的调查。Ginger.io应用程序整合了从美国国立卫生研究院取得的公共研究,和其他健康数据讯息。获得可揭示的见解;例如,缺乏运动或其他活动,可能预示着患者感觉身体不适,和不规则的睡眠模式可能预示着焦虑发作迫在眉梢。
图12Gingeri.o的应用
六、大数据为企业和消费者带来的好处
大数据为企业和客户创造价值,这些好处可以在广泛的领域中感受到,不论是大型或小型公司。在大型公司中,有投资大数据技术的几个驱动因素;分析业务和交易数据,能够收集深入了解网络上顾客的行为,并采用先进的分析来发现,其中BTO模式的制造商可以用影响最小的现有生产计划到调度机、工作人员来销售。大数据正由制造商提高保修管理和设备监控,以及优化他们的产品投入市场的物流。零售商正在利用各种各样的客户互动,在线和线下,以提供更有针对性的建议和最优定价。科技公司正在利用大数据来分析数以百万计的数据,以提供更可靠,更准确的语音接口。银行使用大数据技术来提高欺诈检测。
当企业采用大数据作为其商业战略的一部分,第一个问题通常大数据会启动什么样的价值有助于高层或低层,或者会有一个非金融类驱动从一个价值点来看,对大数据分析应用程序可分为三个维度(见图13)之一。