作为去年最畅销的科技类书籍,《大数据时代》最能体现当代社会转型的特征,并因此开启了未来时的序幕。往往用时代这个词容易给人感觉到大言不惭,留下概念炒作的印象。但是当人们对时下科技的前沿有一定的了解,当读完全书之后方觉“大数据时代”这个概念绝非炒作,而是开启下一个时代的伟大转捩点,所以有人称大数据为未来学。该书的作者维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”,曾在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教。其早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。该书正是这种研究著作。
一般阅读者总会对计算机科学的书籍抱有某种畏难情绪,总认为计算科学是一门过分重视数据、程序的学科,是一个令人望而生畏的学科,其作品肯定是晦涩如天书一般。但是环视全书,书中没有抽象的概念,也不需要任何编程技术的基础。该书虽然通俗易懂,但是着力分析了当代数据科学的基本思维方式,与其是本科普书籍,还不如说是一本专业书籍。它不仅仅是一本科普读物,也是一本预言式的读物。
一提起大数据,大部分人都停留在大数据的4个基本特征上,即数据体量巨大,数据类型多样,处理速度快,价值密度低。但是大数据的特征远远不止这一点,大数据有其思维方式,其对当代的产业起到颠覆性作用,对社会管理产生了强大的冲击。
之所以要进行抽样分析,原因不外乎几点:一,收集数据的能力跟不上,没有找到更合适的搜集数据的方式;二,全体数据获取成本太高或者不现实,尤其是面对着动态的数据更是如此;三,资源限制,人们去分析世界所动用的分析工具有限,调动的资源有限;四,储存能力不足,即使搜集到那么多数据,也是无法存储;五,处理能力跟不上,退一步来讲,即使搜集到海量数据,更大的难题在于如何从这些庞大的杂乱的数据中找到有用的东西,要知道,多即是乱;六,应对能力跟不上,即使能分析到有用的东西,已经时过境迁;七,没有必要搜集海量数据,因为随机取样即使有误差,也能通过统计就能够得到比较满意的答案。所以,小数据时代,人们的思维方式限定了人们的工作方式,并且这种思维方式和工作方式之间形成了一个闭环,难以打破。直到大数据技术的出现,这种闭环才被撕破了一个口子。
当今技术发展越来越呈现出加速度的特征,并且已经具备强大的数据分析和整合能力。虽然人类可以处理的数据依然是有限的,但是我们可以处理的数据量已经大大地增加。目前机器处理能力有了巨大的提升的时代,小数据时代所面临的困难逐步被破解。
如今数字采集越来越简单,难度不断降低。各种传感器、搜索引擎、导航、网站点击都可以被轻而易举地记录下来,甚至人的每一个眨眼的动作都可以作为数据被记录下来。然而,采样一直有一个被我们广泛承认却又总有意避开的缺陷,现在这个缺陷越来越难以忽视了。以前我们所选取的样本,样本由于受到抽样思维方式的制约,样本的选择具有较大误导性。采样忽视了细节考察。虽然我们别无选择,只能利用采样分析法来进行考察,但是在很多领域,从收集部分数据到收集尽可能多的数据的转变已经发生了。如果可能的话,我们会收集所有的数据,即“样本=总体”,而这正是大数据的基本思维方式。例如,人们对身体检查的思维方式也发生了全方位改变:过去的体检,抽血、测血压等各种方式,采取抽样方式检查。其弊端在于,测试当前的状况,而不是平时状况;测试样本的科学性不足;漏掉大量有用的健康信息,睡眠、吃饭、工作状态等。而大数据时代,将平时健康器材所搜集的所有数据都整合起来,导入医疗系统,从而展开交叉分析,得出这个人的精确信息。
大数据由于具有较大的经济价值,所以首先被使用到经济领域。银行、证券、通讯等经济领域已经采用了大数据技术,在这些领域的商业模式正在悄然改变。
第一,大数据使企业真正以客户为中心。由于大数据能搜集所有的信息,所以它不需要通过样本群来代替全体样本。大数据能够使对企业的经营对象从对客户群的粗略归纳,转变成一个个活生生的客户。这样企业的经营就有针对性,对客户的服务就更好,投资效率就更高。
第二,大数据将颠覆企业的管理方式。在大数据时代,通过大数据的分析与挖掘,我们可以重构企业的管理方式。通过对大量的业务本身的分析,可以为决策提供必要的科学的手段。通过大量的数据分析,不必要依靠膨大的组织和复杂的流程,而是可以找到最合适,最有效的管理流程。
第三,大数据另外一个重大的作用是改变了商业逻辑。大数据可以在任何时候都可以搜索到答案,都可以用最省力的方法找到最佳答案。我们可能有全新的视角来发现新的商业机会和重构新的商业模式。在产品设计上,不用假设用户的习惯,而是直接就可以知道客户的习惯和偏好,设计能轻易命中客户的心窝;在营销上,我们知道客户喜欢什么、讨厌什么,营销更有针对性。
数据的再利用价值对于那些收集或控制着大型数据集的机构来说是个好消息。那些线下运作的传统企业,他们或许正坐在尚未开发的信息喷泉上,但目前却很少使用。有些企业可能已经收集了数据并使用过一次,且因为存储成本低而将其保存了下来,但是它们不知道如何再次使用这些数据,数据科学家们称这类保存旧信息的计算机为“数据坟墓”。如今,在新的计算方式的推动下,这些数据会产生新的作用。
不同于物质性资源,大数据的价值不会随着它的被使用而减少,而是具有边际效益递减的特征。这些已经用过的数据可以不断被处理,不断释放出新的价值。数据所有者可能借助传统的数据挖掘方法,实现大数据的第一次价值释放。然而,一些大数据分析公司,它们并不持有数据,可能通过重组数据和扩展数据,挖掘出二次乃至多次价值。所以,不同形式的数据搭配,可以取得不同的价值,从而从数据中源源不断地产生价值。
数据是典型的知识资产,也是轻资产。如果按照传统的评估方法,数据的价值是难以估算的。作者给我们举了一个例子,Facebook上市时总估值1040亿美元但是事实上Facebook公布的资产为66亿美元,包括计算机硬件、专利和其他实物价值。常规金融资产与其未记录的无形资产之间相差了近1000亿美元,差距几乎是20倍!数据库中存储的大量信息,这些才是数据的价值,除此之外Facebook几乎一文不值。未来,公司所持有和使用的数据将会是重要的价值。
在“大数据”时代,大数据分析为决策者进行企业级、全局性决策提供了支持。大数据所提供的信息资源已成为一种创造价值的新型生产要素,刺激企业生产流程的改造。大数据可以通过降低企业生产成本,提高企业生产效率,改变以往企业的粗放式管理,形成基于智能化管理的企业管理能力提升。大数据已经向那些线下大公司提出了挑战,人们必须意识到大数据的威力然后有策略地收集和使用数据。
大数据对传统行业的挑战已经引起了中国业界和政府的高度重视。2015年3月,全国两会上,全国人大代表马化腾提交了《关于以“互联网+”为驱动,推进我国经济社会创新发展的建议》的议案。他呼吁,我们需要持续以“互联网+”为驱动,鼓励产业创新、促进跨界融合、惠及社会民生,推动我国经济和社会的创新发展。2015年3月5日十二届全国人大三次会议上,李克强总理在政府工作报告中首次提出“互联网+”行动计划。今年“互联网+”成为最为吸引眼球的概念。互联网对数据使用有较为成熟的经验,这些企业已经成为大数据公司,他们的加盟必将推动企业向更快更好的方向发展,而跟不上步伐的企业,往往会被淘汰。
当世界开始迈向大数据时代时,社会也将经历着一场持续的难以想象的革命。在改变人类基本的生活与思考方式的同时,大数据早已在推动人类信息管理准则上重新定位。
“大数据”时代的数据技术革为决策支持系统带来了发展机遇,决策支持系统在系统定位、决策模式、数据处理、信息检索、系统安全等方面形成了新的发展趋势。
首先,有利于提高政府部门提高行政管理水平。一是有利于提升政府部门协同共享。大数据管理能力的提升,提高了政府各部门之间数据交换的能力,提升了协作水平。二是有利于提升管理决策水平。在政策制定阶段,数据分析是决定政策质量高低的关键性因素。经过大数据的分析,能够为政府决策提供更加客观、详实和可靠的数据,为决策提出参考。三是提高政府的执行力度和监管力度。在执行阶段,数据分析能够有效监控政策实施情况。政府部门越来越注重运用技术手段对数据资源进行深度的价值挖掘,满足日益增长的精细化、科学化管理需要。大数据是一种技术,更是一个支点,它有望能破解政府改革中的难题,能够啃掉改革的“硬骨头”,提升政府管理效能。
面对着这次大数据的技术革命,笔者认为我们要做到几个方方面:其一,高度重视大数据对未来的冲击,大数据是未来科学的趋势所在;其二,大数据正在改造我们的生活、学些和工作方式,这需要我们认真体会;其三,冷静观察评估大数据发展的阶段,根据实际需要,发展大数据产业的某一些环节,而不是全面铺开,合理使用大数据带给我们这个社会的价值;其四,循序渐进地发展大数据,依据现实需要,确定重点发展环节,以这些环节为突破点拥抱大数据所带来的冲击。