随着云计算的快速发展,一种依托云计算而产生的大数据存储技术逐渐受到互联网用户的欢迎。那么,什么是大数据存储技术包括哪些与传统存储技术的区别在哪本文将具体介绍。
1.大数据存储技术
大数据存储技术分为文件系统和数据库系统两部分。大数据文件系统解决海量且形态各异的数据存储问题,分布式系统的容错问题及大数据中的冗余问题等。目前典型的大数据文件系统有:分布式文件系统GFS(GoogleFileSystem)和Ceph、以流数据访问模式存储超大文件的HDFS(HadoopDistributedFileSys-tem)、基于分布式内存的“低延迟”文件系统Tachyou。
2.大数据存储技术分类
(1)基础架构:云存储、分布式文件存储等。
(3)数据处理:对于采集到的不同的数据集,可能存在不同的结构和模式,如文件、XML树、关系表等,表现为数据的异构性。对多个异构的数据集,需要做进一步集成处理或整合处理,将来自不同数据集的数据收集、整理、清洗、转换后,生成到一个新的数据集,为后续查询和分析处理提供统一的数据视图。
(4)数据存取:大数据的存去采用不同的技术路线,大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据。
3.大数据存储技术与传统数据存储对比
在数据库系统方面,相对于传统关系型数据库技术,大数据的数据库系统更重视分布式数据存储的一致性问题。根据一致性要求的强弱不同,分布式数据存储策略可分为ACID和BASE两类。ACID是指数据库事务具有的4个特性:原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability),对一致性要求比较强。BASE则指:基本可用(basical-lyavailable)、柔性事务/软状态(soft-state,允许暂时不同步)和最终一致性(eventualconsistency),对一致性要求较弱。
推荐阅读:
突围升级,数字化助推后疫情时代保险行业渠道转型2目录目录前言前言3一、保险销售受疫情影响的主要症结一、保险销售受疫情影响的主要症结4二、疫情后保险业加速变革的总体趋势二、疫情后保险业加速变革的总体趋势51.业务精细化运营52.数字化建设聚焦6三、保险公司渠道转型与升级策略三、保险公司
既有正面促进也有负面冲击。短期内,制药企业、医疗机构、医药流通与零售、健康险这四大板块受到的影响不尽相同
【防疫应变】商务部数据显示,2019年春节期间餐饮和零售企业销售额超过1万亿元。中国估计2020年同期受疫情影响,该部分收入或减少50%至70%。1餐饮板块受疫情影响尤其突出:中国烹饪协会调研表示2020年春节期间94%的餐饮企业收入相比去年跌了70%以上,疫情期间93%的餐饮企业关闭门店,其中
后疫情时代:保险业加速转型的五大关键点随着世界部分地区开始走出新冠疫情的高峰,保险公司的战略焦点将转向未来的竞争格局,思考新形势对业务的影响及如何脱颖而出。本报告提出的五大关键点,将有助于保险公司在后疫情时代变得更强大且更具韧性。目录目录3后疫情时代的世界后疫情时代的世界4凤凰涅槃,浴火重
疫情影响初现,携手共克时艰疫情影响初现,携手共克时艰2020年第一季度中国上市银行业绩分析本期快讯的编写团队包括:主编:主编:周章副主编:副主编:邓亮编写团队成员:编写团队成员:管玉亚、金劭、王金龙(按姓氏拼音首字母顺序排列)专家委员会:专家委员会:梁国威、何淑贞、朱宇、叶少宽“20
拨云见日,新冠疫拨云见日,新冠疫情影响下财富管理情影响下财富管理业务的转型业务的转型升级升级财富管理解决方案2目录目录前言4第一部分新冠疫情背景下的财富管理行业5一、疫情对经济和个人财富的影响61.新冠肺炎疫情冲击下,个人财富管理意识增强,资产配置成为个人财富保障的关键62.疫情带
全球半导体市场机遇拥抱人工智能,扩大市场份额2全球半导体市场机遇|前景乐观前景乐观当今科技创新迅猛发展,半导体行业有望持续增长。对半导体行业来说,2019年会相对疲软,但预计其将在2020年实现复苏并保持繁荣。2018年半导体行业销售总额为4,810亿美元。今后四年,即到2022年底,