大数据行业图谱之一:底层基础平台公司能做多大? 爱分析洞见 $Hortonworks(HDP)$ 大数据是企业服务市场中的新兴领域,短短几年时间,大数据概念从兴起到落地,开始在各行... 

整个大数据行业可大致分为三层,底层基础平台,中间层通用技术,上层行业应用。接下来,爱分析将按照上述分类,逐步介绍各细分领域的行业现状、未来前景。今天是大数据系列的第一篇——底层基础平台。

底层基础平台主要解决的是数据存储、计算的问题,是整个大数据生态的基石。采集到的数据,首先要能高效、快捷地存起来,才能进行数据分析和数据挖掘。

这一层非常重要,同时也是技术含量最高的一层。以底层技术中明星Hadoop为例,用Hadoop的公司很多,能做Hadoop发行版的公司凤毛麟角。

底层基础平台细分领域里的大数据公司众多,有专注Hadoop发行版的星环科技、红象云腾和天云大数据,有传统数据库厂商人大金仓和南大通用,有研发新型分布式数据库的巨杉数据库,还有唯一来自中国的Apache社区顶级项目Kylin背后公司Kyligence。

Hadoop兴起的原因:便宜才是硬道理

进入新世纪的第一个十年,各大企业都在大力投入IT设备,建设自己的机房,上线各套办公系统。第二个十年,经济下行,传统企业的盈利下降,对IT设备的投入已经不像上个十年那般狂热,大型企业采购IT设备的经费受到控制,开始核算成本,意图在满足需求的情况下,降低投入。

以Hadoop为代表的新底层技术能够兴起,抛开技术原因,最主要的原因是便宜、扩展性强。利用分布式架构,将一些性能一般的机器串联起来,达到与高性能单机同样的效果。随着公司发展,数据量增大,不需要更换全套设备,只需要再增加机器就可以达到目的,省时省力。

分布式架构的技术很多,为什么Hadoop最后胜出?还是因为便宜,用的人多。以微软的Cosmos为例,这套系统本身优于Hadoop,主要是针对大型机房,设计理念很好,上万台机器的机房,拿出几十台做别的事情,来提升系统运营效率。但如果是几十台机器,仍然需要拿出很大一部分来做别的事情,机器使用效率就很低。

实际应用时,用上万台机器的公司少,用几十台机器的公司多,因此Hadoop的应用面更广。用的人多,自然帮助优化架构的人多,社区贡献的人多,技术发展快,渐渐成为主流。

国外Hadoop三驾马车,商业模式各有差异

Hadoop三驾马车,数据源:公司公告,爱分析整理

三家公司都在资本市场上受到追捧。Hortonworks在2014年上市,IPO当天市值接近11亿美金;Cloudera获得英特尔7.4亿美金的投资,估值近50亿美金;MapR最近刚刚获得5000万美金融资,估值也超过10亿美金。

因为MapR的技术不开源,所以对社区贡献有限,目前对ApacheHadoop社区影响最大的是Cloudera和Hortonworks这两家公司。

国内市场处于跑马圈地阶段,新兴大数据公司刚刚起步

正如开篇所言,尽管近年大数据行业风起云涌,创业公司如雨后春笋般冒出,却少有专注底层基础平台的公司。

星环科技是业内的明星公司,创始团队来自原Intel开发Hadoop发行版的部门,经验丰富。成立三年,星环科技已完成1.55亿人民币的B轮融资,估值超过10亿人民币,目前主要服务金融、电信领域客户。

天云大数据和红象云腾同样在做底层基础平台,发展速度略逊于星环科技,都在寻找适合自身的发展路线。天云大数据的业务在向上层迁移,除了提供Hadoop发行版,目前也涉足复杂神经网络等算法技术;红象云腾将业务下沉,基于芯片层提升系统处理数据的效率。

当前,银行等大型企业纷纷喊出“去IOE”(IBM小型机、Oracle数据库、EMC存储设备),尽管国产企业的产品尚不能满足大型企业核心系统的要求,但是必然会有大量新业务的IT系统采用国产品牌,旧有业务面临更新换代也会优先选择国内厂商。

数据库等底层设施不同于上层应用,更换成本较高,客户黏性很大,非万不得已不会进行替换,同时Hadoop这类新技术迭代速度快,需要后期维护。因此,各家公司都在大力开拓市场,跑马圈地。

新兴公司服务客户的方式类似,前期以产品为内核,用项目制的形式帮助企业搭建系统,后期每年收取20%的维护费。各家企业都在降低初装费,意图占据市场,靠后期维护费用收回成本。

巨头环伺的市场,大数据初创公司突围不易

在去IOE的趋势下,中国大型企业都在面临IT设备的更新换代,整个底层基础平台市场潜力巨大。新兴大数据公司利用其技术优势和初创公司的高效决策机制,迅速抢占一些市场份额,占据一席之地不成问题。

这类公司主要服务金融、电信、交通、电力等领域的大型企业,这些领域原本是传统集成商的地盘,因此新兴大数据公司不可避免地将与集成商正面竞争。华为、浪潮、亚信等公司之前主要是为大型企业提供硬件基础设施,近年看到大数据领域的巨大潜力,纷纷成立了大数据部门,为客户提供全套解决方案。

爱分析认为,未来几年在底层基础平台领域诞生一家估值10亿美金的独角兽公司是可以预见的,但是这些大数据公司中出现类似Oracle这样的巨头公司可能性不大,基于以下几点:

第一,产品同质化严重,市场竞争激烈

底层基础平台不同于上层应用,客户需求类似,产品很难体现出差异化优势。各家公司主要比拼产品性能的优劣,这种技术上的差异,新兴公司最初会占据一定优势,随着开源技术的普及,华为等公司会逐步赶上,技术的差距会逐步缩小。

第二,技术迭代更新快,长期保持技术领先不易

Hadoop等分布式架构颠覆了传统单机架构,很难说未来不会有新技术出现颠覆掉Hadoop。一旦大数据公司赖以生存的根基遭到颠覆,谋求转型势必困难重重,公司大概率会失败。不过目前ApacheHadoop社区运作良好,Hadoop经过这些年的改善优化,性能和稳定性上获得很大提升,Spark等新技术大多都会对接在Hadoop上面。未来几年这方面风险较小,毕竟技术发展到现在,独自造轮子的难度很大。

第三,产品销售能力逊于传统巨头公司

企业级市场,产品销售能力将成为影响公司发展的重要因素。以Oracle为例,早年与Oracle竞争的Sybase和Informix,其技术实力不逊于Oracle,Informix的技术甚至领先于Oracle。这两家公司最后在竞争中出局,落得被收购的下场,主要是输在市场推广上,市场推广的失利直接影响到公司的技术革新,最后导致衰落。

在这方面,华为等传统巨头公司占据绝对优势,一方面他们与客户有长期合作关系,另一方面销售团队长期服务大型企业,经验丰富。

那么,什么样的公司有机会突围成功,成为中国的Oracle,爱分析认为具备以下几点的公司机会最大。

第一,开源心态有助于保持技术领先地位

以Hadoop为代表的开源技术正在改变世界,但开源和可持续盈利模式总是存在着一些矛盾,近期RethinkDB公司的倒闭值得警惕,国内专注Hadoop技术的公司效仿国外找到了一条盈利模式,但目前仍然存在一些风险。

公司要不要保持开源的心态,开放自己的技术给更多人使用?对大数据公司而言,技术是核心竞争力之一,特别是对于这些做基础平台的公司,开放技术无疑是削弱自身竞争优势,降低产品的附加值,减少公司的毛利,短期来看,开放技术会对公司的营收造成不良影响。

但是,从公司长远发展来看,完全闭源会增大公司风险,其严重后果远远大于开放技术的影响。大数据公司最担心的是路线图出现偏差,自身技术与时代发展相左,丧失技术上的优势。一旦发生公司的技术发展方向背离整个行业发展方向,需要停止已研发的项目,掉头追赶行业脚步,这对创业公司来说是非常致命的。

如果向开源社区开放自己技术,让更多人了解、研究,有助于自身技术的发展,保证路线图的正确性。同时,不断向开源社区做出贡献,还能提升公司在社区的话语权,进而提升公司在行业的影响力。这也是为什么Cloudera和Hortonworks愿意开放技术,争夺在Hadoop社区的话语权。影响了开源社区,就会影响到整个行业技术发展进程,可以让公司的发展始终保持在正确的轨道中。

第二,商业拓展与技术研发同等重要

企业服务市场是销售驱动型市场,而非技术驱动型,大数据这个细分领域同样如此。技术实力再强,产品功能再多样,也需要有客户买单才行。有些创业公司只重视研发上的投入,轻视市场推广,公司每年订单少,营收自然不高,团队规模上不去,融资困难,公司发展缓慢。

单纯技术上的优势,在企业级市场并不是绝对影响因素。很多公司在POC阶段都曾遇到过技术标第一,却因为商业谈判阶段不理想而错失订单的事情。特别是现在市场处于跑马圈地阶段,抢占位置比什么都重要,更是需要大力进行商业拓展。一旦市场格局稳定下来,到时候再切入市场难度很大。

另一方面,即使是基础平台技术,也需要在实际应用中进行改进优化,各行各业中应用同样的技术还是有一些差异,在应用过程中才会真正了解企业的痛点,更好地服务企业。在做项目过程中,大数据公司可以积累经验,将这些经验内化成产品的一部分,做出更适合中国企业用户的基础平台产品,筑起公司的壁垒。

第三,效仿Oracle,建立适合公司的小生态

建立生态这一点并不是适合初创公司,是公司发展到一定程度后需要考虑的。扩大自己合作伙伴的队伍,与其他公司共同开发产品,让其他公司承担一定销售任务,有些时候要比单打独斗更适合企业级市场。

Oracle这样的巨头公司,刚进入中国市场时也遇到不小的阻力。当时采取的做法是与中国本土公司合作,建立围绕Oracle的小生态,借助本土公司的力量敲开中国市场的大门。

做底层基础平台的公司,作为连接硬件和应用的中间层,更需要与其他公司合作。平台上对接的应用越多,越有助于平台产品的推广,开辟新的市场。

THE END
1.无限极(中国)有限公司无限极(中国)有限公司﹝简称“无限极(中国)”﹞是李锦记健康产品集团旗下成员,成立于1992年,是一家从事健康产品研发、生产、销售及服务的现代化大型企业。https://m.infinitus.com.cn/
2.大数据应用对企业的价值运维中间件人工智能大数据技术对于多数公司,这个应用都是没有落地场景的,但是还是要提一下,大数据和算法的交互:数据特征工程;大数据数据采集、存储和治理是人工智能和机器学习的基石,这个价值按照业界的话来说,价值巨大但落地周期长,在一些基础算法分类、预测、决策的场景经常配合大数据能力一同使用。 https://www.163.com/dy/article/J6TNB5CD05316V6W.html
3.大数据分析师是做什么的?大数据分析6. 文本类(选学,有公司要求的话会用即可) 这部分不熟,基本要知道次感化、分词、情感分析啥的。 7. 工具类 语言:非大数据类R、Python最多(比较geek的也有用julia的,不差钱和某些公司要求的用SAS、Matlab);大数据可能还会用到scala和java。http://bdp.hivekion.com/news/201.html
4.大数据公司是干什么的?网友(匿名用户)职场问答官方认证职Q平台账号 https://zq-mobile.zhaopin.com/zpdOutputQuestionDetail/6940938/
5.德州市大数据局大数据帮助电商公司向用户推荐商品和服务,帮助旅游网站为旅游者提供心仪的旅游路线,帮助二手市场的买卖双方找到最合适的交易目标,帮助用户找到最合适的商品购买时期、商家和最优惠价格; 大数据帮助企业提升营销的针对性,降低物流和库存的成本,减少投资的风险,以及帮助企业提升广告投放精准度; ...https://dsjj.dezhou.gov.cn/n50045614/c50227647/content.html
1.公司简介SOHO中国成立于1995年,由潘石屹先生和张欣女士联手创建。公司在北京和上海城市中心开发和持有高档商业地产,坚持独特创新的建筑理念,建造符合时代精神的建筑,所开发项目均成为城市建设中的里程碑建筑。目前,SOHO中国已成为北京、上海最大的办公楼开发商,开发总量达500万平方米。 http://ir.sohochina.com/
2.关于陶氏公司陶氏公司(纽约证交所代码:DOW)是全球领先的材料科学公司之一,服务于包装、基础设施、交通运输和消费者应用等高增长市场的客户。我们的全球性布局、资产整合和规模效益、专注的科技创新、业务领先地位,以及对可持续发展的承诺,确保我们能够实现盈利性增长,并助力打造可持续未来。我们在 31 个国家和地区设有制造基地,...https://cn.dow.com/
3.首页–松下电器(中国)有限公司松下电器(Panasonic)中国官方网站。详尽介绍了松下电器的公司情况、产品信息、售后服务、人才招聘、CSR活动等https://panasonic.cn/
4.大数据还没整明白,“厚数据”又是什么?当前,全世界各种规模的公司都在被告知需要大数据 —— 大数据是驱动下一轮创新的源动力。风投公司专门确立针对大数据的投资组合,初创公司对外宣称自己是 “大数据” 公司,成熟的巨头企业会成立专门做大数据项目的数字创新团队。面对先进的计算数据收集和分析能力,许多初创公司和大型企业不惜以牺牲人的洞察为代价,过度地专注...https://sjfx.hbue.edu.cn/71/05/c4353a94469/page.htm
5.大数据开发是做什么的?怎样入门?大数据开发做什么? 大数据开发分两类,编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。 https://blog.csdn.net/weixin_51689029/article/details/127809545
6.Contents/premium.mdatmaster·Newslab2020/Contents·GitHub我们能做些什么来改变现状? 608 问答专辑 2022/8/16 如何看待国内社交平台公开IP属地? 如何理解并说服长辈避免通过营销号获取信息? 如何看待《财新》所处的环境? 回复会员通讯604期《互联网必然抖音化?》 607 加拿大网络新闻法:平台向媒体付钱? 2022/8/12 ...https://github.com/Newslab2020/Contents/blob/master/premium.md
7.佳华科技官网首页RocKontrol佳华科技是A股科创板上市公司,公司应用新质生产力,聚焦生态环境双碳领域,长期坚持绿色化和数字化协同发展,是一家打通感知层、平台层、应用层的物联网大数据企业。https://www.rockontrol.com/
8.蔚然成风陈版主答疑2020.09.26审计工具控20、大数据风控公司的收入确认问题 21、关于上市公司报告明细数据披露的口径变化 22、模具核算 23、研发用无形资产摊销 24、根据利润总额计算的所得税调节为所得税费用 25、企业可以分红的前提条件是什么? 26、CIF交易模式下收入确认金额 1、关于商品销售后因为客户原因进行回购 ...https://www.shangyexinzhi.com/article/2462140.html
9.结庐在文化的江山界面新闻·JMedia刘刚:做电视剧《李卫当官》,完全出于偶然。那时我在做投资公司,跟苏斌、刘和平合作成立了一个影视公司。开始合作立项的,不是《李卫当官》,而是《曾国藩》。苏斌、刘和平他们二人刚刚合作完《雍正王朝》,我们一拍即合,想一起合作《曾国藩》,但要完成《曾国藩》有不确定性,于是就想这中间先做个别的什么,《李卫当官》...https://www.jiemian.com/article/5433690.html
10.为什么阿里巴巴是大数据公司?一提到阿里就很容易提到京东,京东跟阿里到底是什么样的关系呢? 这是一个复杂的问题,而且在每一个细分领域这两个公司的情况都是不一样的。今天就只是从数据的角度简单给大家分析一下。 在讲解数据的作用之前,我们先做一个假设分析。比如,阿里的数据是京东的数据的两倍(零售或者金融等方面的数据),那么思考一下阿里...http://www.360doc.com/content/17/0920/21/22712168_688773295.shtml
11.英方软件容灾备份数据库迁移大数据实时同步灾备一体机英方软件成立于2011年,专业提供容灾备份、异构数据库复制、云灾备、系统迁移上云、企业网盘、大数据实时同步、数据恢复、灾备一体机、全服务器备份、虚拟机备份迁移、数据库容灾、数据库读写分类、行情分发、业务连续性管理、异地灾备、CDP、CDM等产品方案。https://www.info2soft.com/
12.对话科捷:会玩大数据和AI的供应链公司是什么样的?而在完整的数字体系下,科捷再度提炼出完整的大数据服务,对应的产品即科捷自研的供应链大数据平台KXDATA。 科捷KXDATA能对供应链各个环节(采购、库存、库内作业、运输、售后等)进行数据监控和数据挖掘,从而提升供应链客户服务质量。同时,针对物流业务流程复杂,数据孤岛等问题,KXDATA提供多项能力,包括物流行业的可视化业务...https://www.tmtpost.com/4149912.html
13.丰田和自动驾驶,超全介绍(2023年最新版)丰田将把HDR借给数十辆PFN,并在未来三年内共同进行研发。 在开发方面,两家公司将分享相互技术,包括现有知识产权和其他信息,并允许两家公司自由利用联合研究的结果,从而加快服务机器人的实际应用。 ALBERT:在自动驾驶领域的大数据分析方面合作 2018年5月,丰田宣布将投资4亿日元,与ALBERT合作,在自动驾驶技术的前期开发领域...https://www.dongchedi.com/article/7198328497730224675