小红书CTO郄小虎:云计算与大数据打通社区与电商

从社区到平台,从0到超2000万注册用户,小红书与成长背后的技术架构如何变迁日前,小红书CTO郄小虎(Tiger)接受《腾讯云会客厅》及CSDN记者专访,介绍小红书在转型发展中遇到的技术挑战,和如何通过云计算来实现系统的扩容、安全,以及基于大数据和机器学习的个性化推荐应用。

小红书技术架构变迁及挑战

郄小虎介绍,小红技术架构的发展经历了三个阶段:

引入了电商业务之后,事务性和一致性需求的解决成为迫在眉睫的问题。这个阶段的主要工作是在现有技术架构的基础上实现事务性、一致性的需求。这也是小红书后台技术经历的最重大的一次变化。

社区电商业务的飞速发展,带来了系统性能的瓶颈。这个阶段,小红书开始从存储层到逻辑层到服务层去对系统进行扩容,从一开始的集中式架构,慢慢地改造成服务化、模块化的分布式架构,整个技术体系能够变得更加独立、灵活,而且易于扩容。

系统可能面临的最大的挑战来自于规模和经验:

业务逻辑的完善。去年的“6.6周年庆”,在流量上并不是特别大的问题,但那是小红书第一次做大规模促销,支持电商业务的功能上有很多不到位的地方,比如秒杀系统最开始的在逻辑上是存在缺陷的。

高并发流量。到去年红五(红色星期五)的时候,小红书在业务逻辑的层面已经积累了相当多的经验,最大的考验转移到流量上。小红书历史上的最高峰值是在红五时候出现的,已经真正挑战到了系统的一些极限。

云计算实践

应对互联网业务挑战的关键,是架构的云化,小红书也选择了云计算服务。

选择云服务的考量

小红书在选择云计算技术时主要从以下三个层面来考量:

硬件资源。云平台作为一个基础的计算和存储的平台,当小红书需要更多的计算能力或者更多的存储容量时,这个平台能够很快地满足扩容的需求。

基础软件。业务系统的实现需要技术团队搭建很多的功能模块,可以在云基础架构平台上自己搭建,也可以去选用平台提供的一些现成服务,如数据库服务、Redis缓存、数据计算系统。

腾讯云的应用

基于上述理念,小红书尝试了不同的云服务组合,目前较为核心的业务系统部署在腾讯云上,硬件基础架构和增值服务依赖于腾讯云。基于支撑腾讯社交业务的技术打造的腾讯云,对满足小红书这两方面的需求没有压力;第二部分则是一个混合的模式——比如,数据库和Spark是自己搭建的。

存储系统

小红书现在采用的数据库技术是NoSQL,是初期打造社区应用时候做出的选择,因为NoSQL更适合大规模、高并发的社区场景,同时社区应用对事务性、数据一致性的要求没有那么强,NoSQL完全可以满足,而如果采用传统关系统数据库,开发成本也会变得比较高。

安全

小红书遇到的攻击,最常见的是简单粗暴的流量攻击,目的就是为了把网络带宽耗尽、阻塞,让其他有正常需求的用户没有办法访问小红书的服务,大型企业一般要投入很大的人力物力,才能把这类攻击化解掉。郄小虎表示,对于成长型公司,需要云服务平台能够在这些流量到达服务之前尽早地把它们过滤掉。这方面,腾讯云提供的大禹系统可以满足小红书的需求。他认为,大禹系统是一个立体的系统,在CDN层面上把攻击流量化解,小红书发现的一些比较执着的攻击也能被挡住。

实战心得

和腾讯云合作的另一个好处,是可以借助腾讯云技术团队共同进步。去年第二次大促销的时候,小红书系统面临很大的流量压力,已经做了数据分片,并且做了封测,对想得到的购物入口做了充分的准备,但开场时候系统仍然卡了一下,后来小红书和腾讯团队一起排查,才发现是出现了大量用户刷心愿单的情况(用户提前把物品加入到心愿单里),然后很快地扩容。

命脉:基于大数据的个性化推荐

社区的激励机制,就是让优质的笔记得到更多的曝光、更多的用户点赞和收藏,并且是通过技术手段而非人工力量来实现。当用户发了一篇帖子之后,系统会对这篇笔记进行多个维度的分析。

根据历史数据建立的模型所提取出一些特征,来判断一篇笔记的质量。

根据笔记的内容推荐出一些标签,简化用户的操作的复杂度,同时避免UGC信息非常零乱的情况,让UGC的信息更加结构化,能够和后台系统对齐。

郄小虎介绍了小红书上个性化推荐的三重境界:

场景化推荐引导消费。小红书现在有非常多的女性用户,她们来到小红书平台可能只是没有明确目标的“逛”,或者只有一个比较模糊的目标,小红书则可以引导这部分用户在不停的“逛”中发现惊喜,形成细化的消费需求。

除了上述用户行为,图像的理解、文本的分析也是小红书需要解决的问题。郄小虎表示,在小红书的应用上,图像很重要,因为很多时候用户的需求信息很难用文本来描述,这时候通过图像的相似度来找关联是一种更加有效的方式,尤其是在像穿搭,这个品类里面,就找到风格类似的,这样的一些图象,是有更大的,对用户来说有更大的发现价值。

人工智能能够创造新的消费体验

谈到小红书的未来,郄小虎认为,目前小红书给用户提供的主要还是一种浏览的体验,小红书希望成为用户的一个智能助手,理解用户的需求并帮助用户完成他的心愿,整个需求的满足还有很大的提升空间,通过机器学习技术的应用,不断分析和学习用户的行为,可以使系统变得越来越聪明,能够让用户更加有效地找到想要的信息或者想买的商品。

THE END
1.#腾讯前副总裁郄小虎涉嫌重婚罪被诉#...来自融资中国【#腾讯前副总裁郄小虎涉嫌重婚罪被诉#】 上个月 29 日,有消息传出腾讯副总裁、PCG(平台与内容事业群)信息与服务线负责人郄小虎已离任,曾任小红书和滴滴 CTO。随后有网友晒出郄小虎因重婚罪被起诉图片。企查查...https://weibo.com/2401737737/MDkIO5HRf
2.*腾讯前副总裁郄小虎涉嫌重婚罪被诉,二审判刑半年股票频道据雷峰网消息,日前,腾讯(00700.HK)副总裁、PCG(平台与内容事业群)信息与服务线负责人郄小虎离任。 郄小虎此前曾担任滴滴网约车公司CTO,小红书 CTO等职位,两份工作时间均不超过2年,更早之前曾在谷歌工作超过12年。2020年郄小虎加入腾讯PCG担任副总裁,2021年12月接任“信服线”负责人,同时继续负责PCG技术公线和搜狗...https://stock.stockstar.com/IG2023042400006183.shtml
3.《我能做软件工程师吗(知名软件工程师韩磊郄小虎陈智峰等手把手...当当网图书频道在线销售正版《我能做软件工程师吗(知名软件工程师韩磊 郄小虎 陈智峰等手把手教你报志愿、找工作、换赛道。入行)》,作者:丁丛丛 靳冉 编著;得到图书 出品,出版社:新星出版社。最新《我能做软件工程师吗(知名软件工程师韩磊 郄小虎 陈智峰等手把手教http://product.dangdang.com/29557867.html
1.郄小虎(腾讯公司原副总裁)2021年12月被任命为PCG平台与内容事业群信息平台与服务线负责人,同时负责PCG技术公线和搜狗输入法。[3]2023年3月29日消息,郄小虎已离职腾讯,不再担任腾讯副总裁、PCG(平台与内容事业群)信息与服务线负责人。[3] 没用 有用 基本信息 中文名郄小虎 毕业院校清华大学、普林斯顿大学 外文名Tigerqie 国籍中国 民族...https://baike.sogou.com/m/fullLemma?lid=184581713
2.郄小虎简历小红书CTO郄小虎受邀参会演讲郄小虎 郄小虎简历 郄小虎是小红书的CTO,清华+普林斯顿的背景预示着他资深学霸的身份。就是这样一个学霸却在学业的最后几年放弃了PhD,辍学加入当时还是mini公司的谷歌。 出席会议历程https://www.41huiyi.com/guest-077084065049078068085120.html
3.小红书郄小虎的创业之路小红书郄小虎的创业之路 引导语:在技术驱动下,小红书到底是一个社区还是一家电商,其实已经不那么重要。在这个信息充盈且碎片化的时代,让人和信息之间更好地匹配,才是一家企业最大的竞争力。 风口不会随便眷顾一个人。因为历史不会对默默“打怪升级”着魔,它只看结果。 https://www.yjbys.com/chuangye/gushi/anli/590829.html
4.对话前Google全球研发总监郄小虎:重要选择上,抛开更多的“应该...2003年的秋天,当时就读普林斯顿的计算机博士郄小虎(Tiger)决定放弃众人艳羡的常春藤学位,以及手头上拿到的各种Offer,从新泽西只身前往硅谷。 他将要去的是家从学长口中得知的创业公司,虽然直到入职前,Tiger 都完全不知道进去以后具体要干什么,但他觉得可以赌一把,因为自己早已在不知不觉中成为了其产品的忠实粉丝。 https://www.36kr.com/p/5043950
5.深厂独家腾讯副总裁郄小虎离职创业,Zengyu接任信服线一把手...Tigerqie(郄小虎),公司副总裁级别(L4),不再担任PCG/信息平台与服务线负责人,不再兼任PCG/技术与内容平台/技术公线负责人。 Zengyu(YUZENG),公司副总裁级别(L4),兼任PCG/信息平台与服务线负责人,向平台与内容事业群总裁Mark(任宇昕)汇报,其他管理职责不变。 https://cloud.tencent.com/developer/news/1039868
6.腾讯最新人事变动:副总裁殷宇郄小虎职务调整涉两事业群腾讯公司副总裁殷宇调往云与智慧产业事业群(以下简称“CSIG”)担任智慧教育行业负责人,负责腾讯在智慧教育领域的整体策略与规划,做好教育行业升级的“数字化助手”,不再担任平台与内容事业群(以下简称“PCG”)下“信息平台与服务线”(以下简称“信服线”)负责人;腾讯公司副总裁郄小虎将接任“信服线”负责人,同时继续...https://finance.eastmoney.com/a2/202112012199924233.html
7.腾讯副总裁殷宇调任CSIG智慧教育行业负责人郄小虎接手PCG“信服...腾讯公司副总裁殷宇调往云与智慧产业事业群(以下简称“CSIG”)担任智慧教育行业负责人,负责腾讯在智慧教育领域的整体策略与规划,做好教育行业升级的“数字化助手”,不再担任平台与内容事业群(以下简称“PCG”)下“信息平台与服务线”(以下简称“信服线”)负责人;腾讯公司副总裁郄小虎将接任“信服线”负责人,同时...https://www.cls.cn/detail/886062
8.腾讯纳入搜狗后信息平台业务换帅:老将殷宇调离,郄小虎接任腾讯副总裁殷宇调往云与智慧产业事业群(以下简称“CSIG”)担任智慧教育行业负责人,负责腾讯在智慧教育领域的整体策略与规划,不再担任平台与内容事业群(以下简称“PCG”)下“信息平台与服务线”(以下简称“信服线”)负责人;腾讯副总裁郄小虎将接任“信服线”负责人,同时继续负责PCG技术公线和搜狗输入法业务。 https://www.thepaper.cn/newsDetail_forward_15639408
9.?腾讯副总裁郄小虎离职?腾讯副总裁郄小虎离职 牛透社 3 月 30 日消息:腾讯副总裁、PCG(平台与内容事业群)信息与服务线负责人郄小虎已离任。目前尚不清楚这位资深技术专家接下来的去向。郄小虎于2020年9月加入腾讯,任公司副总裁,负责PCG技术线相关职能。2021年12月接任PCG信息与服务线后,他管理着QQ浏览器、搜狗搜索、搜狗输入法等业务...https://www.niutoushe.com/?p=85606
10.郄小虎Tiger我的博客使用的是Zblog,默认很多东西都不是自己想要的。很想改成那些所谓符合web前端,web标准的样式,但苦于对相关动态方面不熟练,所有每次修改文件都要从网上找相关的模板及标签。今天从网上找到zblog模板标签调用集合,一则方便自己以后修改更方便;二则,也算是分享给大家,方便修改zblog相关样式等。首页与列表页相关...https://me.csdn.net/weixin_30016593
11.氪空间会员原滴滴出行副总裁郄小虎将加入腾讯 滴滴出行副总裁,科技生态与发展部负责人郄小虎(Tiger Qie)已于近期离开滴滴,他即将加入腾讯平台与内容事业群(PCG)任副总裁,负责搜索算法和数据业务。(晚点LatePost) 腾讯起诉刷虚假流量公司获赔120万 日前,重庆市第五中级人民法院对腾讯公司诉数推公司及谭某不正当竞争案作出一审判决...https://www.krspace.com/members/317
12.滴滴顺风车3城试运营;美商务部第三次延长可采购华为设备期限;传阿...微软团队协作程序 Teams 日活用户超 2000 万,远超 Slack;盒马新业态「盒马里」将于 11 月 23 日试营业:主打一站式送餐;盒马新业态「盒马里」将于 11 月 23 日试营业:主打一站式送餐;Oculus Link Beta 版上线,公布官方推荐线缆;中国首个天基互联网系统将于明年投入示范应用;滴滴副总裁郄小虎:很快在上海推出自动...https://www.geekpark.net/news/251252
13.马斯克喊停ChatGPT新能源巨头赚疯了丨电商财经盘点零售腾讯副总裁、PCG(平台与内容事业群)信息与服务线负责人郄小虎已离任。目前尚不清楚这位资深技术专家接下来的去向。郄小虎于2020年9月加入腾讯,任公司副总裁,负责PCG技术线相关职能。2021年12月接任PCG信息与服务线后,他管理着QQ浏览器、搜狗搜索、搜狗输入法等业务。郄小虎分管的业务将由腾讯副总裁、PCG技术副总裁曾宇...https://www.ebrun.com/20230402/515008.shtml
14.全球热门公司周报中国神华回应涉万亩林场水源纠纷;阿里设六大...郄小虎于2020年9月加入腾讯,任公司副总裁,负责PCG技术线相关职能。2021年12月接任PCG信息与服务线后,他管理着QQ浏览器、搜狗搜索、搜狗输入法等业务。郄小虎分管的业务将由腾讯副总裁、PCG技术副总裁曾宇直接负责。曾宇于2002年加入腾讯,2012年升任公司副总裁,是腾讯资深的技术专家和管理者。 https://www.tmtpost.com/baidu/6471651.html
15.腾讯副总裁,腾讯副总裁年薪2.5亿元2、 腾讯两大事业群高管调整后,两位副 总裁殷宇和郄小虎连发内部信 1 12月,腾讯PCG(平台与内容事业群)和CSIG(云与智慧产业事业群)同时进行高管调整,现腾讯company vice总裁余音(Mel)调任云与智慧产业。目前腾讯公司副手总裁 Tiger接任说服线负责人,继续负责PCG技术公线和搜狗输入法业务,向任宇昕汇报。 https://m.jykxzz.cn/hwmx/pmjy/148452.html