（获取报告请登陆未来智库www.vzkoo.com）
本白皮书将从VR直播应用场景和体验入手阐述VR直播关键技术、平台方案及网络方案，并结合VR直播实践案例对商业模式给出建议，促进VR直播产业发展，丰富VR内容供给。
1.1什么是VR直播？
直播，即通过电台、电视台、网络平台等传播媒体对语音、文字、图片或视频等节目内容进行现场即时播出的一种方式，可分为电台直播、电视直播和网络直播。近年来，随着计算机科学和互联网络的普及，使得网络在线影音平台兴起，通过网络进行视频直播成为一种流行的方式。但人类对美好事物的追求从来都是永无止境的，临场感的缺乏、交互的单一性是传统平面2D直播最大的不足，而虚拟现实（VR:VirtualReality）直播技术的产生解决了这一问题，为用户带来前所未有的沉浸感，促使用户直播体验再上新台阶。
VR直播，是虚拟现实与直播技术的结合。虚拟现实简称为VR，指利用电脑模拟三维空间，提供使用关于视觉、听觉、触觉等感官的模拟，让体验者身临其境地观察三维空间。VR直播与传统平面2D直播的差异点在于：1、提供180°或360°全景视角，沉浸感更强；2、通过近眼3D显示，使得画面更立体，更真实；3、可实现更多交互。
VR直播对设备的要求较高，普通的摄像头难以满足要求，需要使用全景拍摄设备捕捉多角度的画面。用户通过VR直播观看可以自由选择任意角度，跳出了传统平面视频的视角框定，由体验者主动选择想观看的内容，而不是被动接受内容，具有体验逼真的沉浸感。
1.2VR直播优势及发展前景
1.2.1VR直播带动直播体验升级
CNNIC（中国互联网络信息中心）最新发布的《第44次中国互联网络发展状况统计报告》显示，截至2019年6月，我国网络直播用户规模达4.33亿，较2018年底增长了3646万，占网民整体的50.7%，如图1-1所示。
但纵观2016年6月到2019年6月的用户发展趋势来看，网络直播用户规模和占比增长没有明显的上升趋势，需要升级内容体验以吸引更多用户群体，促进直播产业的长期发展。
直播内容是吸引用户观看的最主要因素。随着VR技术在直播产业的融入，对直播体验的互动性、娱乐性和现场感带来极大的提升。
一、临场感。通过VR直播拍摄技术和VR终端的近眼显示技术，用户可以获得更大视场角的临场观影体验。如图1-2所示，用户通过电视观看传统平面2D直播时，通常沙发距离与电视距离相距2.5m~3m，视场角大约30°，而且画面始终在前方，用户是被动接受内容的。而通过VR观看直播时，目前主流VR终端设备的视场角能达到110°，基本接近用户最大的视场角，且用户还可以随意转头选择自己的观看视角，从被动接受转入主动选择。
二、真实感。VR直播叠加3D成像技术，可以给用户更接近真实世界的观影体验，看到的影像更加立体化。
三、便捷性。通过头戴式VR终端观看直播，除了视觉上带来沉浸式体验外，相对于电视、PC具备移动便捷性；相对于传统移动终端如笔记本电脑、PAD、手机等，则可解放双手。可以说是在传统多媒体显示终端基础上又增加了一块新体验形式的屏。
四、交互性。用户在进行VR直播体验过程中，还可以通过操控手柄或手势识别、体感识别等技术进行视角切换、社交互动，有着更强的娱乐性和交互性。
1.2.2VR直播是丰富VR内容的利器
VR产业发展目前存在的一大问题就是VR内容数量偏少，高质量的VR视频和游戏内容更是缺乏，究其原因，有如下几方面：
2、使用CG制作的VR视频或强交互VR内容：存在制作成本高、制作周期长、产能低的问题。
而VR直播内容则很大程度上可以缓解VR内容缺乏的问题。
1、体育赛事、综艺节目、大型晚会、发布会等直播事件都具备定期触发的特性，可源源不断地产生内容。
2、直播事件通常会通过电视、互联网进行节目直播，只要现场再架设多机位VR直播拍摄设备，就可以同步形成VR直播内容，不用再专程搭建环境，调试灯光，可谓低成本内容制作方案。
1.2.3VR直播有巨大的市场前景
VR直播带来的沉浸感体验在多个行业都具有重大的意义，具备巨大的市场潜力。赛迪顾问于2019年10月发布的《2018年VR/AR市场数据》显示，2018年中国VR/AR市场规模为80.1亿元，增长率为76.5%，其中直播行业应用市场规模为9亿元，占比11.2%，仅次于游戏和视频。
到了2021年，VR直播的市场规模将达到64.3亿元，市场占比为11.8%。
1.3VR直播应用场景
VR与直播技术的结合提升了直播观看体验，并使得观众从被动观看转换为主动参与，更加融入到现场，打破了空间与距离的隔阂，这种特点使其有着非常丰富的应用场景。VR直播主要有两大分类，一是PGC（ProfessionalGeneratedContent，专业生产内容），如体育赛事、综艺节目、新闻事件、教育培训、产品营销等；二是UGC（UserGenerateContent，用户生产内容），如网红直播、户外直播、生活直播等。
1.3.1体育赛事
VR直播行业巨头NextVR早在2015年就对NBA赛事进行了全球首次VR直播。在这之后，越来越多的重大体育赛事都采用了VR直播技术，包括2016年里约奥运会，2018年俄罗斯世界杯，2018年平昌冬奥会等。VR直播这种全新的观影方式正在迅速崛起，为体育赛事注入了新的活力。
1.3.2综艺节目
2016年底，备受瞩目的王菲“幻乐一场”演唱会在上海召开，该演唱会现场门票售价高达3000~7800元，座无虚席，票价甚至被炒作至数十万一张。该演唱会为场外观众提供了直播观看方式，超过2000万观众进行了在线直播观看。此外，该演唱会也采用了VR360°视频进行直播，根据后台统计显示，近9万名观众使用VR直播方式进行在线观看本次演唱会。用户需要付费30元购买兑换码才能观看VR直播，如此一来，采用VR直播的方式为此次演唱会额外创收了264万。
华为iLab曾对本次演唱会的VR直播视频进行分析，由于受限于带宽因素的影响，本次VR直播视频流分辨率为4K，码率仅8Mbit/s，用户体验存在画面不清晰、眩晕的感受。如果采用更好的拍摄手法，更良好的网络进行高带宽保障，将会带来更好的体验，吸引更多用户进行VR直播付费体验。
1.3.3新闻现场
从传统的电视直播到网络视频直播，再到VR新闻，技术和媒介的不断发展，使得新闻报道的形式不断变化和丰富，改变了受众的感官。VR新闻直播为新闻行业植入了新活力，为观众带了新的视听体验。新闻始终追求真实性，新闻直播要求最大限度的还原现场真实状态。在传统电视新闻直播中，观众往往作为旁观者，以第三人称视角观看直播，置身于现场之外。而VR直播新闻利用虚拟现实技术，以第一人称视角，或从其他当事人、围观群众的角度，360°全景展示新闻现场，比文字、图片报道更加具有沉浸感。观众在观感上变成新闻事件的主体，并且最大限度再现细节，新闻现场被事无巨细地记录下来，不像传统报道局限于远景的平面展示。这不仅增强了新闻的表现力、感染力，也让新闻直播更加具有互动性。
目前，非常多的重大新闻事件也会采用VR直播技术，如庆祝中华人民共和国成立70周年阅兵式。本次阅兵规模空前，仅参演、观礼和保障人员就达到了30余万人次。对于普通民众来说，到天安门现场观看阅兵是非常难以实现的，而采用VR直播技术可以突破这一空间限制，让用户无论在何地都能体验到现场盛大的场面。
除了国家重大新闻外，VR直播也广泛应用于许多产品发布会新闻现场，作为产品新型推广营销手段。如2019年在上海东方体育中心举行的华为手机Mate30发布会就采用了5G+VR直播技术，并通过5G网络将发布会现场的视频流传输到上海、杭州、太原三地的华为智能生活馆，让位于场外的消费者也能身临其境感受发布会现场。
1.3.4教育培训
VR直播应用在教育领域，具有独特的优势。VR提供的沉浸式场景能让学员感受面对面的现场名师讲堂。在线教育采用VR直播方式可以让用户深刻地感受课堂的气氛，极大激发学习兴趣，加强学习印象。
VR直播在K12教育中也得到广泛应用。如威爱教育通过5G+VR实现多机位课堂直播，让远在凉山州贫困地区的学生能远程实时连接到成都泡桐树小学的课堂，观看老师讲课和实验操作，并能自由切换视觉，从而获得比现场学生更清晰的观察效果。
此外，通过VR直播还可以对现有家庭常用的在线交互课堂进行体验升级，让学生可以足不出户就享受沉浸式面对面教学。
1.3.5游戏电竞
艾瑞咨询2019年发布的《中国游戏直播行业研究报告》显示：2018年，中国游戏直播市场规模增长超过60%，达131.9亿元，预计2022年市场规模将接近350亿元。
VR技术的应用为游戏直播带来全新的体验，游戏爱好者可以沉浸到游戏场景中，与玩家一起战斗，感受到游戏中的刀光剑影就在自己身边。这种全新的直播形式将吸引更多的游戏直播用户群体。
早在2016年，DOTA2游戏就推出VR观战模式。DOTA2本身是一款普通的2D平面PC游戏。想观看VR直播的游戏爱好者可以通过安装专门的DOTA2VR游戏直播APP进入到虚拟游戏场景中进行全景观看，在游戏场景中还可以进行自由移动而切换视角。
有的VR游戏本身也设计了VR直播观看功能，为避免跟随玩家的第一视角走动、转身而感到眩晕，设计为用户可以自由选择视角。部分VR游戏直播还设计了用户自身视角大小的功能，用户可以用俯视或仰视的角度观看游戏场景，带来更多有趣的体验。
1.3.6UGC直播
1.4VR直播面临的挑战
VR直播虽已有着较广泛的应用，但还存在一些问题有待解决：
1、VR终端设备
观看VR直播要获得沉浸式的效果，必须佩戴头戴式的VR设备，而不是仅在手机或PAD上用滑动手指进行全景观看。手机+低廉的VR眼镜盒子帮助消费者实现了VR普及，但其体验受限于手机的分辨率和性能，不能得到较好的体验。从2018年开始，VR一体机开始快速发展，到2019年，已普遍达到双眼4K的屏幕分辨率，可观看全景8K的VR内容，已逐渐消除“纱窗效应”。但VR全景分辨率24K时才能达到极致体验，此时VR终端的屏幕分辨率需要达到16K，VR终端硬件需要进一步升级。
而VR头戴式终端在重量、透气性等佩戴舒适度方面也还需要进一步改进。
2、VR内容体验
目前较普遍的VR直播视频分辨率为4K，理论上需要达到40Mbit/s的码率才能保证良好体验。但由于带宽成本问题，很多VR直播OTT平台通过降低码率来节省带宽成本，通常将码率压缩到10Mbit/s以下，使得用户感到不清晰、眩晕、卡顿，体验得不到保障。
从VR直播内容生产来看，要达到更高的分辨率，需要音视频采集端设备和图像拼接服务器等设备具备更高的性能。此外，更高的分辨率，也意味着需要更高的码率才能保障体验，对网络带宽提出更高诉求。
从VR直播内容展现形式来看，还需要进一步加强社交互动性、立体视觉、听觉感，不断提升用户极致沉浸的体验。
随着云计算、5G和宽带网络技术的快速发展，将为VR直播带来了更稳定的网络带宽保障，促进VR直播体验升级和规模发展。
2.1VR直播整体方案
VR直播整体方案架构主要由内容采集端、VR直播平台、网络和终端四个部分构成。
1、直播采集端
VR直播要求实时的内容生产，内容生产主要包括拍摄、拼接、编码、推流等环节。
当前内容生产主要在直播采集端本地完成，采集端部署在直播现场，通常需要配置VR摄像机和本地服务器（用于拼接、编码、推流、导播等），其会对每个机位拍摄的内容生成完整的视频流，再通过导播系统选择某个机位的视频流，经由网络注入VR直播平台。
随着云计算技术的不断发展和普及，业界厂家将视频的拼接等对计算能力要求相对较高的环节移至云端处理，以降低对采集端设备处理能力的要求。此时，采集端不进行视频拼接，而是将VR摄像机拍摄的原始视频传至云端，由云端拼接。
2、VR直播平台
VR直播平台整体上与传统直播平台相似，核心功能包括：
业务播控/管理：主要负责用户、订购和计费等业务信息的管理，完成用户的接入认证、业务鉴权等业务权限的管控，以及实现节目编排、列表管理等媒资内容的运营。
内容处理与分发：对于采集端拼接的场景，主要实现采集端内容的注入、转码（转编码或转封装）等处理，并作为CDN的源站，实现内容的存储/缓存和分发等。对于云端拼接的场景，平台还需具备拼接处理能力。
CDN节点：直接面向用户，主要负责内容的缓存与加速、用户视频数据的接入，以及响应调度请求，快速向用户提供媒体流服务。
3、网络
与VR点播、CloudVR游戏等各种CloudVR业务一致，面向终端，VR直播需要大带宽、低时延的下行网络传输保障用户体验；而不同的是，面向采集端，高码率的视频源需要实时回传至云端，对上行网络传输提出了新的诉求。
4、终端
在终端侧，用户使用VR头盔、手机和平板等终端设备，通过网络接入VR直播平台获取内容，涉及行业场所的多用户接入（2B）、家庭用户的接入（2H）和消费者用户的接入（2C）等多种场景。
2.2VR直播关键技术
基于VR直播方案架构，VR直播的关键业务流程是明确的，根据视频拼接是在采集端还是云端完成，采集端和云端的分工略有差异。
使用采集端拼接时，直播采集端对各个机位VR摄像机采集的内容进行拼接、编码、封装，为每个机位分别生成一份完整的视频流，再通过导播系统选择某个机位的视频流注入云平台；云平台对注入的视频流进行转码处理，包括转分辨率（如8K转4K）、转编码格式（如H.264转H.265）或转流媒体封装（如RTMP转HLS）等，再进行节目编排、分发至CDN。
使用云端拼接时，采集端对VR摄像机拍摄的原始视频分别进行编码、封装，直接注入云平台，由于VR摄像机一般具有多个摄像头，因此每个机位都有多份未经过拼接的视频流；云平台对注入的多份视频流分别进行解封装、解码，还原出原始视频后进行拼接、编码封装，对每个机位生成一份完整的视频流，然后供导播系统选择某个机位的视频流，进行后续的转码、编排和分发。
总的来看，VR直播关键技术主要包括内容采集、视频拼接、编码推流和内容分发等。
2.2.1内容采集
内容采集即通过VR摄像机拍摄采集VR直播内容素材的过程。
1、当前VR直播的拍摄方案：2D或3D、180°或360°
(1)180°和360°VR直播各有优势，适用场景不同
VR直播根据视频画面覆盖的视场角不同，主要形式有360°VR和180°VR，这两种形式的关键技术基本一致，当前均可实现，二者在不同的直播场景上各有优势。
对于目前常见的VR直播场景如体育赛事、综艺节目等，通常建议采用180°VR，主要原因有：
清晰度体验更好：内容分辨率及覆盖视场角是影响VR内容清晰度体验的重要因素，相同分辨率，覆盖的视场角越小，单位角度内像素点密度越高，清晰度体验往往更好。以4KVR内容为例，360°VR等效于传统TV240P的体验，而180°VR可等效于480PTV的体验。
(2)2DVR支持多机位拍摄，3DVR以单机位拍摄为主
直播通常会涉及多机位的切换，尤其是大型场合更需要现场的多方位呈现。
人的双眼存在间距，因此在感知现实世界时，双眼存在视差。3DVR摄像机需要分别为双眼分配不同的摄像头，并通过双眼对应的摄像头间的夹角模拟双眼间距，以捕获双眼所见的、存在视差的画面，进而营造立体感，如图2-4所示。为了增强VR沉浸感，VR拍摄优先选择3DVR。
(3)2D180°多机位拍摄适用于大型场合，3D180°单机位拍摄适用于小型场合
2D180°多机位拍摄的优势在于支持自由的机位切换。对于大型场合，如篮球比赛，往往需要通过切换机位来呈现近景远景、不同角度下的精彩现场，因此采用2D180°多机位拍摄更加合适。
3D180°拍摄的特色在于对近景细节进行逼真、立体还原，沉浸感更强。对于小型场合，如迷你演唱会，选择一个好的机位即可较好地满足用户现场观看的需求，拍摄以近景为主，因此可优选3D180°单机位拍摄。
2、PGC优选组合式VR摄像机，UGC常选一体式VR摄像机
VR摄像机一般由多个摄像头组合而成，主要可分为组合式与一体式VR摄像机两种形式。不同的VR直播场景拍摄可综合考虑内容体验要求、成本、便携性等多方面要素，选择合适的VR摄像机。
(1)组合式VR摄像机：常用于PGC制作
组合式VR摄像机一般由多个专业的摄像机组合而成，可按需、灵活组成180°或360°VR摄像机（如图2-5所示）；其中VR摄像机进行视频拍摄，再配置额外的服务器/工作站进行视频拼接、编码和封装推流等环节的处理。
组合式VR摄像机通常会选择集成高质量的专业摄像机，成像效果好，一般应用于高品质要求的PGC制作；同时，视频处理环节与VR摄像机解耦，厂商对于原始视频素材有更多灵活的处理、优化空间。但组合式VR摄像机价格较为昂贵，且由于需要配置处理设备，不便于携带，操作专业性要求也较高。
(2)一体式VR摄像机：UGC常选消费级产品，PGC可选高性能专业级产品
一体式VR摄像机将多个摄像头集成到一个完整的一体化设备中，且集合了视频采集、拼接、投影、编码及封装等功能。此类VR摄像机方便携带、容易使用，不需要额外配置视频处理设备，由VR摄像机“一站式”完成处理，不需要过多的专业操作；但其输出的视频效果基本由VR摄像机自身的处理能力决定。
目前业界多个厂家推出了一体式VR摄像机，包括消费级和专业级产品。消费级一体式VR摄像机价格便宜，主要用于消费者用户日常拍摄记录、网红直播等UGC内容的直播。专业级VR摄像机价格高于消费级产品，性能更强，而由于不同厂商的硬件工艺、软件算法等各方面技术水平的差异，不同厂商、不同型号的专业级产品也存在性能差异。如果选择一体式VR摄像机进行PGC制作，建议使用高性能的专业级产品；与消费级产品相似，专业级一体机产品操作简易，也适用于质量要求高的UGC拍摄。
3、VR直播对环境布置和拍摄手法要求相对宽松，有利于内容的丰富
视频采集是视频制作中非常关键的环节，优质的视频采集有利于高品质素材的获取和后期的制作，其不仅需要高质量的设备和技术等硬能力，也需要环境布置、拍摄手法等软能力的支持。
VR视频涉及范围广泛，针对实景拍摄类视频，除了VR直播，还有电影、电视剧、纪录片等影视领域，不同应用领域对视频拍摄要求也会有所不同。
与传统影视相比，VR影视对环境布置和拍摄手法的要求更高、难度更大，而这也成为了专业、高品质的VR影视作品较为稀缺的原因之一，举例来说：
环境布置上，需要“全部清场”：VR视频往往需要360°全景拍摄，此时摄像机所能拍摄的环境范围内不能出现与内容无关的人和物，要求“全部清场”，或对无法撤离现场的人和物进行“适当伪装”，而这带来了一系列的难题，比如灯光师和摄影师位置、灯光摆放、演员走位、机位移动等等。
尽管VR直播对环境布置和拍摄手法的要求相对宽松，但仍有许多需要特别注意的环节，尤其对于PGC直播，需要考虑周全，保障VR直播的专业性和稳定性，比如：
需注意选择合适的机位，这其中涉及协调和沟通与传统机位的位置关系，避免相互穿帮，这部分冲突在大型活动中往往会出现。
VR摄像机的摆放需要考虑摄像机存在的安全距离问题，即拍摄的对象不能离摄像机太近，需要在安全距离范围以外，以免出现画面变形和缝合不完整等问题。
2.2.2视频拼接
VR摄像机的每个摄像头负责拍摄一定视场角范围内的局部画面，而视频拼接是将这些局部画面视频拼接成完整的VR视频画面的过程（如图2-6所示），其本质上是图像序列的拼接，拼接效果影响VR视频画质体验。
1、图像拼接：VR直播相比传统直播独有的关键技术
图像拼接技术可基于特征、光流等多种不同的处理域进行拼接，以基于特征的图像拼接为例，其主要流程包括：图像获取、预处理、配准和融合，每个环节的处理优劣都会影响最终的拼接质量，而其中最为关键是配准和融合。
(1)图像获取与预处理
在进行图像拼接前，需要从VR摄像机采集的内容中获取待拼接的图像。VR摄像机的各个摄像头由于系统、安装等各方面存在差异，会影响图像拼接的效果，因此需要在拍摄前进行摄像头的标定和视频同步，以便为图像拼接准备更优质的素材。
摄像机标定：不同摄像头拍摄会由于镜头的焦距不一致或者出现平移、旋转等物理的差异，不仅会使画面本身出现缩放、倾斜等一系列的问题（如图2-7所示），还会导致不同摄像头输出的画面难以对齐、拼接，因此需要通过摄像机的预先校准，使不同摄像头输出的图像尽量一致。
图像去噪：由于图像采集过程中环境复杂、多变，采集图像难免存在噪点，这些噪点会被视为图像中的一部分，导致图像配准时误判，影响图像拼接效果。图像去噪可以除去噪声引入的干扰信息，方法很多且成熟。
坐标变换：每个摄像头以自身作为空间坐标系的原点进行拍摄，不同摄像头的所在的原点和空间坐标系不同，因此每个摄像头拍摄的局部画面实际上并不在同一个坐标系上，“观看中心”也不同，如果直接拼接，拼接画面与人在真实世界中实际观看的感觉不相符，使画面看起来不自然。因此需要先对图像进行坐标变换，统一坐标系，再进行拼接。
畸变校正：由于制造、安装、工艺等多方面的原因，镜头存在着各种畸变，其中以摄像机内部系统构造引入的径向畸变最为典型，一般可分为枕形畸变和桶形畸变（如图2-9所示）。图像的畸变校正则是根据导致图像畸变的原因，建立相应的数学模型还原畸变失真的图像。
投影映射：VR摄像机通常会配以鱼眼镜头等超广角镜头来扩大拍摄的范围，而其成像结果是球形画面，这与传统平面画面不同，不便于图像的拼接，因此需要将球形画面投影至平面画面中，比如采用等距柱状投影（如图2-10所示）。
(2)图像配准
为了实现图像拼接，相邻摄像头采集的区域会有所重叠，在画面拼接处留下足够的冗余用于拼接，图像配准则需要在重叠区域通过寻找合适的拼接缝合点。
在理想条件下，不同图像的重叠区域是完全相同的，如此进行配准非常简单。事实上，由于摄像头自身系统、拍摄环境等多个方面的差异，重叠区域不可能完全相同，而这也使得图像的配准变得复杂。
图像配准涉及特征空间、相似性度量、搜索空间和搜索策略的选择，寻找拼接缝合点，本质上是在搜索空间内依据搜索策略寻找相似特征点的过程。
特征空间：在进行图像配准时，由于图像的原始数据量较大且冗余信息太多，一般不会针对原始数据进行处理，而是会提取图像的特征数据，因此需要选择合适的特征空间，如灰度、亮度、轮廓等。
搜索空间：相似特征点的搜索是针对性的，需要锁定可能配准的位置范围。
搜索策略：搜索的过程需要选择合适的搜索策略，以尽可能地减少不必要的搜索，优化计算量，提高搜索效率。
相似性度量：判断特征点是否相似则需要给定相似性度量的准则。
(3)图像融合
图像融合是将已经完成配准的多幅图像融合形成一幅完整图像的过程。
图像融合需要选定一幅图像作为基准图像，并将经过配准后的其他图像通过融合算法对重叠区域的数据进行计算，并统一到基准图像所在的坐标空间中。融合算法包括直接平均法、加权平均法、距离权重法等。
图像融合不是简单地缝合配准后的两张画面，还需考虑拼接处过渡自然和整体画面协调。由于摄像机和光照强度的差异，图像之间亮度和色度不统一，拼接后的图像会出现明暗交替或者有明显拼接缝的问题，导致拼接不自然，因此需要进行亮度和色度的均衡处理，实现整体的亮度和颜色的一致。
2、视频拼接输出的画面质量是影响VR直播体验的关键
VR摄像机的每个摄像头具有自身的采集参数，包括分辨率、帧率、色深、视场角等，这些参数会影响采集内容的原始质量；而不同厂家、型号的摄像机，即使参数相同，但由于软硬件的差异，成像效果也会有所不同。
(1)当前VR直播内容能力可达全景分辨率8K、帧率30FPS
内容分辨率影响清晰度体验。当前体验较好的VR直播内容全景分辨率为8K，具体包括4K180°、8K360°等规格。
帧率影响流畅度。目前业界对于8KVR直播的帧率一般采用30FPS。
色深影响色彩保真度。色深越大，越能还原出真实的色彩、细腻的画面和完整的明暗细节，但是色彩保真度以画面的清晰度为前提，在当前清晰度条件下通常采用8bit色深。
(2)提高分辨率是提升VR直播体验的重中之重
分辨率是当前影响VR直播沉浸感最重要的因素，也是目前VR直播体验提升的关键瓶颈。当前全景8K内容等效于TV480P的体验，未来需升至16K（等效于TV1080P）、24K（等效于TV4K），提高分辨率成为提升VR直播体验的首要任务。
2.2.3编码推流
经过拼接的视频内容需要经过编码压缩、形成视频文件并使用流媒体协议封装后，才能实时推送至网络进行传输。
1、VR直播要求更高效的编解码能力
视频编解码是对视频数据去冗余、压缩的过程，以实现在尽量保证画面质量的情况下，采用更小的数据量对视频内容进行存储和传输。在VR直播中，编解码技术主要应用于如下环节：
采集或拼接内容编码压缩：当使用采集端拼接时，视频拼接后的数据量对存储和传输的要求非常高，需要经过视频编码进行数据压缩再传给云端；当使用云端拼接时，需要将VR摄像机采集的原始内容经过编码后传至云端，云端先解码，然后拼接，再将拼接的内容重新编码。
转编码处理：云端对于注入的经过编码的视频流，需要转编码，如从H.264编码转成更高效的H.265编码，则需要先进行H.264解码后再使用H.265重新编码。
终端解码：终端需要对视频流进行解码播放。
由于VR直播视频拼接后输出的是平面视频形式，因此其编解码技术本质上与传统平面视频相似，当前主要采用H.26x系列的编解码标准。相比传统直播，VR直播内容分辨率更高、数据量更大，同时直播要求实时性，因此需要更高效的编解码能力。
对于4KVR，使用H.264编码尚不会给存储与传输带来明显的冲击，业界厂家也常使用H.264进行4KVR的编码，或在云端拼接场景下用于采集端原始内容的编码。而对于同一种编码标准也有诸多的编码参数、算法、档次等供灵活调整，可带来不同编码质量和效率。
随着VR视频分辨率的不断提升至8K及以上，高度密集的数据将带来了数据存储和传输的挑战；同时，FoV传输技术的应用也需要编码技术的配合，此时H.265及更新一代视频标准将更适合于VR视频编码。
2、流媒体传输：实现内容的“即点即得”
VR直播需以流媒体形式通过网络传输至VR终端，以便用户实时观看直播，其主要在如下环节涉及流媒体传输技术：
采集或拼接内容的封装推流：当使用采集端拼接时，拼接、编码后的内容需要封装推送至云端；当使用云端拼接时，VR摄像机采集的原始内容经过编码后，需要封装再传至云端拼接，涉及解封装与重新封装的过程。
转封装处理：云端需要将注入的视频流，转封装成符合平台存储或传输规范、可向下分发的流媒体形式，此时需解封装后，再采用另一种流媒体协议封装。
终端解封装：云端的处理是先编码后流媒体封装，而终端则需对视频流进行解封装、解码，需要终端支持相应的流媒体协议。
当前，VR直播采集端向云端注入内容主要采用RTMP协议，但标准的RTMP协议不支持H.265，如果内容采用H.265编码，需要对RTMP标准进行扩展；而云端向终端分发时，一般采用HLS等协议，此时需要在云端进行转封装处理，从RTMP封装转换为HLS等协议。随着VR直播分辨率的不断提升，采用FoV传输，则需要考虑DASH等更新的流媒体协议。
2.2.4内容分发
1、VR直播CDN与传统直播大同小异
VR直播总体上可采用传统直播的CDN技术。CDN的典型结构包括中心节点、区域节点和边缘节点，其中边缘节点需要靠近用户部署。CDN的主要工作流程包括：
VR直播内容经过转编码、转封装等基础处理后注入到中心节点，中心节点将注入的内容一级级地分发到区域节点与边缘节点。
终端向CDN发送视频服务请求，CDN为终端调度并返回提供视频的边缘节点地址。
2、VR直播CDN需增强大码率内容的分发推流能力
相比传统直播，VR直播数量更大、码率更高，要求CDN具备更大的存储能力、更高的吞吐量和更强的分发推流能力，因此需要充分分析VR直播内容带宽需求、用户并发率等，增强CDN能力，预留足够资源，以保障业务体验。
2.2.5视频传输
与传统视频始终传输视频的整个完整画面不同，VR视频根据是否传输全视角的完整内容，包含如下两种视频传输方案：
全视角传输方案：将VR360°(或180°)全部视角、等质量的画面从云端传输至终端，当用户头部转动至特定的视角时，由终端即时完成全部画面或视角范围内容的解码，并显示该视角的画面。
FoV传输方案：云端根据终端视角信息，向终端推送FoV区域范围内的高质量画面和非FoV区域范围内的低质量画面，再由终端进行解码显示。具体地，如基于分块的自适应传输（TileWiseStreaming，TWS）方案，云端向终端传输低清全景+高清FoV视频流。
当前业界厂家主要采用全视角传输方案进行4KVR直播，而8KVR直播采用全视角传输和FoV传输方案的均有。
2.3VR直播平台方案
VR直播平台总体目标是以VR直播业务为中心，在5G、宽带及固移融合等网络条件下，以直播平台为基础，依托视频处理算法和云计算服务以及专业的直播技术，面向用户提供高质量、优质体验的VR服务。VR直播平台方案涉及对前端采集设备的支持，直播、点播、转码、存储、分发、播放等功能。
2.3.1VR直播平台功能要求
VR直播平台服务基本架构如图2-12所示，遵循云计算的三种服务模式：
IaaS层：主要包含服务器集群、云存储、云数据库、CDN与数据管理的能力，实现针对VR直播服务进行存储、网络、服务器及相应处理能力的自动部署，具备高度可扩展性。
PaaS层：主要包含视频能力、网络、播控及大数据等组件，其中视频能力组件包括在线转码、直播录制等功能；网络组件包括多CDN支持、DNS智能调度等功能；播控组件包括鉴黄、鉴暴、比对等功能；大数据组件包括播放数据反馈分析、CDN分析等功能。
SaaS层：主要包含内容管理、PGC直播管理、UGC直播管理、内容加工等组件，其中：内容管理包括上传管理、编目管理等功能；PGC直播管理包括频道管理、编码管理等功能；UGC直播管理包括实时监控、内容检测等功能；内容加工组件包括逻辑打点、在线快编、云剪辑等功能。
……
2.4VR直播网络方案
2.4.1VR直播网络需求
相比传统直播，VR直播内容码率更大，需要高品质网络来确保内容回传和分发过程中视频的高效传输，保障业务体验。当前VR直播主要内容规格的建议码率和带宽如表2-2所示。
8KVR采用全视角传输时，对VR终端解码能力要求较高；当前具备8K解码能力的终端较少，受限于终端的解码能力，可考虑采用FoV传输方案。以8K2DVR为例，若采用TWS方案进行FoV传输，低清背景流码率约6~15Mbps，高清Tile流总和约80Mbps，网络传输的是背景流和FoV视角范围内的高清Tile流，如此一来，终端不再需要解码全部视角的高清视频流，可有效降低终端解码压力。
1、VR直播内容分发要求更高的下行网络传输带宽
不管是家庭用户场景，还是B端高密接入的多用户并发场景，对于VR直播内容下行传输网络带宽的要求都更高。
2、VR直播内容回传对上行网络传输提出新的挑战
(1)直播采集端需要配置高速、稳定的上行网络
相比VR点播、CloudVR游戏等其他的CloudVR业务，VR直播的特殊之处在于内容源从采集端实时上传至云端分发；同时，与VR直播观看端仅影响某个用户不同，VR直播采集端的内容传输影响所有VR直播用户的观看，因此需要对VR内容的上传带宽要有确定性的保障。
(2)传统家庭宽带结构难以满足UCG直播的上行带宽需求
家庭用户往往会购买家庭宽带套餐，但对于UCG直播（如网红直播）这一的特定家庭应用场景，用户需要直播采集上传内容，上行带宽需求高。传统的家庭宽带上下行网络是非对称且多用户共享的，百兆家宽上行速率仅为10Mbit/s，无法满足UCG直播要求；千兆家宽上行速率约100Mbit/s，可满足4KVR内容的上传，而随着VR直播码率的提升，对上行带宽的要求越来越高，将不断挑战传统家宽的结构模式。
2.4.2千兆宽带与5G助力VR直播普及
VR直播要求大带宽上行和下行网络，传统视频承载网络方案难以满足。千兆宽带与5G时代的到来，网络传输带宽得到质的飞跃，使能VR直播普及。
1、千兆宽带与5G超大带宽，为保障VR直播体验提供网络基础
根据ITU和IEEE的标准，固定宽带非对称10GPON可实现上行2.5Gbit/s、下行10Gbit/s的传输速率；而在对称模式中，上下行传输速率均高达10Gbit/s。
根据IMT2020(5G)推进组发布的《5G承载白皮书》，5G单基站在低频段下行带宽均值为2.03Gbit/s、峰值为4.65Gps，上行带宽均值为691Mbit/s、峰值为1.55Gbit/s（根据TDD上下行占比计算所得），高频频段的带宽速率将更高。
在合理的10GPON分光比或5G基站接入用户数条件下，固定宽带和移动网络可为VR直播用户提供充裕的带宽，确保VR直播业务的流畅传输。
2、千兆宽带与5G时代已来，为VR直播推广奠定商用基础
2019年初，我国工信部、国资委印发《关于开展深入推进宽带网络提速降费支撑经济高质量发展2019专项行动的通知》，明确开展“双G双提，同网同速”专项行动，推动固定宽带和移动宽带双双迈入千兆（G比特）时代。
在固定网络方面，我国目前已经进入以10GPON光纤接入技术为基础的千兆接入时代。根据工信部2019年10月发布的数据显示，我国光纤接入（FTTH/O）用户4.11亿户，占固定互联网宽带接入用户总数的91.4%。宽带用户持续向高速率迁移，100Mbps及以上接入速率的固定互联网宽带接入用户达3.62亿户，占总用户数的80.5%，占比较上年末提高10.2个百分点。“双G双提”战略下，固定宽带迈入千兆时代，至2019年9月底，全国1000M以上接入速率的固定互联网宽带接入用户达58万户。
在移动网络方面，著名分析机构IHSMarket于2019年9月发布的《StakingaClaiminthe5GEra》报告中显示，截至2019年6月30日，全球已经有20个国家的33家运营商推出了商用5G网络和业务，是2019年第一季度的两倍多。我国也于2019年6月初向三大运营商和广电颁发了5G牌照，5G建设正在不断加快进程，预计2019年规模部署将达到百万级别。
2.4.3VR直播网络解决方案
基于千兆宽带和5G的VR直播网络解决方案如图2-13所示。
1、内容回传（上行网络）：使用5G或专线
VR直播要求采集端内容实时、稳定地回传至云端，需要高品质的上行网络。
如果VR直播采集现场支持固定宽带接入（有线或Wi-Fi），建议采用高性能ONT接入+专线传输，为VR直播回传提供专用带宽。
如果VR直播在户外或其他难以接入高质量宽带的场所，建议采用5G接入、传输。在采集端，VR摄像机拍摄实景后，将内容传至VR直播处理服务器进行拼接、编码、推流，服务器连接5G网络将内容回传至云端。目前业界厂家推出了配有5G通信模组的视频采集传输背包作为VR直播处理设备，可直接连接5G网络；如果服务器不具备5G模块，则需通过CPE接入5G网络。
2、内容分发（下行网络）：2B场景优选专线，2H场景优选千兆家宽
VR直播内容分发包括CDN中心节点向边缘节点分发和CDN节点向终端分发。其中，CDN中心节点向边缘节点的内容分发采用专线传输，按需扩大带宽；而CDN节点向终端的内容分发按接入的场景类型，采用不同的网络方案。
(1)2B场景
对于2B场景，如VR直播“第二现场”、分会场、VIP包厢等场所，有多用户同时接入，并发码率大，建议CDN节点与场所间配置专线保障。
当VR终端数量规模不太大（如20人以内）时，优先选择Wi-Fi接入，需要部署多个高性能AP并对Wi-Fi频段进行合理规划，避免干扰。
当VR终端数量规模太大时，Wi-Fi频段资源有限，过大的视频流量并发，极易引发Wi-Fi干扰，影响用户体验，此时建议VR终端采用USB转网口线缆连接网络设备（如图2-14所示），采用有线推流的方式，以保障多人同时在线的体验。
随着Wi-Fi6（802.11ax）的应用，其通过MU-MIMO、OFDMA频分复用、1024-QAM高阶编码等技术，从频谱资源利用、抗干扰等方面提升接入容量和传输效率，结合业界领先的家庭网关和专业的家庭组网能力，可实现Wi-Fi实现更多用户接入并保障VR直播体验。
(2)2H场景
对于2H（家庭）场景，通过配以千兆家宽并采用高性能5GHzWi-Fi接入，保障VR直播观看体验。
(3)2C场景
C端用户可通过集成5G模块的终端在室外接入观看VR直播。当前已有手机支持5G，但VR头盔尚未支持
3.1重庆国际马拉松VR直播
3.1.1项目背景
本次重庆马拉松5G+VR直播是中国联通首次广域赛事级VR直播，也是全国首次将5G+VR技术应用于国际级体育赛事的直播，要求马拉松赛道沿线5G网络覆盖稳定。体育赛事相比之前的综艺、会议类直播，内容属性有巨大的差异：拍摄对象从演职人员变成运动员、观众群体变成了赛事爱好者、场地从室内转向室外，VR直播的范围更广，不可控的因素更多，从设计到实施直播都是一个巨大的挑战。
3.1.2实施与效果
本次VR直播在赛道全程设置多路VR机位，通过5G网络实现VR全景视频实时回传至播控中心，并在播控中心配备专业导播和制作团队，通过图文包装、导播切换等广播级设备实现内容精细化制作。
同时，为了保证与卫视信号的同步，在赛事包装上，首次采用卫视直播信号的VR嵌入功能以及比赛信息的多机位包装同步和现场解说音频的同步，并将延迟降至最低。4路VR混编信号输出至广电频道及多媒体客户端平台，现场展示体验活动区，及融媒体指挥中心大屏幕监看。
本次重马5G+VR直播创造性的将新媒体与传统媒体进行融合：在VR全景视频中开窗加入平面直播信号、VR直播增加解说、实时播报赛事信息等等，充分呈现赛事节目效果。同时VR直播与电视直播同步，这种形式也是5G新媒体对传统媒体的创新和有益补充。
重庆国际马拉松5G+VR直播创下三个全国首次：首次5G商业直播、首次马拉松5G+VR互联网直播、第一长距离5G连片网络覆盖VR直播，为5G+VR广电级大型赛事直播树立了标杆。
3.2CBA总决赛“第二现场”VR直播
3.2.1项目背景
2019年4月28日晚，CBA2018-2019赛季总决赛第二场广东与新疆队的对决在东莞篮球中心“开战”。本次比赛通过5G+千兆网络传输实现了VR高清直播，让球迷在远离比赛看台的“第二现场”戴上VR终端后也能得到如同现场般的沉浸式观看体验。
3.2.2实施与效果
CBA总决赛是中国最顶级的体育赛事，对于现场直播的稳定性、专业性和用户体验都有着最高的要求和非常高的挑战。
1、VR直播机位设计：
CBA总决赛传统拍摄机位有14路，本次的VR直播拍摄方银河威尔提前根据场地情况绘制机位图，防止与传统机位发生冲突，最终选择了3个VR直播机位：主队视角、客队视角以及中立视角，保证用户全方位体验比赛现场。
2、网络设计：
VR直播上行：东莞篮球中心CBA决赛现场通过5G基站+5GCPE保障30~50Mbit/s高码流VR直播信号回传至VR直播平台。
VR直播下行：VR直播视频分发到边缘CDN，并以不低于30Mbit/s码率视频流传输到通过千兆专线、家宽或5GCPE接入VR直播平台的VR一体机终端。
馆外“第二现场”通过千兆宽带和高密度Wi-Fi实现20路用户并发，进行VR直播观看体验。
本次CBA总决赛VR直播通过5G+千兆网络的保障，实现了高码率、低时延的VR直播体验，并同步实现了VR社交如语音对话，挥手示意等交互功能。整个直播过程中传输稳定流畅，时延优于电视直播，与传统电视直播形成了差异化体验。此外，VR直播与VR社交的融合也使得整个VR直播体验更具有趣味性，得到用户的高度评价。从“第二现场”用户调查问卷反馈来看，有接近94%的用户愿意为优质VR直播业务升级5G及千兆网络服务，48.8%的用户愿意为这样的产品支付30元以上的费用。
本次VR直播案例实践为运营商发展5G与千兆家宽业务提供了VR直播商业场景的可行性参考，促进VR直播规模化商用的到来。
3.3央视春晚VR直播
3.3.1项目背景
2016年被称作VR元年，VR直播在演唱会、新闻事件等领域已经被广泛应用，春晚作为国内最受瞩目的大型晚会也紧跟步伐。2017年，中央电视台一年一度的春节联欢晚会首次实现VR直播，用户下载央视客户端就可以观看VR版春晚。VR直播创新技术的引入为央视春晚节目带来了亮点，至此以后，VR直播已成为央视春晚直播常态化应用的方案，至2019年，已连续三年进行了VR直播。
3.3.2实施与效果
北京兰亭数字科技有限公司（以下简称兰亭数字）在央视春晚近三年的VR直播中提供技术支持，随着VR直播技术和网络的发展，让春晚VR直播体验实现了逐年升级。
2017年春晚VR直播中，兰亭数字采用了业内领先的播放设备和播放技术：包括VR直播软硬件系统、影视特效实时叠加、H.265压缩、VR航拍等技术，真实还原春晚现场。本次春晚VR直播在演播大厅、春晚准备后台、明星出场过道、央视导播中心等现场不同位置架设了拍摄机位，用户在观看VR直播时可以自主选择想要观看的视角，了解春晚演出台前幕后的每个细节。除了传统拍摄机位外，兰亭数字还针对央视春晚的大型舞台和众多外景场地使用了航拍VR技术，让全国观众在观看VR春晚时，从空中俯瞰另一种角度的春晚现场。
2018年，机位设计进行更多改进，不仅在春晚演出的核心区域架设了更多的拍摄机位，还架设了4台采用3D技术的VR设备，为观众带来更生动的视觉体验。节目组还派出4组VR拍摄团队分赴珠海、贵州、泰安、三亚，使用超高清VR摄像机，不仅将分会场的节目拍下来，更围绕四地不同的民俗特色风光，为四地拍摄了VR风光片。2018年春晚拍摄的VR短视频数量比2017年翻番，多达40多个。
随着网络的快速发展，2019央视春晚首次实现5G+VR直播，通过5G网络高带宽低时延的保障，让VR实时直播变成了可能，不仅满足VR直播时效性，同时也保障了内容画面的传输质量。
实时VR直播内容编辑处理、8K的高清VR内容，这些新的技术的加入，也为广播电视行业提供了更多内容创造的可能。相信随着家庭终端设备性能和网络速度的提升，VR内容制作将更加简单，传播更为快捷，互动性更强
4.1VR直播产业链
除了网络管道的服务外，电信运营商还可以借助原有的IPTV平台搭建VR直播业务系统，并复用原有的认证、计费等平台管理功能，实现高质量、高可靠的VR直播平台统一管理和运营。
3、云网方案商
云网方案商主要负责云端资源提供、云网方案支撑、协同建网、VR直播网络环境调测、辅助运营等。
4、VR直播商
VR直播商承担了VR直播现场的直播方案搭建、灯光调节、内容拍摄、后期制作等工作，对VR直播的内容品质有着决定性作用。
目前，国内外都涌现出一大批VR直播解决方案提供商，如NextVR、兰亭数字、银河威尔、我趣网、看到科技、Insta360等。无论从VR直播内容的拍摄手法、还是分辨率的提升、社交元素的融合，都有着很大的提升。
6、VR终端商
VR终端商主要负责VR终端设备的生产、发货以及售后服务。未来VR直播的主要终端形态有以下几种：
（1）手机+VR眼镜盒子
优势：轻便，便于携带，复用人手一部的手机，价格低廉。
缺点：体验依赖于手机性能和屏幕分辨率，难以满足极致体验需求。
（2）外接式VR分体机
形态：VR眼镜外接一个便携的盒子或手机，如华为的VRGlass
优势：体验效果优于VR眼镜盒子，因为将处理器独立出来，头戴部分可以做得很轻便，减少了发热，佩戴更加舒适。
缺点：因为重量减轻考虑，体积小巧，难以佩眼镜佩戴，需要支持近视调节功能，但调节范围有限，对高度近视用户不够友好。
（3）VR一体机
形态：VR终端的显示和处理一体化。
优势：佩戴和携带都比较方便，体验效果优于VR眼镜盒子
缺点：没有剥离掉处理单元和电池，终端重量难以进一步减轻，对散热要求也较高。
4.2VR直播商业模式构想
对于运营商来说，开展VR直播业务需要与VR直播产业链上的产业伙伴深入合作，最终向用户提供VR直播服务，他们的商业模式如下图所示：
VR直播商：提供VR直播服务，运营商向其单次或周期性支付直播服务费用。
云网方案商：提供VR直播云网建设方案，协助运营商建设VR直播平台和传输网络，运营商向其采购软硬件服务。
终端提供商：提供VR终端设备和售后服务，运营商进行批量采购。