这是我们目前北京美摄科技的产品矩阵,从最下面开始其实我们整个产品矩阵的基石是原有的美摄SDK,美摄SDK是跨平台的SDK,不属于移动端、云端、PC端以及硬件都可以。移动端主要就是ios,安卓都可以。云端主要指的是外部端的部署,PC端是Windows和Mac上也可以部署。硬件我们可以做到HAL层也可以做到dsp层。根据客户的需求我们做了一些定制化的要求,SDK来讲现在主要分两大部分,一部分是传统的视音频解决方案,也是传统的视音频能力,另一部分我们现在AI智能化的技术,把它两者结合,搭建出了一个美摄智能视频生产平台,素材创作平台。
从两个平台以上我们就可以出来四端的服务,移动端我们有自己的智能校色,智能轮廓线,智能轮廓线也是为一加手机定制的功能,一加手机熄屏是会根据屏保熄屏时的图片会智能识别轮廓线,出来一个简笔画的效果作为您熄屏的屏保,会让人感觉比较独树一帜。也是一加的定制化需求,像我们的智能校色,它会识别图像的场景,比如什么样的场景什么样的风格内容,然后自动化调整校色方面的参数,像清晰度,高光,暗影等十几个参数,做智能化的调整,帮助你来提高整个图片的审美,人为的提升视觉效果。
在云端方面我们的最大产品是云剪辑,云剪辑是服务器端和前端网页的结合产品,我们的云剪辑特点是用了web技术,在网页端实时的渲染,而不是通过网页和服务端不断地通信,对网络的依赖程度大大的降低,直接在云端实时的渲染,去年主要产品也是今年主要火的一个产品需求,我们为国家电网做了虚拟主播,不管是2.5D的3D的还是仿真人的都有相应的产品提供,PC端相当于我们更专业一点的工具,因为可能像一些b站的up主,需要编辑一些更专业一点的视频,他可能需要在电脑上进行操作,所以我们在PC端也有这样的特效制作工具以及专业的视频编辑工具来提供给各个企业各个客户。
在硬件方面,我们也是应客户的需求,我们把美颜和我们的滤镜做到了HAL层和dsp层,直接在硬件上跑,效率会好一点,这也是一些客户的定制化开发需求。
我们的美摄智能生产平台,刚才提到主要是解决视频内容的生产问题,其实按功能模块来讲的话,大概分为四个模块:智能的拍摄,智能的剪辑,智能的包装,智能的模板。而这些不同的模块他们的关键点在于智能标签,智能标签的识别作为整个智能视频生产平台的基石。像整个系统里面,我们一直在尝试用一些前沿的技术相结合,比如8K的视频编辑,都会去做一些尝试并落地。像智能剪辑,智能剪辑主要是对导入的视频不需要人工的干预,是由AI自己识别视频的内容,然后根据我们的设计团队,在这之前不断地做了很多实验,我们用AI模拟设计师的思维方式,用他们的思维方式产生包装的体验包装的方案,根据AI识别选出相应的方案,来智能地裁剪出精彩片段做一些特效包装,和普通的识别了一种物体,猫狗之类的宠物相比,按照对象做一个视频的聚类是有区别的,包装的效果也是不太一样的。
这个是我们美摄智能视频生产平台的逻辑结构,整个平台来讲是一个前端和后端结合的解决方案,所以后端可以按照客户的需求部署在公有云或者说私有云上。在PaaS层,我们提供了主要基于SDK本身原子的能力以及AI的原子的能力,比如人脸点位检测,AI智能校色,AI智能标签作为底层的技术,然后我们在SaaS层服务于企业的服务平台,SaaS层主要后端的内容管理平台,这个平台的特点在于结构化会很强,而且每个客户需求不太一样,所以定制型需求比较高,企业客户可以根据自己的需求选择不同的模块来满足您的业务发展的需求,在后端以前我们要配合前端的工具,比如说移动端,PC端的外部端提供这三端的工具结合服务器的能力不断地输出我们的视频内容,两者结合的方式来提供完成这个智能视频生产的构建。我们的业务场景比较多,可以在不管是专业的视频或者是短视频或者是新媒体这些视频,流程上包括到采集到编辑到产品的包装到后台项目的管理到用户的管理内容的管理到最后的发布和运营,整个平台是可以服务于不同的场景的。
大家可以看一下剪辑包装的示意流程。对导入的视频图像做一些AI的智能识别,知道不同的风格地点对象,包括偏白偏黑不太好效果的屏蔽,这些都会去做一些识别,然后根据最重要的一点去根据设计师近千次的包装理念,有设计团队对同样的视频包装效果进行了近千次的实验,然后与我们的产品通过提炼每个人不同的包装手法,比如每个设计师的喜好,他对视频的认知,他认为这些视频哪些属于精彩片段,片段之间应该是怎么样的组合方式,人和风景的结合,这些片段是怎么样的排列,之间加一些怎么样的转场特效,设计师对视频的理解内容是不一样的,所以我们先让我们的设计团队做了大量的试验之后,由我们产品团队做了这样方案关键点的提取,形成了很多的方案,最终出现了AI智能包装剪辑的效果。
4.1内容生产——旅拍Vlog智能剪辑
首先我们对你的视频进行智能的AI识别,识别了你的风格化有哪些场景,从不同的维度构建识别内容的体系以后,我们对视频片段进行裁剪,经过我们的评分系统挑选出我们这个视频的精彩片段,精彩片段会根据你视频的导入内容,挑选出不同的包装方案,这些包装方案根据我们设计团队的同学他的思维方式,不是固定的,挑选不同方案出来不同效果,根据评分系统模拟当时设计师的思维方式,临时组合出来的成品。可能你选的同样的方案,导入视频内容不一样,出来的结合程度是不一样的,最后我们也会通过识别内容,在字幕库内添加一些符合它场景的字母作为包装元素到视频里面,包括滤镜,音乐节奏的自动打点,都会一键式智能AI包装出来。
4.2内容生产——会议智能剪辑
还有类似会议类的剪辑,这个可能更好的服务于传统的企业比如说中央电视台,人民网,国家电网这样的一些传统的企业,主要是像两会这样的大型会议,可能会做一些智能剪辑,因为有些报道前端记者会拍摄很多的视频,出这样的一个报导,我们会帮助他们做一些场景人物的检测,和刚才的旅拍是一样的,需要我们对两会这样的大型会议作出解决方案,由我们识别到以后根据解决方案,由它智能的输出模块化的包装,达到会议智能剪辑的效果。
4.3内容生产——游戏智能剪辑
还有个智能剪辑也是在于客户的定制化需求,是我们对游戏的智能剪辑,目前是王者荣耀这个比较流行的游戏做了一个游戏的智能剪辑,就比如有些游戏玩家在直播或者游戏录屏里面需要做一些精彩片段的回顾,特别是一些游戏手机厂商,也有这样的产品定制化需求,开发了这样一个游戏。以王者荣耀这样一个游戏检测来讲,我们会根据右下角的主角的特技识别他是怎么样的主角,通过它上面的一些击杀动作,我们来区分不同的片段,组合这些精彩片段,最后加上我们的包装效果,比如说音乐的卡点,一些字幕滤镜贴纸,这样的一些包装元素,然后对它做了一些包装化的效果作为一个精彩集合,大家可以看一下效果。
像这样一个静帧的效果,一个校色的效果,这些都是我们后期剪辑出来的一些包装元素。这些火光和光轮的效果都是一键式的智能AI包装出来的,没有通过任何的人工干预,这就是我们游戏智能剪辑的包装效果的演示。
4.4内容生产——两会活动
内容生产还可以像这样迎合两会活动的一些特殊的场景,突发性的新闻事件,去做一些极速的活动比如这次两会,这也是解放军强军网的一个定制化的需求,两会前突然找到我们,说想做这样的一个活动,我们主要是SDK这样一个灵活的架构,非常迅速的完成了两会的活动,他的活动邀请了杨利伟去拍摄这样一个视频,识别他的语音和当时用户输入的文字,产生了和杨利伟对话的效果,最后用户可以上传他的一张照片,识别到一个人脸,我们把人脸贴到右边航天员的头像里面去,就有一种换脸的意思。当时强军网获得了好评。
4.5内容生产——智能标签
前面说到智能内容生产平台的关键点在于我们的智能标签,智能标签分了四个大类,有环境的,物体的,场景的,人物的等4个大类35个分类以及2000多个小标签。整个构成了AI智能剪辑标签的系统。我们会去通过识别视频的内容,从视频的视觉、听觉以及像自然语义这样不同的方面和维度,总结出这样的标签,相当于是给SDK附上了一双眼睛,能让它识别出我们用户现在导入的东西,然后结合右边的SDK和两个基石的基础上,我们就能搭建我们的智能视频生产平台,两者互补,一个生产内容,一个为内容提供包装元素,服务于不同的业务场景。
4.6内容生产——智能模板
智能模板和智能剪辑有一点区别在于,智能剪辑是一个完全智能化的场景,不需要人工干预,像智能模板更灵活一点,它可以在模板之前由用户先去根据识别内容和识别标签和模板标签做标签匹配,做一个模板的推荐,用户在应用模板之前可以选择替换模板里的哪些视频或者素材这和智能剪辑的区别在于灵活度会更好,在应用之前就主动由用户的喜好进行操作。
4.7内容生产——智能拆条
4.8内容生产——AI虚拟主播
AI虚拟主播也是这几年比较火的应用,像我们现在可以做到的是,卡通类的、2.5D、3D、仿真人的虚拟主播。现在实际的落地为国家电网做了方案。图片上是2.5D虚拟主播的照片,通过AI学习驱动人物的嘴部,结合你输入的文字转出来的音频,相结合形成虚拟主播的演示。
4.9内容生产——云剪辑
云剪辑是我们在Web端的非常重量级的产品,现在也广泛应用于一些互娱的头部客户里面,现在提到比如常用的浏览器打开一个你部署于私有云或者公有云的地址,利用网页端的技术,而不是传统利用网络通信的方式,由服务器去渲染,把渲染结果传回网端显示,这样对网络的要求比较高,我们云剪主要利用Web端的能力,尽量在本地做渲染,减少对网络的依赖,实时的浏览性会更高一点。我们现在云剪这个产品功能的应用和我们移动端的SDK同级产品功能的演示。比如是按照帧做一些剪辑包括贴纸、转场、粒子、字幕、特效、一键主题包装,为了兼容第三方,因为在PC上可能更专业。当时您在前端预览这些效果以后,最后出片的时候我们可能会把这样的工程发到后端服务器上去,由服务器去做一个更快捷的渲染,在服务器中渲染的时候,您可以新建一个工程开始做下一个项目,两者不干扰。
4.10内容生产——云剪辑模板编辑
4.11生产内容——直播剪辑
直播剪辑也是常用的应用方式,我们可以在直播的过程当中,当时的直播流直接做一些直播的剪辑,而不是直播完生成大文件再去做剪辑,这是一个实时的剪辑过程。
4.12内容生产——移动端工具
根据我们前面讲的比如说Web端PC端的给我们的一些解决方案,配合我们移动端更普及的工具来做一些结合,比如说我们可以做一些类似于抖音轻剪辑的方案,以及加一些贴纸轨字幕轨视频轨音频轨这样一些深度剪辑的方案,以及我们结合后台的小程序,H5的一些解决方案,我们在移动端都能有相应的解决方案。
4.13素材生产——特效制作工具
稍微提一下我们的素材特效制作工具,这个工具是我们素材创作平台的一个重量级产品,整个产品的思维逻辑是为了设计人员做的。这个工具是独立的不是插件,独立的程序在PC上、Mac上Windows上都有,有SDK所有的原子特效,每个特效可以加关键帧,添加轨道去做特效的结合,比如这个界面上三界贝塞尔的曲线调节,最后把你的特效直接输出一个字幕包转场包等等。我们都有相应的分类,出来的素材包再结合SDK做一些相应的应用给其他的用户。
4.14内容生产——全平台互联互通
其实我的的整个构思是希望我们把我们的移动端、PC端Web端以及素材特效制作和内容生产完全的做一个全平台的互联互通。我觉得是对于现在视频行业的考核我们的一个愿景,也是我们不断持续为之努力的方向。
其实美摄SDK经过这么多年的发展,累积了大批的互娱的或者传统行业的新媒体行业的客户,我们都有非常深入的合作,我们也借此机会邀请各位和美摄有更进一步的合作。