全球首发!Vidu让任意主体保持一致,视频生成进入新阶段!

4月底,由生数科技和清华大学联合研发的国内*纯自研原创视频大模型Vidu面向全球发布,7月底正式上线,全面开放使用,凭借在快速推理、精确语义理解、高动态性和*动漫风格等方面的优势,Vidu产品表现位列全球视频大模型的“*梯队”。

一、全球*!仅需一张图片实现主体可控

所谓“主体参照”,就是允许用户上传任意主体的一张图片,Vidu就能够锁定该主体的形象,通过描述词任意切换场景,输出主体一致的视频。

该功能不局限于单一对象,而是面向“任意主体”,无论是人物、动物、商品,还是动漫角色、虚构主体,都能确保其在视频生成中的一致性和可控性,这是视频生成领域的一大创新。Vidu也是全球*支持该能力的视频大模型。

比如进行人物角色的“主体参照”,无论是真实人物还是虚构角色,Vidu都能保持其在不同环境中、不同镜头下的形象连贯一致。比如动物,Vidu可以实现其在不同环境下、大幅运动状态中细节特征保持一致。比如商品,商品的外观和细节在不同场景中保持高度一致。

上传的主体也不限于写实风格,比如针对动漫角色或者虚构的主体等,Vidu也可以保持其高度一致。

在视频大模型领域,尽管已有如“图生视频”和“角色一致性”等能力,但Vidu的“主体参照”功能在一致性方面实现了质的飞跃。具体对比看:

图生视频(ImagetoVideo):基于首帧画面的连续生成,无法直接输出目标场景,限制了视频内容的多样性和场景的自由度;

角色一致性(CharactertoVideo):只限于人物面部特征的一致性,难以保证人物整体形象的稳定;

主体参照(SubjectConsistency):不局限于人物,面向任意主体,其次在人物主体下,可选择保持面部一致,也可选择保持人物整体形象的高度一致,通过输入文字描述灵活输出目标场景;

我们以具体案例来看,输入一张林黛玉的角色照,输入同样的“在现代咖啡厅喝咖啡”的描述,能直观看到,在Vidu“主体参照”功能下,林黛玉的形象在现代场景中得到了*保留,场景输出也自然而真实。

二、改变视频创作“游戏规则”

视频大模型领域的竞争日益激烈,尽管众多模型层出不穷,但它们普遍存在着一个核心问题——可控性不足,或者叫一致性的不足。

在实际的视频创作中,视频内容往往围绕特定的对象展开,可以是角色或特定物体,这些对象在视频中的形象需要保持连续一致。然而现有的视频模型往往难以实现这一点,常常是主体在生成过程中容易崩坏。

尤其在涉及复杂动作和交互的情况下,保持主体的一致性更是一项挑战。此外,视频模型的输出结果具有较大的随机性,对于镜头运用、光影效果等细节的控制也不够精细。所以现阶段的视频模型虽然在画面表现力、物理规律、想象力等方面实现了一定程度的突破,但可控性的不足限制了它们在创作连贯、完整视频内容方面的应用。目前,大多数的AI视频内容还是基于独立视频素材的拼接,情节的连贯性不足。

为了解决这一问题,业界曾尝试采用“先AI生图、再图生视频”的方法,通过AI绘图工具如Midjourney生成分镜头画面,先在图片层面保持主体一致,然后再将这些画面转化为视频片段并进行剪辑合成。

但问题在于,AI绘图的一致性并不*,往往需要通过反复修改和局部重绘来解决。更重要的是,实际的视频制作过程中涉及众多场景和镜头,这种方法在处理多组分镜头的场景时,生图的工作量巨大,能占到全流程的一半以上,且最终的视频内容也会因为过分依赖分镜头画面而缺乏创造性和灵活性。

Vidu的“主体参照”功能彻底改变了这一局面。它摒弃了传统的分镜头画面生成步骤,通过“上传主体图+输入场景描述词”的方式,直接生成视频素材。这一创新方法不仅大幅减少了工作量,还打破了分镜头画面对视频内容的限制,让创作者能够基于文本描述,发挥更大的想象力,创造出画面丰富、灵活多变的视频内容。这一突破将为视频创作带来了前所未有的自由度和创新空间。

(图为AI视频制作流程的重塑)

这一功能也确实得到了众多一线创作者的“高度评价”。

仅需三张定妆照,完成短片创作

“主体参照”功能通过锁定角色或物体的形象,一方面让故事情节更具连贯性,另一方面让创作者能够更自由地探索故事的深度和广度。

四、“主体参照”是AI完整叙事的开端

面向专业创作领域,Vidu也牵手海内外多位AI艺术家,探索AI赋能下的全新创作模式。比如与北京电影节AIGC短片单元*影片得主、AinimateLab合作打造的动画短片《一路向南》,画面质量接近传统动画制作标准,但成本仅为传统流程的1/40。AinimateLabAI负责人陈刘芳表示,该短片的创作团队仅由三人构成:一名导演、一名故事版艺术家和一名AIGC技术应用专家,制作周期约为1周,而传统流程需要20人,包含导演、美术、建模、灯光、渲染等不同“工种”,周期在一个月左右。由此可见,Vidu大大缩短了制作周期并显著降低了成本。

因此,视频模型要达到叙事的完整性,就必须在这些核心元素上实现全面可控。“主体参照”功能是Vidu在一致性方面迈出的重要一步,但这仅仅是开始。未来,Vidu将继续探索如何精确控制多主体交互、风格统一、多变场景稳定切换等复杂元素,以满足更高层次的叙事需求。

从更长远的视角来看,一旦实现了全面的可控性,视频创作行业将经历一场颠覆性的变革。届时,角色、场景、风格,甚至镜头运用、光影效果等元素,都将转化为可灵活调整的参数。用户只需要动动手指、调调参,就可以完成一部影像作品的创作,而每一个作品的背后,也将是用户基于AI构建出的独特世界观和自我表达。

THE END
1.AI视频生成入门教程&软件盘点:图生视频转绘二创拥抱整活...一口气入门AI视频:3大主流路径+30个工具 【AI视频生成入门教程&软件盘点:图生视频、转绘、二创拥抱整活、数字人 … 】网上的AI视频这么火,到底都是怎么做出来的?如果你对这个领域感兴趣,却不知道该从哪里开始探索,这期视频,就是你最好的“敲门砖! 用AI做视频有哪几种基本方式?三大主流实现路径:文生视频...https://t.cj.sina.com.cn/articles/view/6605861464/m189bd725803301i3xq
2.ViduAI视频生成平台文生视频大模型Vidu Vidu是一个可以通过文本或者图片生成视频的AI模型,是由生数科技推出的创新视频生成平台,为用户提供快速、高效、易用的视频创作体验。通过Vidu,用户可以在极短的时间内创建出具有电影质感的视频内容,无论是现实风格还是动画风格,都能轻松实现。 网址标签: #AI视频生成平台 #文生视频大模型 立即访问 添加收藏...https://0mo.com/sites/8569.html
3.[转]转:一款免费AI视频工具,可将2000字内文案,转成有声原创视频!时长近4分钟,全程精彩,AI视频已能创作完整故事。半年前制作此类长视频, 还需撰写剧本,绘制分镜头,生成视频,后期剪辑配音,至少需3种AI工具协同作业。如今借助白日梦AI,单工具即可轻松实现。 下面是详细使用教程 白日梦官网:https://brmgo.com/signup?code=gz_tank ...https://pj.zjer.cn/index.php?r=space/person/blog/view&sid=51542&id=39524342
4.ViduVidu是什么 Vidu是由生数科技与清华大学联合发布的中国首个长时长、高一致性、高动态性AI视频生成大模型。基于原创U-ViT架构,支持一键生成长达16秒、1080P分辨率的高清视频。Vidu能模拟真实物理世界,具有丰富想象力,可创作逼真或超现实内容,广泛应用于影视、广告、游戏等行业。 https://ai-bot.cn/sites/14695.html
5.生数科技视频生成模型Vidu1.5版发布AI大模型工场 11月13日消息,在Vidu上线逾百日之际,生数科技宣布推出Vidu1.5新版本,该版本实现了世界领先水平的突破,特别是在理解多样化输入和突破“一致性”难题方面。 据了解,Vidu1.5具备多模态视频大模型,支持参考生视频、图生视频和文生视频,确保角色、物体、场景的一致性。Vidu 1.5能在30秒内生成高清视频,具有...http://www.algcpost.com/sys-nd/1355.html
6.AI初创企业生数科技宣布,旗下AI视频生成工具Vidu全球AI 初创企业生数科技宣布,旗下 AI 视频生成工具 Vidu 全球上线。 Vidu 介绍,模型最快推理速度为 30 秒,提供两大核心功能:文生视频、图生视频,分辨率最高达 1080P。免费版可生成 4 秒视频,支持超清和一个并行任务;收费版可生成 4 秒和 8 秒视频,支持超清、商用、超清后去除水印,支持两个并行任务。 https://tech.ifeng.com/c/8bf9lrIWTfk
1.AI智能制作视频:快速生成,轻松上手创业仆素材库丰富:海量的素材库,包括图片、视频、音乐等,任你选择,快速找到合适的素材。 模板多样:各种类型的视频模板,从介绍类到宣传类,从营销类到教育类,总有一款适合你。 智能配音:支持多种语言的智能配音,让你轻松打造专业配音,告别单调的文字讲解。 自动剪辑:AI智能剪辑,自动调整视频节奏,快速生成流畅的视频作品。 https://cyepu.com/57327.html
2.AI视频的世纪难题被解决了,我愿称Vidu为一致性的新王我可以上传人物的正面、侧面、背面三张图,来固定人物各个角度的细节,然后给个提示词,点击生成。 图中的人物,就这样水灵灵的动了起来。同样的操作,我们可以生成更多不同风格的效果。 再尝试几组不同风格的人物,看看vidu的展现: 辣评一下:我尝试生成了不同风格的人物图片,生成的视频都能近乎完美的复刻原图的风格、...https://www.163.com/dy/article/JIBVD19P0553TKEZ.html
3.Vidu有哪些功能免费吗?AI视频生成平台怎么使用方法详细教程指南AI视频生成平台怎么使用方法详细教程指南 蓝天采集器-开源免费无限制云端爬虫系统 Vidu 是什么? Vidu是一个创新的视频生成平台,允许用户在极短的时间内创建出具有电影质感的个性化视频。它结合了真实与动画风格,提供了丰富的视频创作工具,让用户能够轻松化身导演,创作出令人印象深刻的视频作品。https://www.skycaiji.com/aigc/ai20791.html
4.Vidu创新的视频生成平台有哪些功能?AI视频生成平台怎么使用Vidu结合先进的视频处理技术,允许用户选择视频风格和模板,并通过简单的操作调整视频元素,包括画面、音乐和文字等,最终生成高质量的个性化视频作品。 以自然段形式强调产品或技术的主要优点。 Vidu 的主要特点 Vidu 使用教程 访问Vidu网站并注册账户。 选择视频风格和模板,开始视频创作。 https://m.cy211.cn/aizixun/3529.html
5.即梦AI视频生成V1.2全站教程即梦AI | 视频生成V1.2 全站教程? 6月27日修改 前言? ? 即梦AI 是一款具备强大视频生成功能的工具,它可以根据用户提供的图片(首帧/首尾帧)、 prompt(文字指令),和各种参数设置生成高质量、稳定且高动态的视频。? ? 本次V1.2模型全面提升模型质量,并更新以下内容:? ? ?...https://waytoagi.feishu.cn/wiki/TDWUwTxSyiiICLkWW5CcqGasnfd?table=tblLHTHp29ZqKMO0
6.ViduStudio教育:制作教育视频和教程,增强学习体验。娱乐:生成短视频和动画,丰富娱乐内容。社交媒体:快速生成社交媒体内容,提升互动率。企业培训:制作培训视频,提高员工技能和知识。 “Vidu Studio”如何使用? 使用Video Studio生成您想要的视频非常简单,以下是详细步骤: 描述您理想的视频:输入您想象中的视频的详细描述,包括具体...https://openi.cn/sites/259945.html
7.中国版Sora来了!一键生成16秒1080P的AI视频,直面对标OpenAI追赶OpenAI 文生视频模型 Sora 需要多久?在中关村论坛未来人工智能先锋论坛上,中国首个长时长、高一致性、高动态视频大模型 Vidu 正式发布,支持一键生成长达 16 秒、分辨率为 1080P 的高清视频内容。 Vidu 生成的视频 demo 甫一发布,便迅速在各大社交平台的热搜榜上「攻城略地」,被誉为效果层面最接近 Sora 的...https://www.niuxuezhang.cn/news-information/china-sora.html
8.Vidu:首个国产自研Sora级视频大模型,一键生成16秒1080P高清视频...Vidu 是中国首个长时长、高一致性、高动态性的视频大模型,由生数科技联合清华大学发布。这个模型采用了原创的 U-ViT 架构,融合了 Diffusion(扩散) 与 Transformer 技术,能够一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。Vidu 不仅能够模拟真实物理世界,还拥https://pidoutv.com/sites/18253.html
9.ViduAI视频大模型,vidu.studio官网AI神器大全类似Vidu的软件 Olm AI视频生成,轻松创作 Audiolabs 将你的播客变成短视频 Sora Prompting 视频创作,文字驱动,创意无限。 BibiGPT 文字和音视频总结 FlowSora Sora视频与教程分享 stable-video-diffusion.cc 图像转视频,创意无限https://aishenqi.net/tool/vidu
10.媲美Sora!可生成16s1080视频!清华联合生数提出视频生成新模型Vidu!项目链接:https://www.shengshu-ai.com/vidu 导读 扩散模型(diffusion models)在生成高质量图像、视频和其他类型数据方面取得了突破性进 展,超越了自动回归网络(auto-regressivenetworks)等替代方法。之前,视频生成模型主要 依靠具有U-Net背骨(U-Netbackbone)的扩散模型,并专注于4秒等单个有限时长的视频生成。我们的...https://aijishu.com/a/1060000000462854
11.视频生成模型“Vidu”发布满足长视频内容的生成需求视频生成模型“Vidu”发布 满足长视频内容的生成需求,视频内容,生成模型,本报讯 记者宋婧报道:4月27日,在2024中关村论坛年会未来人工智能先锋论坛上,生数科技与清华大学联合发布了视频生成模型“Vidu...https://read.cnki.net/web/Newspaper/Article/CDZB202404300071.html
12.AI视频生成工具Vidu试用:细节处理还需加强看过了 AI 视频生成工具清影的试用体验,今次我们来测试什么产品呢?就是此前上线的号称 " 首个国产纯自研视频大模型 " 的 Vidu (https://www.vidu.studio/)。该平台目前开放了文生视频、图生视频两大核心功能,提供 4 秒和 8 秒两种时长选择。 http://www.myzaker.com/article/66daaf3a8e9f0955997e9bd2
13.AI早知道Vidu视频生成模型上线;京东发布言犀智能体平台等八大...3.清华系创企生数科技推出的视频生成模型Vidu全球上线,具备高动态性、逼真度和一致性,支持动漫风格和角色一致性,能快速生成4秒和8秒的1080P视频,提供多种订阅服务,并开放API内测申请。 4.Runway宣布其AI视频模型Gen-3 Alpha上线图生视频功能,允许用户使用任何图像作为视频生成的起点,结合文本提示创造视频内容。 https://www.shangyexinzhi.com/article/21298806.html
14.国产大模型Vidu再升级,实现多角度一致性,视频生成更自然!【ITBEAR】国产视频大模型厂商Vidu近日宣布,其全新版本Vidu 1.5已正式上线。该版本在技术上取得了重大突破,被誉为达到“世界领先水平”,尤其在处理多样化输入及解决“一致性”难题上表现卓越。 Vidu自上线以来,便以其出色的角色一致性生成能力受到关注。通过精准锁定人物面部特征,Vidu成功解决了视频生成中的关键痛点,确保...http://baike.ceden.cn/?developer/news/1916969
15.清华出品!AI视频神器Vidu横空出世,效果直追Sora!这两天一款名为 Vidu 的视频生成模型火爆网络,它由北京生数科技与清华大学联合发布,能直接通过文本生成 16 秒 1080P 的高清视频,且视频质量与 OpenAI Sora 不相上下, 因此被认为是 Sora 目前最有力的竞争对手。 Vidu 内测名额申请: shengshu.feishu.cn 相关推荐: AI 视频新王者诞生!一文盘点 Sora 模型 14 ...https://www.uisdc.com/vidu
16.钛媒体独家“中国版Sora”视频大模型Vidu重大更新:时长延至32秒...1、目前Vidu可以一键生成32s视频; 2、支持音视频合成,即Vidu视频生成有声音了(Text-2-Audio) 3、支持4D生成,可以从单一视频生成时空一致的4D内容。 首先,在32s视频技术中,清华大学人工智能研究院副院长、生数科技首席科学家朱军教授6号下午现场展示了一段Vidu生成的画面。 https://www.tmtpost.com/7119655.html