最强国产多模态大模型来了!硬刚GPT4o,商汤现场演示实时音视频交互

今日,“国产版GPT-4o”,日日新5o,亮相WAIC大会。

5月中旬,OpenAI推出新旗舰模型GPT-4o,凭借自然流畅的实时音视频交互震惊世界。

商汤科技现场演示了新模型日日新5o的实时音视频交互,引起了WAIC观众的一片沸腾。

比如,当演示者用手机对着桌上小狗玩偶,日日新5o可以在要求下讲出小狗的表情,并识别出帽子上的文字和背景,多轮对话十分丝滑流畅。

与此同时,商汤还推出可控人物类AI视频生成产品Vimi,可稳定生成长达1分钟的单镜头人物类视频,具有高动态、高保真特点,预计月内公测。

通过Vimi,商汤董事长兼CEO徐立在现场致敬了人工智能领域的多位大咖,包括让已故的AI科学家、商汤科技创始人汤晓鸥的照片“复活”,久违的音容笑貌浮现。

一、多项测评超GPT-4o,日日新5.5亮相WAIC,连甩三大炸弹

国内首个对标GPT-4o,日日新5.5实现了核心指标的全面升级。

在MMBv1.1、MMStar、MathVista、AI2D、OCRBench等多项全球权威测评中,日日新5.5的得分均超过GPT-4o。

升级版的日日新5.5展现出“五边形战士”的实力,语言和知识、推理数理、编程、考试五大能力,相比日日新5.0版能力圈大大拓宽。

经过测评可知,日日新5.5在英文能力、指令跟随、长文本理解、Function能力等方面大大提升,整体性能提升30%。

据悉,日日新5.5大模型采用混合端边云协同专家架构,基于超过10TBtokens高质量数据训练,能最大限度发挥云边端协同的优势,在多项核心能力飙升的同时,降低推理成本。

值得一提的是,日日新5.5还应该是国内首个流式多模态交互模型。

就像GPT-4o一样,日日新5o可以与用户实现原生多态实时交互,覆盖声音、文本、图像、视频等多种形式。比如前文提到,用户可以要求日日新5.5帮他读取眼前画面中的核心内容。

当下大模型正涌向端侧,掀起落地潮。商汤日日新5.5更新的第三大亮点,也正是聚焦于端侧大模型。

商汤最新推出了日日新5.5Lite端侧大模型,据称相比此前版本首包时延降低40%,推理效率提升15%,模型精度提升10%。同时,商汤端侧模型矩阵也首次亮相,包括写作助手、总结助手、百科助手等特化模型,可针对用户的个性化需求,提供效果更优的定制化专项模型。

为了让更多用户能用上大模型,商汤商量端侧大模型设备可同时支持端侧部署及云侧调用,每台设备9.9元包年。信息一出,引起台下一片欢呼。

商汤还推出0元Go计划,支持OpenAI客户零成本迁移,并向新客户赠送5000万Tokens包,可谓“一手抓技术,一手抓市场”。二、现场演示实时音视频交互,人物视频生成大模型也来了

日日新5.5的核心指标如此亮眼,实际使用效果如何?

商汤科技演示了基于日日新5.5的日日新5o的实时音视频交互能力,将现场氛围掀到高潮。

演示者首先拿着手机将摄像头对准观众席,问手机里的日日新5o助手,现在他在参加什么活动。日日新5o通过识别现成的飘带,识别出这是WAIC人工智能大会,立马给出了正确答案,还向现场观众打了招呼。

紧接着是阅读能力,演示人将手机镜头对向一本书,让日日新5o介绍眼前的书本,日日新5o立马回复这个是《反脆弱》,并介绍了作者背景。当演示者翻开书页,日日新5o也能立马帮演示者解读书本的内容,展现出高清的流媒体技术。

最后,演示者进一步升级难度,他画了一幅简笔画问日日新5o这是什么,日日新5o立马称这是一只可爱的兔子。当演示者为兔子加上了表情和动作,日日新5o都立马识别并表述了出来,展现出极强的多模态理解能力。

但商汤科技“杀招”不止于此,其还在AI视频生成模型领域大展身手。

Sora热潮之后AI视频生成工具泛滥,很多工具都在人物生成上“翻车”不断。本次,商汤推出面向C端的可控人物视频生成AIGC产品——Vimi人物视频生成模型。

与市面上的视频生成模型不同的是,基于日日新5.5,Vimi人物生成模型可通过动作视频、动画、声音、文字等多种元素来驱动人物图片,生成和目标动作一致的分钟级视频内容。

Vimi支持生成光影和动态都自然和谐的视频,用户可自行替换各种IP生成所需视频内容。

正如前文提到,徐立在WAIC发布现场致敬了AI领域的多位大咖,克劳德·艾尔伍德·香农、约翰·冯·诺依曼、艾伦·麦席森·图灵以及汤晓鸥教授的照片突然“活了”,这也是出自Vimi的处理加工。

实际上,基于日日新5.5,商汤科技整个大模型应用“全家桶”都实现了重大升级。

1、小浣熊家族更新:代码助手速度提升5倍,大模型原生数据产品上线

商汤代码小浣熊·个人升级版推出,提供更强悍模型性能、更丰富插件功能和更完善数据看板,响应速度提升5倍,代码精度提升10%。目前商汤科技已连接超200家企业使用代码小浣熊。

同时,大模型原生数据分析产品——办公小浣熊网页个人升级版&小程序版同步上线,支持更多数据接入、个性化用户体验、多端联动。商汤科技现场演示了办公小浣熊,它快速统计了现场大家饮用水情况,并给出了可视化的统计图。

2、商量拟人大模型Pro版本发布,拟人对话测评超GPT-4

商量拟人大模型SenseChat-Character-Pro版大模型发布,它支持个性化角色创建与定制,并具备知识库构建、长对话记忆、多人群聊等功能,可以广泛应用于拟人对话场景。

在面向中文角色扮演对话代理(RPCAs)领域的CharacterEval测评中,商量-拟人大模型高级版(SenseChat-Character-Pro)在角色对话能力、人设一致能力、及角色扮演吸引力等核心维度方面全面领先,优于GPT-4以及其他企业拟人大模型。

随着大量新产品的发布,商汤WAIC展区吸引了很多人来体验。

可以看到,多模态大模型时代已经加速到来,而国产力量已经冲到前列。

尽管当下我国AI的人才储备、资本投入力度与美国有差距,算法领域仍存在差距。但我国的一大优势在于应用侧发展迅速,包括手机、教育、医疗等众多场景需求的迸发,以及大量的数据资源,都会对商汤日日新5.5这样的多模态大模型的发展带来推动作用。三、OpenAI客户免费迁移!端侧大模型9.9元包年,壮大企业应用生态

大模型产业的发展,离不开生态的建设。

本次,商汤科技推出了0元Go计划,以更激进政策推动开发者和行业客户加入创新大潮。

商汤宣布将提供从OpenAI到“日日新SenseNova”的迁移系列培训,同时新注册企业用户将获得涉及调用、迁徙、训练等多项免费服务大礼包。

面向“日日新SenseNova”新注册企业用户,商汤还宣布将赠送5000万Tokens包,派出专属搬家顾问。这意味用户不仅能0成本迁移,还能获得更多的调用优惠和升级服务。

商汤日日新大模型的生态“一盘棋”正在日益完整。

端侧大模型作为商汤大模型生态一块重要拼图,据称已经有150+客户启动商业对接。

正如前文提到,商汤端侧模型的矩阵已经不断壮大,目前已经适配手机、平板电脑、VR一体机、车载电脑、智慧台灯等众多终端。也就是说,基于上头端侧大模型,所有智能硬件玩家都可以把他们的业务重做一遍。

用大模型改造智能硬件,门槛也变得更低。

商汤科技宣布端侧大模型价格低至——每台每年9.9元。虽然价格更经济了,但服务支持多种垂直业务方向,包括写作、百科知识等不同领域,同时支持端侧部署及云侧调用,部署简易好上手。

面向企业级市场,商汤宣布其政府、企业用户超过3000家。

本次,商汤科技推出能源多模态一体机、办公(代码)一体机、智慧城市焕新方案-方舟多模态新智平台、金融一体机、医疗一体机等多种方案,助政企客户解决核心数据安全本地部署大模型的需求,降低企业使用大模型的成本,从而进一步壮大企业应用生态。

除此之外,商汤科技还推出了金融场景大模型、农业场景大模型、文旅场景大模型、医疗场景大模型等多个行业大模型。结语:硬刚GPT-4o,国产多模态大模型迈上新台阶

当下,国内大模型产业竞赛更“卷”,价格战之下似乎出现同质化趋势。但同质化只是表象。本次,商汤推出的多项核心指标的升级、跨多模态的实时音视频交互等众多更新,都展现出其在大模型技术上迈上新台阶,也代表着国产大模型发展的更广阔空间。

THE END
1.上门索要食物的浣熊动物实拍哺乳动物动物趣闻脊椎动物01:24 上得厅堂下得厨房的巴图 00:21 上船抢小鱼干的海豹 00:32 上山采蘑菇的村民,居然在草地中,发现了一只十分奇特的大鸟 00:45 善良又有智慧的金毛担心奶奶着凉,看它是如何跟主人交流的! 01:24 伤心的金毛 00:21 善良狗狗让主人刀下留鱼 00:22 善良狗狗帮助收破烂老大爷 网易...https://www.163.com/v/video/VAGJ7LUJQ.html
2.pg?赌软件下载pg?赌软件正版最新版?全您好,我们最近收养了一只雪橇犬/捷克猎狼犬杂交的小狗。我们担心他可能处于温度过高的环境中。室外气候良好,但即使使用制冷方法,房屋也会很快升温至 23 和平精英极限特训军需时装 氪金保底多少钱 小浣熊百将传破盾猛方片法爷 圣水将单廷珪破浪登场 《亲爱的客栈2》武艺自爆爸爸小名 问“答案之书”引爆笑点 李艾透露...http://gov.cn.www.share.bbhamy.cn/DOj/detail/ihwJam.html
3.AI浣熊账号4个月涨粉14万,仅靠82篇帖子浣熊新浪财经来源:@经济观察报微博http://finance.sina.com.cn/stock/wbstock/2024-11-21/doc-incwvuih1229626.shtml
1.国产浣熊多少钱一只(上海发现大量)国产浣熊多少钱一只(上海发现大量) 对于生活在上海的人们来说,对于毛狗子这种小野兽一定不陌生,它们成群结队出现在城市街道的绿化带上,也在小区里面安家,在街头巷尾里面,经常可以看到它们的身影,如果不注意,很有可能就会将其当做普通的流浪狗。 毛狗子是我国民间的叫法,这种小野兽真正的名字叫貉,即“一丘之貉”...https://www.hyjthotel.com/baike/326.html
2.浣熊猎狗多少钱一只(红骨浣熊幼犬的价格市场上从最低到最高的价格...跟狗一样喂就行,可好养了小浣熊宠物多少钱小浣熊比较便宜的大约五六千。小浣熊原产于北美洲,圈养时个头小得可以当宠物养。浣熊的颜色、品种和价格各不相同,从1万美元到3万美元不等。价格也会根据驯化的程度有所不同。浣熊本身是野生的,当人们驯服它们时,它们变得更像人类,更容易饲养。此外,浣熊还分为国内...https://www.tengxunh.com/nan-sheng-fen-zu/539990.html
3.www.evcev.com/noaj74750845.shtml缅因浣熊猫看mp4格式视频下载 53.33MB 92%好评1831人) 国产 又黄 又爽刺激片 月经时能靠逼吗月经时能靠逼吗_盖饭娱乐 大咪咪图 46.85MB 68%好评094人) 黄色视尻逼视频网站 小蓝彩虹男GARY2022钙片_舜网 3d污动漫 06.76MB 71%好评274人) 激情综合色综合啪啪开心 亚洲无码夫妻 欧美极...https://www.evcev.com/noaj74750845.shtml
4.xxappapi.yhryj.com/kpf61538301.html照片拍摄的是一只雌性蜥蜴,她直立着躲避夏天的炎热,虽然雌性没有扇形颈袋,但颇有摇滚巨星的风范。来看看雄性的美丽扇喉|Biospot 跳弗拉明戈的螳螂作品名:Mantisflamenca 摄影师:JoseMiguelGallegoMolina 来自西班牙的摄影师开车回家时,突然有人叫他刹车:"那是我与弗拉明戈螳螂的初邂逅。只见路上一辆车开着灯,车门大...http://xxappapi.yhryj.com/kpf61538301.html
5.夏天的小诗歌(精选17篇)“好了,没事了,我找到你们了。”我说着。很显然一只野生浣熊为了保卫它的领地,攻击了克莱德,它的肩膀在流血但不严重,波尼则没事。 7月过去,8月来临,接着是9月。随着时光的流逝,小浣熊已长成了6磅重的奶油球。我常为它们的创造力和机敏劲感到惊讶。终于在一天晚上,当我敲完碗后没有了回音。当我在早餐时焦...https://www.360wenmi.com/f/filepl2xaddp.html
6.手机里的浣熊小镇第24集在线观看超高清国产动漫《手机里的浣熊小镇》因强大IP基因,开播前就备受瞩目,《手机里的浣熊小镇》未播先热成焦点。《手机里的浣熊小镇》如今更收视飘红,话题不断,成为辞旧迎新跨年之际现象级大剧。唯美画风,考究服饰、道具,至少5元钱戳眼特效,大众熟知的《手机里的浣熊小镇》,高能虐心剧情都为剧加分多多。此外,偶像明星浣熊镇长:姜英俊...http://www.8844028.com/88/71857-0-23.html