最强国产多模态大模型来了!硬刚GPT4o,商汤现场演示实时音视频交互

今日,“国产版GPT-4o”,日日新5o,亮相WAIC大会。

5月中旬,OpenAI推出新旗舰模型GPT-4o,凭借自然流畅的实时音视频交互震惊世界。

商汤科技现场演示了新模型日日新5o的实时音视频交互,引起了WAIC观众的一片沸腾。

比如,当演示者用手机对着桌上小狗玩偶,日日新5o可以在要求下讲出小狗的表情,并识别出帽子上的文字和背景,多轮对话十分丝滑流畅。

与此同时,商汤还推出可控人物类AI视频生成产品Vimi,可稳定生成长达1分钟的单镜头人物类视频,具有高动态、高保真特点,预计月内公测。

通过Vimi,商汤董事长兼CEO徐立在现场致敬了人工智能领域的多位大咖,包括让已故的AI科学家、商汤科技创始人汤晓鸥的照片“复活”,久违的音容笑貌浮现。

一、多项测评超GPT-4o,日日新5.5亮相WAIC,连甩三大炸弹

国内首个对标GPT-4o,日日新5.5实现了核心指标的全面升级。

在MMBv1.1、MMStar、MathVista、AI2D、OCRBench等多项全球权威测评中,日日新5.5的得分均超过GPT-4o。

升级版的日日新5.5展现出“五边形战士”的实力,语言和知识、推理数理、编程、考试五大能力,相比日日新5.0版能力圈大大拓宽。

经过测评可知,日日新5.5在英文能力、指令跟随、长文本理解、Function能力等方面大大提升,整体性能提升30%。

据悉,日日新5.5大模型采用混合端边云协同专家架构,基于超过10TBtokens高质量数据训练,能最大限度发挥云边端协同的优势,在多项核心能力飙升的同时,降低推理成本。

值得一提的是,日日新5.5还应该是国内首个流式多模态交互模型。

就像GPT-4o一样,日日新5o可以与用户实现原生多态实时交互,覆盖声音、文本、图像、视频等多种形式。比如前文提到,用户可以要求日日新5.5帮他读取眼前画面中的核心内容。

当下大模型正涌向端侧,掀起落地潮。商汤日日新5.5更新的第三大亮点,也正是聚焦于端侧大模型。

商汤最新推出了日日新5.5Lite端侧大模型,据称相比此前版本首包时延降低40%,推理效率提升15%,模型精度提升10%。同时,商汤端侧模型矩阵也首次亮相,包括写作助手、总结助手、百科助手等特化模型,可针对用户的个性化需求,提供效果更优的定制化专项模型。

为了让更多用户能用上大模型,商汤商量端侧大模型设备可同时支持端侧部署及云侧调用,每台设备9.9元包年。信息一出,引起台下一片欢呼。

商汤还推出0元Go计划,支持OpenAI客户零成本迁移,并向新客户赠送5000万Tokens包,可谓“一手抓技术,一手抓市场”。二、现场演示实时音视频交互,人物视频生成大模型也来了

日日新5.5的核心指标如此亮眼,实际使用效果如何?

商汤科技演示了基于日日新5.5的日日新5o的实时音视频交互能力,将现场氛围掀到高潮。

演示者首先拿着手机将摄像头对准观众席,问手机里的日日新5o助手,现在他在参加什么活动。日日新5o通过识别现成的飘带,识别出这是WAIC人工智能大会,立马给出了正确答案,还向现场观众打了招呼。

紧接着是阅读能力,演示人将手机镜头对向一本书,让日日新5o介绍眼前的书本,日日新5o立马回复这个是《反脆弱》,并介绍了作者背景。当演示者翻开书页,日日新5o也能立马帮演示者解读书本的内容,展现出高清的流媒体技术。

最后,演示者进一步升级难度,他画了一幅简笔画问日日新5o这是什么,日日新5o立马称这是一只可爱的兔子。当演示者为兔子加上了表情和动作,日日新5o都立马识别并表述了出来,展现出极强的多模态理解能力。

但商汤科技“杀招”不止于此,其还在AI视频生成模型领域大展身手。

Sora热潮之后AI视频生成工具泛滥,很多工具都在人物生成上“翻车”不断。本次,商汤推出面向C端的可控人物视频生成AIGC产品——Vimi人物视频生成模型。

与市面上的视频生成模型不同的是,基于日日新5.5,Vimi人物生成模型可通过动作视频、动画、声音、文字等多种元素来驱动人物图片,生成和目标动作一致的分钟级视频内容。

Vimi支持生成光影和动态都自然和谐的视频,用户可自行替换各种IP生成所需视频内容。

正如前文提到,徐立在WAIC发布现场致敬了AI领域的多位大咖,克劳德·艾尔伍德·香农、约翰·冯·诺依曼、艾伦·麦席森·图灵以及汤晓鸥教授的照片突然“活了”,这也是出自Vimi的处理加工。

实际上,基于日日新5.5,商汤科技整个大模型应用“全家桶”都实现了重大升级。

1、小浣熊家族更新:代码助手速度提升5倍,大模型原生数据产品上线

商汤代码小浣熊·个人升级版推出,提供更强悍模型性能、更丰富插件功能和更完善数据看板,响应速度提升5倍,代码精度提升10%。目前商汤科技已连接超200家企业使用代码小浣熊。

同时,大模型原生数据分析产品——办公小浣熊网页个人升级版&小程序版同步上线,支持更多数据接入、个性化用户体验、多端联动。商汤科技现场演示了办公小浣熊,它快速统计了现场大家饮用水情况,并给出了可视化的统计图。

2、商量拟人大模型Pro版本发布,拟人对话测评超GPT-4

商量拟人大模型SenseChat-Character-Pro版大模型发布,它支持个性化角色创建与定制,并具备知识库构建、长对话记忆、多人群聊等功能,可以广泛应用于拟人对话场景。

在面向中文角色扮演对话代理(RPCAs)领域的CharacterEval测评中,商量-拟人大模型高级版(SenseChat-Character-Pro)在角色对话能力、人设一致能力、及角色扮演吸引力等核心维度方面全面领先,优于GPT-4以及其他企业拟人大模型。

随着大量新产品的发布,商汤WAIC展区吸引了很多人来体验。

可以看到,多模态大模型时代已经加速到来,而国产力量已经冲到前列。

尽管当下我国AI的人才储备、资本投入力度与美国有差距,算法领域仍存在差距。但我国的一大优势在于应用侧发展迅速,包括手机、教育、医疗等众多场景需求的迸发,以及大量的数据资源,都会对商汤日日新5.5这样的多模态大模型的发展带来推动作用。三、OpenAI客户免费迁移!端侧大模型9.9元包年,壮大企业应用生态

大模型产业的发展,离不开生态的建设。

本次,商汤科技推出了0元Go计划,以更激进政策推动开发者和行业客户加入创新大潮。

商汤宣布将提供从OpenAI到“日日新SenseNova”的迁移系列培训,同时新注册企业用户将获得涉及调用、迁徙、训练等多项免费服务大礼包。

面向“日日新SenseNova”新注册企业用户,商汤还宣布将赠送5000万Tokens包,派出专属搬家顾问。这意味用户不仅能0成本迁移,还能获得更多的调用优惠和升级服务。

商汤日日新大模型的生态“一盘棋”正在日益完整。

端侧大模型作为商汤大模型生态一块重要拼图,据称已经有150+客户启动商业对接。

正如前文提到,商汤端侧模型的矩阵已经不断壮大,目前已经适配手机、平板电脑、VR一体机、车载电脑、智慧台灯等众多终端。也就是说,基于上头端侧大模型,所有智能硬件玩家都可以把他们的业务重做一遍。

用大模型改造智能硬件,门槛也变得更低。

商汤科技宣布端侧大模型价格低至——每台每年9.9元。虽然价格更经济了,但服务支持多种垂直业务方向,包括写作、百科知识等不同领域,同时支持端侧部署及云侧调用,部署简易好上手。

面向企业级市场,商汤宣布其政府、企业用户超过3000家。

本次,商汤科技推出能源多模态一体机、办公(代码)一体机、智慧城市焕新方案-方舟多模态新智平台、金融一体机、医疗一体机等多种方案,助政企客户解决核心数据安全本地部署大模型的需求,降低企业使用大模型的成本,从而进一步壮大企业应用生态。

除此之外,商汤科技还推出了金融场景大模型、农业场景大模型、文旅场景大模型、医疗场景大模型等多个行业大模型。结语:硬刚GPT-4o,国产多模态大模型迈上新台阶

当下,国内大模型产业竞赛更“卷”,价格战之下似乎出现同质化趋势。但同质化只是表象。本次,商汤推出的多项核心指标的升级、跨多模态的实时音视频交互等众多更新,都展现出其在大模型技术上迈上新台阶,也代表着国产大模型发展的更广阔空间。

THE END
1.日常办公就选小浣熊,YYDSAI多啦A梦目前为止这个家族已经有了两位超给力的成员,一个叫“代码小浣熊”,另一个叫“办公小浣熊”,最后一个叫 X-小浣熊,目前还在开发中,不知道有什么超能力。它们俩可勤快了,已经给超过十万的用户提供了好几亿次的智能辅助服务,就像是身边随时待命的小助手,是不是听起来就很酷呀! https://xie.infoq.cn/article/f7f3863343c3d330074ad88da
2.Raccoon小浣熊AI代码生成AI编程助手陈沫 手机扫我访问 0分 Raccoon小浣熊 Raccoon是基于商汤自研大语言模型的智能助手,包含代码助手、办公助手,满足用户代码编写、数据分析、编程学习等各类需求。 网址标签:#AI代码生成#AI编程助手#AI重构代码 贡献者 陈沫 共发布542个产品 去看看 产品评分https://0mo.com/sites/7551.html
3.Raccoon代码小浣熊使用评测分享简介:代码小浣熊是基于商汤大语言模型的软件智能研发助手,覆盖软件需求分析、架构设计、代码编写、软件测试等环节,满足用户代码编写、编程学习等各类需求。代码小浣熊支持Python、Java、JavaScript、C++、Go、SQL等90+主流编程语言和VS Code、IntelliJ IDEA等主流IDE。在实际应用中,代码小浣熊可帮助开发者提升编程效率超50...https://hao.logosc.cn/p/2455
4.代码小浣熊Raccoon代码小浣熊Raccoon是商汤科技最新推出的一个智能AI编程助手和工具,由商汤自研的大模型驱动,支持多种编程语言和多项任务能力,可为开发人员带来全新的编程体验。代码小浣熊Raccoon提供了丰富的智能代码生成和辅助功能,可应用于从软件需求分析、架构规划、代码生成到软件测试的各个开发流程中,满足程序员代码编写、数据分析以及...https://ai-bot.cn/sites/6519.html
1.商汤小浣熊商汤小浣熊是商汤科技推出的一款AI智能助手,旨在为用户提供高效的代码编写和数据分析服务。其产品线包括代码小浣熊和办公小浣熊,已为数十万用户提供了数十亿次智能支持,助力开发者更轻松地完成各类软件和代码需求,让每个人都能成为数据分析师和文档处理专家。 https://openi.cn/285188.html
2.小浣熊家族RaccoonAI智能助手小浣熊家族 Raccoon 代码小浣熊 办公小浣熊 登录/注册 ~$ man-fRaccoon? Raccoon-AnotherCode CO-pilOt Navigator? ~$ 立即体验立即订阅 代码生成 & 补全 代码翻译 代码重构 代码纠错 代码问答 测试用例生成 1#用python实现从指定url下载文件多项任务能力,带来全新编程体验 领先的大模型助力,全面提升编程效率...https://raccoon.sensetime.com/code?utm_source=bljuly01
3.打工人神器!Raccoon代码小浣熊raccoon代码继这三个之后,今天又来了一个 [ Raccoon代码小浣熊 ] 核心精要与产品特点 全面支持多种编程语言和IDE:「代码小浣熊」支持超过90种主流编程语言,包括但不限于Python、Java、JavaScript、C++、Go和SQL等。同时,它集成了市面上主流的IDE,如VS Code和IntelliJ IDEA,确保开发者能在熟悉的环境中高效工作。 https://blog.csdn.net/lythinking/article/details/137179805
4.代码小浣熊Raccoon–商汤科技AI智能助手–智选AI网代码小浣熊 Raccoon 是商汤科技最新推出的智能 AI 编程助手和工具。包含代码助手、办公助手,满足用户代码编写、数据分析、编程学习等各类需求。它由商汤自研的大语言模型驱动,支持多种编程语言和多项任务能力,旨在为开发人员带来全新的编程体验。Raccoon 提供了丰富的智能代码生成和辅助功能,可应用于从软件需求分析、架构...https://hbzgn.com/archives/1170.html
5.代码小浣熊Raccoon代码小浣熊Raccoon,代码小浣熊 Raccoon,基于商汤自研大语言模型的AI智能编程助手。https://www.yjpoo.com/site/2464.html
6.小浣熊AI智能助手Raccoon – Another Comprehensive CO-pilOt Navigator | Raccoon是基于商汤自研大语言模型的智能助手,包含代码助手、办公助手,满足用户代码编写、数据分析、编程学习等各类需求。 小浣熊官网网址:https://raccoon.sensetime.com/ 小浣熊Raccoon是商汤科技基于自身研发的大语言模型推出的AI智能助手,旨在通过先进的人工智能技...https://www.bgrdh.com/sites/21953.html
7.代码小浣熊Raccoon代码小浣熊 Raccoon 简介: Raccoon - Another Comprehensive CO-pilOt Navigator | Raccoon是基于商汤自研大语言模型的智能助手,包含代码助手、办公助手,满足用户代码编写、数据分析、编程学习等各类需求。 价格: 免费~49元/人/月起 标签: AI Coding Assistant...http://aigc567.com/tool/detail/1801457280701464578?categoryId=4
8.西门子pads宣布中国区唯一总经销商拥有其代码永久开发权/新思科技...商汤科技“代码小浣熊 Raccoon”开放公测 商汤科技宣布,基于商汤自研大语言模型的智能编程助手 —— 代码小浣熊 Raccoon,即日起开放公测。代码小浣熊 Raccoon 支持 Python、Java、JavaScript、C++、Go、SQL 等 30+ 主流编程语言和 VS Code、IntelliJ IDEA 等主流集成开发环境。 https://www.ruanfujia.com/11244043
9.体验商汤AI大模型应用“办公小浣熊”:聊着天就把数据分析做了...首先,是交互方式。说起数据分析,很多人想到的是Excel图表,做个数据分析需要繁琐的操作,很多时候还需要编写代码,但是办公小浣熊则不同,实现了极简的交互,只需要以自然语言对话,聊着天就把数据分析做了。 而且,办公小浣熊还有记忆能力,你可以和它进行多轮对话,不断优化数据分析结果。 https://g.pconline.com.cn/x/1717/17171868.html
10.不能错过的国内AI工具,让工作变得轻松又有趣一个智能编程机器人,通过与程序员配对编程,智能预测代码意图,自动完成代码片段,显著提升编码效率。 商汤代码小浣熊: https://raccoon.sensetime.com/code 基于商汤大语言模型的软件智能研发助手,覆盖软件需求分析、架构设计、代码编写、软件测试等环节,支持Python、Java、C++等90+主流编程语言和VS Code等主流IDE,满足用...https://www.douban.com/note/865014309/
11.小浣熊家族Raccoon—潮运营标签:编程AIAI Coding AssistantAI Programming ToolAI代码生成AI代码翻译AI写代码AI办公助手AI数据分析AI编程助手AI编程辅助工具AI重构代码BI AnalysisBI分析Code CompletionCode GenerationCode interpreterCode RaccoonData AnalysisOffice RaccoonRaccoon代码小浣熊代码生成模型代码解释器办公小浣熊商业智能小浣熊家族智能决策智能分...https://www.chaoyunying.com/sites/10828.html
12.商汤科技,彻底爆了。。。二、代码小浣熊 除了专业的数据办公之外,还有一个需要更加专业工具的行业--那就是程序员。代码小浣熊就是为了程序员提高效率而生的。 它支持多种编程语言。 主要功能包括:智能代码补全、代码错误检测与修正、项目管理与协同工作、代码的问答、测试用例生成。 http://www.360doc.com/content/24/0701/22/46368139_1127625493.shtml
13.萌翻了!小浣熊学饲养员敲键盘,打出一串神秘“代码”小浣熊学饲养员敲键盘,打出一串神秘“代码” 现代快报讯(通讯员 曹菁琳 倪雯 记者 严君臣)近日,南通森林野生动物园内发生了一则趣闻,在动物园的浣熊饲养区,小浣熊在笔记本电脑上输入“浣熊国密语”,引发诸位“大神”纷纷加入“解密队伍”。 据动物园工作人员介绍,饲养员小张一直以来都以耐心和爱心精心照料着园内...https://www.xdkb.net/m1/js/j9md1/485906.html
14.小浣熊AI助手AI工具箱小浣熊AI助手是基于商汤自研大语言模型的智能助手,包含代码助手、办公助手,满足用户代码编写、数据分析、编程学习等各类需求。 标签:开发者工具AI Coding AssistantAI Programming ToolAI代码生成AI代码翻译AI写代码AI办公助手AI数据分析AI编程助手AI编程辅助工具AI重构代码BI AnalysisBI分析Code CompletionCode GenerationCode...https://www.ailookme.com/sites/23199.html
15.一款国产编程神器,好用还免费!腾讯云开发者社区然后,今天要给大家介绍的是一款新的辅助编程神器——小浣熊家族(Raccoon),我一直都在使用。 它最值得介绍的地方在于它免费,我们可以直接利用它来辅助编程,真正做到事半功倍。 针对不同的应用场景,小浣熊家族分为两个版本:办公小浣熊、代码小浣熊。 办公小浣熊 ...https://cloud.tencent.com/developer/article/2414264
16....AI资源网通过开放的方法,Code Llama有助于促进新技术的发展,改善人们的生活。 ▼ 特别声明本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。 AI编程Code LlamaMeta ascasc普通 上一篇GitHub Copilot – GitHub 推出的AI编程助手 下一篇代码小浣熊Raccoon-商汤科技发布的智能AI编程助手 本站 热讯 投稿 顶部...https://www.ayxayx.com/1725.html
17.代码小浣熊Raccoon上线,助你丝滑写代码,商汤大语言模型实力加持代码小浣熊覆盖软件需求分析、架构设计、代码编写、软件测试等环节,满足用户代码编写、数据分析、编程学习等各类需求。在实际应用中,可帮助开发者提升编程效率超50%。 配合商汤的大语言模型实力加持,“代码小浣熊”不但具备*的代码生成能力,还拥有强大的中文语言理解能力。 https://news.pedaily.cn/20231211/75740.shtml
18.代码小浣熊商汤科技推出的AI编程助手代码小浣熊是什么? 小浣熊家族是商汤推出的大模型系列应用工具,覆盖软件开发、数据分析、编程教育等多个场景。 代码小浣熊是基于大模型的智能研发助手,可实现软件需求分析、架构设计、代码编写、软件测试等,满足用户代码编写、企业级项目研发、编程学习等各类需求。代码小浣熊Raccoon支持Python、Java、JavaScript、C++、Go、...https://www.aihub.cn/tools/coding/raccoon/
19.小浣熊AI助手Ai工具箱小浣熊家族是商汤推出的大模型系列应用工具,覆盖软件开发、数据分析、编程教育等多个场景。 代码小浣熊是基于大模型的智能研发助手,可实现软件需求分析、架构设计、代码编写、软件测试等,满足用户代码编写、企业级项目研发、编程学习等各类需求。 办公小浣熊是基于大模型的数据分析产品,支持复杂表格、多表格、多文件的分析...https://tools.aiydn.com/ai/10645.html
20.小浣熊家族AI神器大全标签:AI工具办公小浣熊商汤科技数据分析编程助手 访问小浣熊家族官网 小浣熊家族是什么 小浣熊家族是由商汤科技开发的一系列AI工具产品,包括办公小浣熊和代码小浣熊。这些工具基于商汤大语言模型,能够通过用户的自然语言输入,自动进行数据分析、编程辅助等多种任务,满足不同用户群体的需求。 https://aishenqi.net/tool/xiaohuanxiongjiazu
21.代码小浣熊一款基于大语言模型的AI编程助手,支持多种编程语言...一款基于大语言模型的AI编程助手,支持多种编程语言,提供智能代码补全、错误检测与修正等全方位功能,助力开发者高效编程。 “代码小浣熊”是商汤科技推出的一款AI编程助手,它基于自研的大语言模型,通过先进的机器学习和深度学习技术,为开发者提供全方位的智能编程辅助。该产品支持多种主流编程语言和IDE,具备智能代码补全、...https://www.qzl365.cn/ai-aitool/aiprogram/daimaxiaohuanxiong.html
22.代码小浣熊Raccoon代码小浣熊 Raccoon 是由商汤科技开发的一款智能编程助手,旨在提升开发者的编程效率和体验,同时降低编程的难度和错误,使非专业开发者也能更加便捷地构建应用程序?。 代码小浣熊 Raccoon简介: 代码小浣熊 Raccoon 是由商汤科技开发的一款智能编程助手,旨在提升开发者的编程效率和体验。这个工具基于商汤自研的大语言模型...https://pidoutv.com/sites/11125.html
23.代码小浣熊个人免费版使用教程在扩展市场的搜索框中输入“Raccoon”或“代码小浣熊”,找到官方插件后点击“安装”按钮。VS Code将下载并安装该插件。 二、配置代码小浣熊 登录账号: 安装完成后,点击VS Code侧边栏或工具栏中的Raccoon图标,根据提示登录或注册账号。 设置偏好(可选): https://ai.gameba.cc/wz/1158.html