推理芯片逻辑

众所周知,除了衣食住行,有一样东西在信息化时代几乎不离身,那就是消费电子,那么ai+消费电子=?没错正是aipc以及ai手机(应是pc先行,ai落地手机难度以及技术要求比pc高),首先在pc端的逻辑,pc换机周期约是3-5年,而前一次换机朝位于2020年,新的换机周期即将到来(消费电子周期逻辑)。再讲ai上的,AIPC,简单来说,就是加入AI功能的PC电脑。AI可通过云与PC的紧密协作,或在电脑端独立运行大语言模型,进而从根本上改变、重塑PC的用户体验,释放人们的生产力和创造力。AIPC将深刻颠覆传统PC的定义,在承担原有PC职能的同时,在功能上由工具属性升级为助理属性,从而成为个人“第二大脑”,成为与用户如同双胞胎般的个人AI助理(ai在电脑中契合个人使用的装载逻辑)

这就是大模型商业落地下ai消费电子的逻辑,那么在这一轮ai消费电子换机背后的新增量在哪?正常来说,aipc属于边缘计算设备,根据学习的资料要真正让算法模型在边缘计算设备上跑起来,仍有两个比较重要的难点。

第一,边缘设备的算力比云端服务器弱,而大部分的算法模型,是在服务器上训练的,算法模型要实现迁移,需要做大量的优化工作。

第二,算法模型要在边缘设备上部署、执行推理任务,需要一颗强大的AI算力芯片,并针对芯片做适配,才能保证算法模型的运行效率。

so专注于高效模型推断以及高效计算,低延迟,低功耗的推理芯片的特点能满足于边缘设备强算力,以及功耗低的需要。

因此看好推理芯片在核心逻辑(消费电子换机周期+ai商业化落地于产品)下有极大的发展空间和机会

那么国内推理芯片有谁?云天励飞(已有产品)

产品:下面来自于网络消息收集

云天励飞发布大模型推理芯片:14nmChiplet架构,国内首创!最高算力可达48TOPS

据介绍,云天励飞DeepEdge10是国内首创的14nmChiplet架构的面向大模型AI推理的主控级SoC芯片。

DeepEdge10是面向大模型推理需求进行了针对性优化,其内部集成的NNP400TNPU是一款支持支持大模型新型计算范式的神经网络处理器,不仅支持FP16/INT16/INT8等数据格式,还支持多线程、支持Transformer网络结构模型。

云天励飞与合作伙伴于2020年开始技术攻关,在ChipletD2D的技术上定制了一系列IP,实现了可以在14nm芯片上运行千亿大模型的功能。虽然成本、功耗会高一些,但这已经是国产芯片的最优水平。

这些可以一一从网络寻找,重点是国产推理芯片(国内首创)

其次再说技术上的

流通值较少,拉升简单,同时解禁期还有数月,期间可以作为小盘股对待

下方已有双底

三星电子将于今年12月中旬推出全球首款AIPC,即搭载英特尔新一代“CoreUltra”处理器的旗舰笔记本电脑GalaxyBook4系列。

2023年10月24日,联想展示了联想首款AIPC。等等催化,对ai推理芯片都是一个预期提振。

THE END
1.AI训练芯片行业深度解析:市场趋势技术进展竞争格局与未来投资...- :作为我国互联网巨头,也在训练芯片领域展开布局。其推出的训练芯片在云计算、大数据等领域具有广泛应用前景。未来,有望通过其在互联网领域的优势,推动训练芯片在更多应用场景的落地。 - 寒武:寒武作为我国新兴的芯片企业,凭借其在训练芯片领域的创新能力,迅速崛起。其推出的训练芯片在性能、功耗等方面具有竞争优势,受...http://www.slrbs.com/jrzg/aizhishi/724838.html
2.AI推理CPU当道,Arm驱动高效引擎AI的训练和推理共同铸就了其无与伦比的处理能力。在AI训练方面,GPU因其出色的并行计算能力赢得了业界的青睐,成为了当前AI大模型最热门的芯片;而在 AI 推理方面,具备卓越通用性和灵活性的CPU本应发挥关键作用,但其重要性却常常被忽视。 “对于那些希望将大语言模型(LLM)集成到产品和服务中的企业和开发者来说,CPU...https://www.elecfans.com/d/6345053.html
3.从PB社今日小作文看芯片重要机会——从训练到推理——芯片方向正在从训练向推理转向,AMD 、英伟达、Groq、AI手机都在热炒推理芯片训练芯片已经涨上天,关注还在低位,有超车潜力、有引爆因素的国产推理芯片。引爆点1:Groq推“最快”AI推理芯片 比英伟达GPU快10倍引爆点2:推理芯片NPU成AI手机、AI PC最大的增量方向!NPU即神经网络处理器,它是一种专门设计用于加速终端...http://guba.sina.cn/view_144542_77.html
4.英伟达AI芯片路线图分析与解读Nvidia是一个同时拥有 GPU、CPU和DPU的计算芯片和系统公司。Nvidia通过NVLink、NVSwitch和NVLink C2C技术将CPU、GPU进行灵活连接组合形成统一的硬件架构,并于CUDA一起形成完整的软硬件生态。 在AI计算芯片架构方面,注重训练和推理功能的整合,侧重推理。围绕GPU打造ARM和X86两条技术路线。在Nvidia的AI路线图中,并没有...https://wallstreetcn.com/articles/3712058
1.昇腾训练芯片和推理芯片的区别昇腾训练芯片和推理芯片在人工智能(AI)领域扮演着不同的角色,它们之间的区别主要体现在以下几个方面: 一、服务阶段与功能 训练芯片:主要用于AI模型的训练阶段。在这个阶段,芯片需要处理大量的数据和复杂的计算,以优化模型参数,提高模型的准确率和泛化能力。训练芯片的设计重点在于提高计算速度和精度,以支持大规模并行计...https://blog.csdn.net/fuhanghang/article/details/141310666
2.全民AI时代来了!但是你了解大模型AI芯片吗?(附国内外AI芯片参数...AI芯片一般可以理解为能运行AI算法的芯片,能处理AI应用中大量计算任务的模块,AI大模型算力的需求主要来源于训练(training)和推理(inference)这两环节,但是这两有什么区别? 训练是指基于一大堆的数据训练出一个复杂的大模型,训练芯片主要用于机器学习和深度学习,需要有强大的并行处理能力,此外还需要配备空间够大且高效的...https://www.xcc.com/news/detail/5555377
3.AI训练推理云边端对AI芯片的需求及挑战(1)云端:即数据中心,关注算力、扩展能力、兼容性。云端部署的AI芯片包括训练芯片和推理芯片。 (2)边缘端:即手机、安防摄像头等领域,关注综合性能,要求低功耗、低延时、低成本。边缘端部署的AI芯片以实现推理功能为主。 云端推理占比逐步提升,AI落地应用数量增加。根据IDC数据,随着人工智能进入大规模落地应用的关键时...https://www.eet-china.com/mp/a289837.html
4.解读AI通用计算芯片:GPU训练CPU推理,用最优的成本降低AI算力支出...AI计算方面,由于CPU有着更强的逻辑运算能力,就更加适合推理;而GPU拥有大量的计算单元,就更适合训练。 当前,人工智能已经成为推动企业业务创新和可持续发展的核心引擎。我们知道,算力、算法和数据是人工智能的三大核心要素,缺一不可。今天,笔者就从通用计算芯片这个维度出发,跟大家详细聊聊关于算力的相关技术与市场竞争态...https://www.51cto.com/article/784165.html
5.碾压H100!英伟达GH200超级芯片首秀MLPerfv3.1,性能跃升17%...使用了 NVLink-C2C 的 GH200 Grace Hopper 超级芯片仅使用 3% 的推理时间就完成了相同的传输。 由于具有更高的内存带宽和更大的内存容量,与 MLPerf Inference v3.1 的 H100 GPU 相比,Grace Hopper 超级芯片的单芯片性能优势高达 17%。 推理和训练全面领先 ...https://www.ithome.com/html/string/718598.htm
6.中昊芯英拥有自研AI训练芯片及推理芯片两大产品线,并已经完成...中昊芯英拥有自研AI训练芯片及推理芯片两大产品线,并已经完成了数十项发明专利的布局。核心AI训练芯片刹那TM算力可达204TFLOPS/396TOPS以上,自主研发的多至1024片的片间互联构架,为大https://ir.p5w.net/question/0001D0BF57F06A4E450E98FB4EC15B01DAF8.shtml
7.AI算力芯片天下一分为四,中国实力渐显艾瑞专栏谷歌介绍,Anthropic现在是首批大规模部署Cloud TPU v5e的企业之一。Cloud TPU v5e是谷歌云迄今为止最多功能、效率最高且可扩展性最强的AI加速器。这种芯片让Anthropic能以高性能且高效的方式为其Claude大语言模型(LLM)服务。 亚马逊:训练芯片Trainium、推理芯片Inferentia...https://column.iresearch.cn/b/202311/970854.shtml
8.计图支持国产统信操作系统和飞腾CPU芯片,实现GPU加速的训练和推理计图(Jittor)是由清华大学发布的首个动态编译深度学习框架,在5月8日兼容寒武纪芯片之后,计图目前又在国内自主研发操作系统统信UOS+国产CPU飞腾FT2000的架构下,成功实现了CPU和GPU的训练推理。 图1使用统信操作系统进行GPU训练图例 图1为国内自主操作系统统信UOS的操作界面,通过在终端中运行数行命令,就可以完成计图的...https://cg.cs.tsinghua.edu.cn/jittor/news/2021-06-21-00-00-fc/
9.芯片代理商:英伟达的H100训练芯片为啥受欢迎?训练芯片对数据传输速率和算力有较高要求,而推理芯片则需要低延迟。鉴于英伟达在训练芯片领域具备算力优势和软件方面的优势,他们成为科技公司首选的厂商,因此更多科技公司倾向于使用H100。 即使在推理应用场景下,英伟达仍然有一些替代方案可供选择,但在训练芯片领域,英伟达几乎是唯一的选择。这是因为英伟达在训练芯片领域的...http://www.htt-ic.com/index.php?m=home&c=View&a=index&aid=1952
10.AI上海范上海云端推理芯片中国AI算力再加速AI芯片是指面向人工智能应用开发的芯片,针对人工智能算法做了特殊加速设计。当前,从架构角度看,AI芯片以GPU、FPGA、ASIC等为主。从应用场景看,AI芯片分为云端芯片、边缘端芯片和终端芯片,其中云端AI芯片是指在服务器端完成人工智能相关运算的芯片。从实现功能看,AI芯片主要分为训练芯片和推理芯片。https://app.sheitc.sh.gov.cn/gydt/691342.htm
11.国产推理芯片上“硬菜”!大模型和边缘计算都不在话下人工智能芯片从功能上可以分为训练芯片和推理芯片,前者注重绝对的计算能力,而后者更注重综合指标,是实现AI应用落地终端的“最后一公里”。 “训练不是目的,生产大模型不是目的,千行百业的落地和应用才是最终的目的。”陈宁表示,不论是机器人、无人驾驶汽车智能传感,还是各类智能硬件,甚至脑机接口芯片,都需要大模型的...https://www.seccw.com/Document/detail/id/25807.html