使用百炼平台过程中涉及的基本概念

在这里您可以根据业务所需挑选通义系列大模型、官方行业或场景大模型、第三方大模型等接入到企业解决方案中。

通过选择模型,可选择1-3个模型快速体验或对比模型效果

模型工具

模型调优支持多种训练方式,明确训练方向并选择合适的训练数据及参数,训练后的模型效果将更加符合业务需求。

已训练/系统预置的模型需要通过模型部署提供服务,支持预付费和后付费两种部署模式,可依据业务需求进行选择。

通过构建好的评测集进行模型评测,系统基于评测集将完成推理预测,完成预测结果标注后可查看评测报告。

应用组件

我的应用

应用是阿里云百炼平台输出大模型能力的最小单位。创建应用后,通过对应的PaaS接口即可调用大模型能力,可在应用管理中管理创建的各类模型调用应用。

在这里您可以挑选官方预置完整工程链路的应用或预置场景prompt的应用,通过应用将通义系列大模型接入到业务解决方案中。

您可以根据业务或场景所需选择官方系统插件,或者引入企业自定义API插件,增强大模型交互能力。开启插件功能,调用大模型时根据实际输入内容自动判断应答链路。

通过选择评测集或拉取线上日志,批量评测应用效果,支持自定义评测维度,评测过程信息透明化,全方位评测应用效果。

Prompt工程通过设计和改进prompt使大模型能够更准确、可靠地执行特定任务,平台为您提供了Prompt模板、Prompt优化等一系列Prompt工程工具。

数据中心

数据管理

平台统一的数据管理模块,支持多源、多格式的结构化及非结构化数据管理,支持多类目管理及自动化在线解析,应用于RAG、训练等模块。

数据处理

数据处理可支持用户使用不同的模型算子,针对数据进行预处理,如数据去重、长度过滤、信息过滤、内容过滤等处理方式,清洗为满足需求的数据。

知识索引

创建和管理用于RAG应用的知识库索引,基于对数据中心的统一引用。

模型数据

模型数据支持创建不同数据类型的数据集,包括训练集、评测集,支持多版本数据管理,发布后可前往模型调优/评测功能使用。

您可以在这里查看专属模型的用量统计,以获得模型的使用情况。

依据评测需求增加维度模板,支持自定义多级维度、多级分数,预置多种维度模板,可应用于主流评测任务。

支持引入阿里云RAM子账号,实现多用户同时操作。

为阿里云子账号进行角色管理,以实现功能权限隔离。

为阿里云主账号提供业务空间的增加和修改功能,实现业务空间下的数据隔离。

为阿里云主账号和RAM账户提供用户入驻和权限管理的能力。

消息中心

针对企业数据管理、模型训练以及系统其它功能的消息通知汇总。

模块

概念

解释

模型推理

QPS

QueriesPerSecond,每秒处理查询次数。如默认QPS=5,即API每秒最多可以处理5个请求。

RPM

RequestsPerMinute,每分钟处理请求数。如默认RPM=300,即API每分钟最多可以处理300个请求。

TPM

TokensPerMinute,每分钟处理tokens数(输入+输出)。如默认TPM=300k,即API最多可以消耗300k(30万)tokens,即每个服务平均处理1000tokens。

应用广场

知识检索

开启知识检索使通义千问大模型参考知识库文件作出回答。

图片生成

接入图片生成插件使通义千问大模型拥有良好的文生图、图文生图的能力。

Python代码解释器

接入代码解释器插件使通义千问大模型拥有执行Python代码的能力,可用于数学计算、数据分析与可视化、数据处理等任务。

计算器

接入计算器插件使通义千问大模型拥有良好的计算能力,可用于教育等应用场景。

夸克搜索

为通义千问大模型提供联网搜索,获取实时信息的能力。

夸克搜索插件目前支持检索出网页标题、关键词和摘要,不支持直接访问网页详情。

流程管理

通过流程画布的节点自定义业务流程,对接智能体应用,实现智能体对业务流程的调度,满足复杂及指定业务场景需求。

快速干预

快速干预工具仅通过规则方式快速处理用户输入的违规话术或者大模型生成的风险内容,该工具无法替代内容安全检测类的专业产品。

对话记录管理

使用平台内置缓存,可实现大模型应用的多轮会话。开启后,可在测试窗或API调用中通过传入SessionID实现多轮会话。

类目管理

新增自定义类目或使用默认类目管理数据,类目支持不同类型的配置,建议区分数据类型或数据源建设类目。

知识标签是知识检索范围的唯一标识。用于区分应用识别调用知识时的检索范围。

支持企业通过API方式设定输入和输出参数,将大模型与外部系统做联动。

基于流程画布创建应用。流程编排是一种面向开发者的可视化开发工具,支持LLM、API、脚本等类型节点,旨在简化接入大型语言模型(LLM)流程,同时提供应用流程的全生命周期管理,包括流程的编排、试验、部署等,为开发者提供自定义AI应用开发一站式服务。

Prompt

即提示词,简单的理解为它是给大模型的指令。它可以是一个问题、一段文字描述,甚至可以是带有一堆参数的文字描述。大模型会基于prompt所提供的信息,生成对应的文本或者图片。

您可以通过设计不同Prompt模板来满足垂直场景需求,而无需每次拼接完整Prompt。

对Prompt语料进行内容质量和结构上的优化,便于获得更符合期望的大模型推理结果。

训练集

构建合适训练集,通过模型调优可增强模型能力,提升预测效果,平台支持多轮训练数据、单轮训练数据、在线编辑及效果预览功能。

评测集

构建合适的评测集,通过模型评测评估模型效果,发现模型问题,评测集包括Prompt及Completion,支持在线编辑及管理功能。

全参训练

高效训练

RLHF训练

RLHF训练通过在强化学习的训练过程中加入奖励模型的方式,实现强化学习结果的持续性自动优化,从使得模型效果显著符合预期,功能开发中,敬请期待..

预置模型

预置模型为未经过任何训练的原始模型,您可以通过选择基础模型进行训练从而得到自创模型,不同的基础模型的参数和能力不同,我们将持续推出不同能力方向的模型。

自定义模型

自定义模型版本是基于您训练过的模型进行再次训练,从而调优模型效果,请注意,由于大模型的训练原理,多次训练模型时,后序训练易丢失前序训练已习得的能力,建议后序训练数据需要采样或保持前序训练数据。

循环次数

循环次数代表模型训练过程中模型学习数据集的次数,可理解为看几遍数据,一般建议的范围是1-3遍即可,可依据需求进行调整。默认循环次数为10次。

批次大小

批次大小代表模型训练过程中,模型更新模型参数的数据步长,可理解为模型每看多少数据即更新一次模型参数,一般建议的批次大小为16/32,表示模型每看16或32条数据即更新一次参数。

学习率

学习率代表每次更新数据的增量参数权重,学习率数值越大参数变化越大,对模型影响越大,一般范围为:2e-5到2e-8。

TrainingLoss

TrainingLoss代表针对训练数据学习的拟合程度,曲线一般呈现下降趋势,Loss越小,表示训练数据拟合程度越高,过小的Loss易导致数据过拟合,需要根据实际训练过程进行判断。

ValidationLoss

ValidationLoss代表针对验证集学习的拟合程度,曲线一般呈现先下降后上升趋势,Loss越小,表示验证数据拟合程度越高,优秀的模型效果往往出现ValidationLoss的最小值节点,此时拟合程度最佳,训练效果最好。

ValidationTokenAccuracy

ValidationTokenAcc代表针对验证集学习的准确程度,曲线一般呈现上升趋势,训练过拟合后会呈现下降趋势,优秀的模型效果往往出现在ValidationTokenAcc的最大值节点,此时预测准确率最高,训练效果最好。

超参配置

学习率调整策略

选择不同的学习率策略,动态地改变模型在训练过程中更新权重时所采用的学习率大小。

验证步数

训练阶段针模型的验证间隔步长,用于阶段性评估模型训练准确率、训练损失推荐范围:[1,2147483647]。

序列长度

训练数据的序列长度,单个训练数据样本的最大长度,超出配置长度将自动截断。推荐范围:[500,2048]。

学习率预热比例

warmup占用总的训练steps的比例。推荐范围:(0,1)。

权重衰减

L2正则化,让权重衰减到更小的值,在一定程度上减少模型过拟合的问题。推荐范围:(0,0.2)。

梯度存储

是否开启gradientcheckpointing,默认为True。该参数可以用于节约显存,虽然这会略微降低训练速度。该参数在max_length较大,batch_size较大时作用显著。

THE END
1.公共产品名词解释【公共产品名词解释】 公共产品:是指具有消费或使用上的非竞争性和受益上的非排他性的产品。 非竞争性指一部分人对某一产品的消费不会影响另一些人对该产品的消费,增加消费者的边际成本为零。例如,国防服务,一个人享受国防保护并不减少其他人享受同样保护的机会。 http://wende.100xuexi.com/SubItem/IndexInfoDetail.aspx?id=f9050232-d744-463b-9bad-5be2bf8c1eef
2.公共产品名词解释点击查看答案 第6题 准公共产品 名词解释 点击查看答案 第7题 【主观题】什么是准公共产品,名词解释定义是? 点击查看答案 第8题 名词解释:共5题,每题4分 (1)公共产品 (2)税负转嫁 (3)国债依存度 (4)购买性支出 (5)财政的自动稳定器作用 点击查看答案 第9题 公共新闻 名词解释 点击查看答案 账号...https://www.shangxueba.cn/wangke/s478qdmh.html
3.什么是产品概念,名词解释定义是?名词解释 产品创意 参考答案: 是指企业从自己的角度考虑能够向市场提供的可能产品的构想。 点击查看答案进入题库练习 名词解释 改变包装策略 参考答案: 是指当某种产品销路不畅或长期使用的一种包装时,企业可以改变包装设计、包装材料,使用新的包装。 点击查看答案进入题库练习 问答题 适合采取广告推销为主的促销策略...https://m.ppkao.com/mip/tiku/shiti/6347701.html
4.经济法中产品责任的名词解释汽车问答经济法中 产品责任的名词解释优质回答 产品责任是指与产品有关的制造商、批发商或零售商等各方对产品因存在缺陷而在被正常使用过程中发生意外并造成用户或他人人身伤害和财产损失,依法应承担的经济赔偿责任。在责任保险领域内,产品责任保险是发展较为迅速的险种。零售商、批发商和制造商对由离开销售和生产场所的商品...https://m.58che.com/wenda/759039.html
5.经济学:产品策略考试题库(考试必看)考试题库6、判断题 产品项目是指产品线中不同的品种、规格、品牌、价格的特定产品,例如:某商店经营的服装、食品、化妆品等。() 点击查看答案 7、填空题 营销人员寻找和搜集新产品构思的主要方法有五种:()强行关系法、多角分析法、聚会激励创新法和征集意见法。 点击查看答案 8、名词解释 产品组合决策 点击查看答案...http://www.91exam.org/exam/87-3071/3071087.html
6.产品质量指标名词解释理想股票技术论坛质量评价指标则是根据产品的具体特征和行业标准来确定产品质量好坏的指标体系。而质量检测指标则是用于对产品进行质量检测和判定的关键指标,可以帮助企业确保产品符合相关质量标准和要求。 产品质量指标详解:关键术语及概念解释 [股票软件指标公式技术交流] 理想v信念 2024-11-22 相关标签:产品质量指标名词解释 产品...https://www.55188.com/tag-01929737.html
1.旅游产品名词解释以最省钱的方法背着包去旅行。自己设计路线,自己安排旅途中的一切,自由、主动、深刻、充满艰 辛和诗意,利用现代文明带来的便捷,却又不受商业的蒙蔽和束缚的旅行。自助旅游不是年轻人的专利,也不是省钱旅游的代名词,而成为重要的旅游趋势,无论老少,希望享受自由、深入、有特色旅游的人都会加入自助旅游的行列。 https://lxs.cncn.com/76231-help-405718.html
2.PCDN产品的名词解释有哪些腾讯云开发者社区PCDN产品的名词解释主要包括以下几类: 1. PCDN(内容分发网络内容分发网络): PCDN是一种网络服务,通过将热点内容缓存在距离用户较近的边缘节点,来实现内容分发的优化。主要应用场景包括静态...https://cloud.tencent.com/developer/information/PCDN%E4%BA%A7%E5%93%81%E7%9A%84%E5%90%8D%E8%AF%8D%E8%A7%A3%E9%87%8A%E6%9C%89%E5%93%AA%E4%BA%9B
3.产品生命周期名词解释产品生命周期也称为“商品生命周期”,是产品从准备进入市场开始到被淘汰退出市场为止的全部运动过程。产品生命周期是产品或商品在市场运动中的经济寿命,即在市场流通过程中,由于消费者的需求变化以及影响市场的其他因素所造成的商品由盛转衰的周期。 产品生命周期主要是由消费者的消费方式、消费水平、消费结构和消费心理...https://www.dongrv.com/jizhangbaoshui/16606.html
4.什么是物联网应用开发(IoTStudio)什么是物联网开发使用IoT Studio,应用服务开发完毕后,直接托管在云端,支持直接预览、使用。无需部署即可交付使用,免除您额外购买服务器等产品的烦恼。 产品名词解释 使用限制 物联网应用开发(IoT Studio)产品有以下使用限制。 目前物联网应用开发支持选择公共实例和企业版实例,公共实例和企业版实例支持的功能区别,如下表所示。https://blog.csdn.net/HaaSTech/article/details/116006088
5.什么是农产品供应链农产品供应链名词解释: 农产品供应链是指从农田到消费者手中的整个流程,涵盖了农产品的生产、采购、加工、运输、存储和销售等环节。它是农产品从生产者到消费者之间的物流与信息流的有机组合,包括供应商、生产者、批发商、零售商和消费者等多个参与者。 https://www.guanmai.cn/classroom/202305175924