带你读《深入理解AutoML和AutoDL:构建自动化机器学习与深度学习平台》之二:自动化人工智能

丰富的线上&线下活动,深入探索云世界

做任务,得社区积分和周边

最真实的开发者用云体验

让每位学生受益于普惠算力

让创作激发创新

资深技术专家手把手带教

遇见技术追梦人

技术交流,直击现场

海量开发者使用工具、手册,免费下载

极速、全面、稳定、安全的开源镜像

开发手册、白皮书、案例集等实战精华

为开发者定制的Chrome浏览器插件

我们在第1章主要概述了人工智能,并在1.5节中引出了AutoML—自动化人工智能,本章将介绍AutoML,包括AutoML的概述、发展、研究意义以及现有的AutoML平台和产品,其中还会穿插介绍一些平台的应用实例。本章只介绍概念性知识,关于AutoML的实际运用将在第二部分(第3~6章)和第三部分(第7~13章)详细展开。

传统的人工智能旨在使用机器帮助人类完成特定的任务,随着人工智能的发展,在计算机领域衍生出了机器学习。机器学习旨在通过计算机程序完成对数据的分析,从而得到对世界上某件事情的预测并做出决定。随着机器学习的不断发展,其复杂程度也在不断增高,如果还完全依靠人为规定,使计算机按照设定的规则运行,会耗费大量的人力资源。如果让计算机自己去学习和训练规则,是否能达到更好的效果呢?跟随这一意愿的提出,就出现了本书的核心思想—自动化人工智能,也就是所谓“AI的AI”。让AI去学习AI,从而减少人工的参与,让机器完成更复杂的工作,这掀起了下一代人工智能的浪潮。

图2-1AutoML通用流程

图2-2AutoML平台具备的功能

合,既可以完成语音领域的任务,如自动语音识别系统、聊天机器人、文本语音系统;也可以完成声纹领域的任务,如声纹识别系统;还可以完成图像领域的任务,如计算机视觉、图像识别、目标检测等。

图2-3传统机器学习和自动化机器学习对比

图2-4使用AutoML进行图片分类

21世纪是一个信息的时代,各行各业都面临着一个同样的问题,那就是需要从大量的信息中筛选出有用的信息并将其转化为价值。随着机器学习2.0的提出,自动化成为了未来机器学习发展的一个方向。如图2-5所示,各行各业都涉及机器学习,机器学习已经融入我们生活的方方面面,比如金融、教育、医疗、信息产业等领域。

图2-5机器学习可赋能产业

图2-62018年各人工智能行业资金投入量

图2-7CloudAutoML图形用户界面

图2-8CloudAutoML的API调用

图2-9EasyDL的3个主要服务领域

图2-10EasyDL的可视化界面

基于迁移学习的AutoModelSearch方法是针对用户数据集的类型,在适用于该类型数据集的过去被证明优秀的预训练模型中进行搜索,如Inception、ResNet、DenseNet等,并结合不同的超参数组合进行训练与选择;每一个模型都会结合其配置的超参组合进行训练,这个过程可以通过百度的workflow等高性能底层计算平台进行并行加速。对于某些对性能需求更高的用户而言,上述方式不一定能够把模型性能推到极致;因此还需要基于神经架构搜索NASNet的方法,该方法能够针对用户的数据集从零开始生成一个最适配的模型,从而确保性能可以达到最优,但是相对的计算成本也会更高;在本书的后续章节会对NASNet等神经架构搜索方法进行讲解。这些过程都是在底层自动完成的,用户完全不需要操心中间的细节问题。

图2-11阿里云PAI工作流程图

图2-12阿里云PAI产品架构图

图2-13阿里云PAI拖曳式组件

图2-14阿里云PAI建模流程示例

图2-15阿里云PAI模拟在线部署示例图

图2-16探智立方roadmap规划图

图2-17进化架构搜索图

图2-18企业数据应用

图2-19智易深思平台架构图

2.平台介绍深思平台是一个庞大的系统集合,包括底层的分布式集群、云基础设施;上层的AI模型研发、分布式训练架构以及大数据引擎,如Hadoop、Spark等;同时拥有ETL层,可对数据进行处理,有可视化和BI等功能;并在面向前端用户时,搭建了基于浏览器的可视化操作页面,大幅降低了使用门槛。AutoML是深思平台中的关键技术之一。目前,深思平台主要应用在金融业、零售业以及工业中,支持结构化数据和图像数据,可以帮助客户完成反欺诈、销量预测以及产品缺陷检测等一系列AI应用。平台具有应用门槛低、高度自动化的工具链、多场景模型训练支持、大规模的分布式系统管理等优点。

[1]OUELLETTER.Automationimpactsonindustry[M].AnnArbor:AnnArborSciencePublishers,1983.[2]BENNETTS.Ahistoryofcontrolengineering1800-1930[M].Stevenage:PeterPeregrinus,1979.[3]HUTTERF,CARUANAR,BARDENETR,etal[C].AutoMLworkshop@ICML2014,2014.[4]YAOQM,WANGMS,CHENYQ,etal.Takinghumanoutoflearningapplications:asurveyonautomatedmachinelearning[J].arXiv:1810.13306,2018.[5]SPARKSER,TALWALKARA,HAASD,etal.Automatingmodelsearchforlargescalemachinelearning[C]//SIGMOD.2015ACMSymposiumonCloudComputing,NewYork:ACM,2015:368–380.

THE END
1.30题中国移动信息技术中心AI中国移动信息技术中心AI 工程师岗位面试真题及解析含专业类面试问题和高频面试问题,共计30道请简单自我介绍一下,包括教育背景工作经历和技能特长。面试问题:请简单自我介绍一下,包括教育背景工作经历和技能特长。考察点: 1. 语言表达能力:应聘https://www.renrendoc.com/paper/299832522.html
1.终于有人总结了人工智能知识!(非常详细)零基础入门到精通,收藏这一篇就...读者福利 |CSDN大礼包:《最新AI大模型学习资源包》免费分享(安全链接,放心点击) 1.大模型入门学习思维导图 要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。 对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家...https://blog.csdn.net/xx16755498979/article/details/144030340
2.AI:发展历程现状与基本概念腾讯云开发者社区从实现方式来看,AI 包含多种技术,如机器学习(包括监督学习、无监督学习等)、深度学习(利用深度神经网络)、自然语言处理、计算机视觉、智能机器人技术等。 AI 的目标是创造出能够像人类一样思考、学习和行动的智能系统,以帮助人类解决各种复杂的问题,提高工作效率和生活质量。然而,随着 AI 的发展,也带来了一些挑战和...https://cloud.tencent.com/developer/article/2456353
3.AI与区块链结合有哪些应用嘲挑战和注意事项?区块链技术这篇文章主要介绍了AI与区块链结合有哪些应用场景、挑战和注意事项?的相关资料,需要的朋友可以参考下本文详细内容介绍 欧易OKX 欧易(OKX)交易所- 全球三大交易所之一,立即注册可领50 USDT数币盲盒! 官网注册APP下载 AI 和区块链是这个时代最具有颠覆性的两大技术,有潜力在多个行业掀起一场创新革命,并彻底颠覆经济...https://www.jb51.net/blockchain/880346.html
4.人工智能技术专题「入门到精通系列教程」零基础带你进军人工...许多人对AI技术有兴趣,但由于其知识点繁多,难以系统学习,学习没有方向等等问题。我们的专栏旨在为零基础、初学者和从业人员提供福利,一起探索AI技术,从基础开始学习和介绍。让你从零基础出发也能学会和掌握人工智能技术。 专栏说明 本专题文章以及涉及到整体系列文章主要涵盖了多个流行的主题,包括人工智能的历史、应用...https://blog.51cto.com/alex4dream/6535665
5.一文理解AI基础架构有哪些组件优势和应用?AI 基础架构结合了人工智能和机器学习(AI/ML)技术,来开发和部署可靠且可扩展的数据解决方案。精心设计的基础架构有助于数据科学家和开发人员访问数据、部署机器学习算法以及管理硬件的计算资源。https://www.redhat.com/zh/topics/cloud/ai-infrastructure
6.共达地李苏南:0代码自动化,让AI算法赋能千行百业商业模式鲸解▍个人介绍 共达地高级市场总监;曾帮助腾讯、华为等公司B2B业务打造过亿商机的强壮获客管道;腾讯WeCity未来城市、华为无线SingleSite等领导品牌的核心缔造者与主理人。 ▍第一标签 行业首个商用AutoML自动化AI训练平台布道者 ▍公司简介 共达地创立于2020年,总部位于中国广东省深圳市,是全球领先的AutoML自动化AI训练平台提...https://www.cls.cn/detail/1154839
7.GitHubAI 推理系统与引擎实际应用推理系统与引擎,讲了太多原理身体太虚容易消化不良,还是得回归到业务本质,让行业、企业能够真正应用起来,而推理系统涉及一些核心算法和注意的事情也分享下。[Slides] AI 框架核心技术介绍 AI 框架核心技术,首先介绍任何一个 AI 框架都离不开的自动微分,通过自动微分功能后就会产生表示神经网络...https://github.com/chenzomi12/AISystem/
8.ai技术有哪些种类近年来,人工智能技术得到了广泛的应用和普及,成为许多领域中不可或缺的一部分。那么,AI技术有哪些种类呢?本文将介绍几种常见的AI技术种类及其应用场景。 1. 机器学习 机器学习是人工智能领域中的一个重要分支,它通过让计算机自动从数据中学习规律和模式,从而实现自主决策和自我优化。机器学习技术在自然语言处理、图像...https://tool.a5.cn/article/show/78139.html
9.浙江时察设计行业协会工程设计信息化专委会2023年年会暨BIM技术...天尚设计集团有限公司首席科学家周群在《AIGC与BIM》报告中,深入浅出地介绍了AIGC的理论逻辑,并分享了BIM建模中的AIGC应用、水暖电计算的AIGC应用、存档图纸的自动建模。他详细阐述了AIGC在建筑行业的应用以及对未来的展望。 AI圆桌论坛 本次年会还精心策划了一场深入探讨AI技术在建筑领域应用的“AI圆桌论坛”技术...https://www.zjkcsj.cn/newsshow.php?id=645