中文版,对高等数学、线性代数、概率论与数理统计三门课的公式做了总结
2)斯坦福大学机器学习的数学基础.pdf
原版英文材料,非常全面,建议英语好的同学直接学习这个材料
推荐教材
相比国内浙大版和同济版的数学教材,通俗易懂,便于初学者更好地奠定数学基础
深入浅出统计学
商务与经济统计
入门人工智能领域,推荐Python这门编程语言。
1)Python安装:
关于python安装包,我推荐下载Anaconda,Anaconda是一个用于科学计算的Python发行版,支持Linux,Mac,Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本Python并存、切换以及各种第三方包安装问题。
IDE:推荐使用pycharm,社区版免费
安装教程:
Anaconda+Jupyternotebook+Pycharm:
Ubuntu18.04深度学习环境配置(CUDA9+CUDNN7.4+TensorFlow1.8):
2)python入门的资料推荐
a.廖雪峰python学习笔记
b.python入门笔记
作者李金,这个是jupyternotebook文件,把python的主要语法演示了一次,值得推荐。
c.南京大学python视频教程
这个教程非常值得推荐,python主要语法和常用的库基本涵盖了。
看完这三个资料,python基本入门了,可以使用scikit-learn等机器学习库来解决机器学习的
问题了。
3)补充
代码规范:
numpy练习题:
pandas练习题:
《利用python进行数据分析》
这本书含有大量的实践案例,你将学会如何利用各种Python库(包括NumPy,Pandas、Matplotlib以及IPython等)高效地解决各式各样的数据分析问题。如果把代码都运行一次,基本上就能解决数据分析的大部分问题了。
这绝对是机器学习入门的首选课程,没有之一!即便你没有扎实的机器学习所需的扎实的概率论、线性代数等数学基础,也能轻松上手这门机器学习入门课,并体会到机器学习的无穷趣味。
课程主页
课程完整思维导图:
中文视频
网易云课堂搬运了这门课,并由黄海广等人翻译了中文字幕。
观看地址:
中文笔记及作业代码
吴恩达在斯坦福教授的机器学习课程CS229与吴恩达在Coursera上的《MachineLearning》相似,但是有更多的数学要求和公式的推导,难度稍难一些。该课程对机器学习和统计模式识别进行了广泛的介绍。主题包括:监督学习(生成/鉴别学习、参数/非参数学习、神经网络、支持向量机);无监督学习(聚类、降维、核方法);学习理论(偏差/方差权衡;VC理论;大幅度利润);强化学习和自适应控制。本课程还将讨论机器学习的最新应用,如机器人控制、数据挖掘、自主导航、生物信息学、语音识别以及文本和Web数据处理。
这份给力的资源贡献者是一名斯坦福的毕业生ShervineAmidi。作者关于CS229整理了一份超级详细的速查表
台湾大学林轩田老师的《机器学习基石》课程由浅入深、内容全面,基本涵盖了机器学习领域的很多方面。其作为机器学习的入门和进阶资料非常适合。而且林老师的教学风格也很幽默风趣,总让读者在轻松愉快的氛围中掌握知识。这门课比Ng的《MachineLearning》稍难一些,侧重于机器学习理论知识。
《机器学习技法》课程是《机器学习基石》的进阶课程。主要介绍了机器学习领域经典的一些算法,包括支持向量机、决策树、随机森林、神经网络等等。难度要略高于《机器学习基石》,具有很强的实用性。
周志华的《机器学习》被大家亲切地称为“西瓜书”。这本书非常经典,讲述了机器学习核心数学理论和算法,适合有作为学校的教材或者中阶读者自学使用,入门时学习这本书籍难度稍微偏高了一些。
这本书配合《机器学习实战》这本书,效果很好!
李航的这本《统计学习方法》堪称经典,包含更加完备和专业的机器学习理论知识,作为夯实理论非常不错。
在经过前面的学习之后,这本《Scikit-Learn与TensorFlow机器学习实用指南》非常适合提升你的机器学习实战编程能力。这本书分为两大部分,第一部分介绍机器学习基础算法,每章都配备Scikit-Learn实操项目;第二部分介绍神经网络与深度学习,每章配备TensorFlow实操项目。如果只是机器学习,可先看第一部分的内容。
比赛是提升自己机器学习实战能力的最有效的方式,首选Kaggle比赛。
Scikit-Learn作为机器学习一个非常全面的库,是一份不可多得的实战编程手册。
在吴恩达开设了机器学习课程之后,发布的《DeepLearning》课程也备受好评,吴恩达老师的课程最大的特点就是将知识循序渐进的传授给你,是入门学习不可多得良好视频资料。整个专题共包括五门课程:01.神经网络和深度学习;02.改善深层神经网络-超参数调试、正则化以及优化;03.结构化机器学习项目;04.卷积神经网络;05.序列模型。
之前编写过吴恩达老师机器学习个人笔记黄海广博士带领团队整理了中文笔记
吴恩达老师在课程中提到了很多优秀论文,黄海广博士整理如下:
吴恩达深度学习课程,包含课程的课件、课后作业和一些其他资料:
说到深度学习的公开课,与吴恩达《DeepLearning》并驾齐驱的另一门公开课便是由Fast.ai出品的《程序员深度学习实战》。这门课最大的特点便是“自上而下”而不是“自下而上”,是绝佳的通过实战学习深度学习的课程。
B站地址(英文字幕):
CSDN地址(2017版中文字幕):
英文笔记原文:
由ApacheCN组织进行的中文翻译:
斯坦福的深度学习课程CS230在4月2日刚刚开课,对应的全套PPT也随之上线。从内容来看,今年的课程与去年的差别不大,涵盖了CNNs,RNNs,LSTM,Adam,Dropout,BatchNorm,Xavier/Heinitialization等深度学习的基本模型,涉及医疗、自动驾驶、手语识别、音乐生成和自然语言处理等领域。
Datawhale整理了该门课程的详细介绍及参考资料
本书是入门深度学习领域的极佳教材,主要介绍了神经网络与深度学习中的基础知识、主要模型(前馈网络、卷积网络、循环网络等)以及在计算机视觉、自然语言处理等领域的应用。
完成以上学习后,想要更加系统的建立深度学习的知识体系,阅读《深度学习》准没错。该书从浅入深介绍了基础数学知识、机器学习经验以及现阶段深度学习的理论和发展,它能帮助人工智能技术爱好者和从业人员在三位专家学者的思维带领下全方位了解深度学习。
《深度学习》通常又被称为花书,深度学习领域最经典的畅销书。由全球知名的三位专家IanGoodfellow、YoshuaBengio和AaronCourville撰写,是深度学习领域奠基性的经典教材。全书的内容包括3个部分:第1部分介绍基本的数学工具和机器学习的概念,它们是深度学习的预备知识;第2部分系统深入地讲解现今已成熟的深度学习方法和技术;第3部分讨论某些具有前瞻性的方向和想法,它们被公认为是深度学习未来的研究重点。该书被大众尊称为“AI圣经”。
该书由众多网友众包翻译,电子版在以下地址获得:
当你看完了所有的视频,研习了AI圣经,一定充满了满脑子问号,此时不如来深度学习面试中常见的500个问题。
DeepLearning-500-questions,作者是川大的一名优秀毕业生谈继勇。该项目以深度学习面试问答形式,收集了500个问题和答案。内容涉及了常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题,该书目前尚未完结,却已经收获了Github2.4wstars。
进行深度学习怎么离得开TensorFlow
PyTorch是进行深度学习的另一个主流框架
该课程对强化学习领域做了相当详尽的讲解,其主要内容有:马尔可夫决策过程(强化学习的基础理论)、动态规划、免模型预测(蒙特卡洛学习、时序差分学习和λ时序差分强化学习)、免模型控制(On-policyLearning和Off-policyLearning)、价值函数的近似表示、策略梯度算法、集成学习与计划、探索与利用以及实例演示。
B站地址(中文字幕):
课程原地址:
课程PPT:
课程笔记:
DavidSilver的课程虽然内容详尽,但前沿的很多内容都没有被包括在内,这时,台大李宏毅的《深度强化学习》就是学习前沿动态的不二之选。李宏毅老师讲课非常幽默风趣,并且浅显易懂,而且对于大多数初学者来说,中文教学可谓是福音。当然,这门课程也有着没有对理论知识做太多详尽地展开、内容主要围绕着深度强化学习进行等缺陷,但这并不妨碍其成为初学者们的首选之一。
该课程上线于2018年,基本涵盖了当年的前沿技术,其主要内容有:策略梯度算法(DavidSilver的课程中提到的算法大多都在这部分的内容中提到,但其主要是从神经网络的角度出发)、Q-learning(这部分涵盖了大量的Q-learning优化的讲解)、Actor-Critic、SparseReward和ImitationLearning。
Arxiv机器学习最新论文检索,主页地址:
AndrejKarpathy开发了ArxivSanityPreserver,帮助分类、搜索和过滤特征,主页地址:
这个网站叫做Browsestate-of-the-art。它将ArXiv上的最新深度学习论文与GitHub上的开源代码联系起来。该项目目前包含了651个排行榜,1016个深度学习任务,795个数据集,以及重磅的10257个含复现代码的优秀论文。简直就是一个寻找论文和代码的利器。它将1016个深度学习任务分成了16大类,涉及了深度学习的各个方面。
主页地址:
举两个例子:
这份资源收集了AI领域从2013-2018年所有的论文,并按照在GitHub上的标星数量进行排序。GitHub项目地址:
如果你是深度学习领域的新手,你可能会遇到的第一个问题是“我应该从哪篇论文开始阅读?”下面是一个深入学习论文的阅读路线图!GitHub项目地址:
这份深度学习论文阅读路线分为三大块:
1DeepLearningHistoryandBasics
2DeepLearningMethod
3Applications
GitHub项目地址:
机器人方面,有CoRL(学习)、ICAPS(规划,包括但不限于机器人)、ICRA、IROS、RSS;对于更理论性的研究,有AISTATS、COLT、KDD。
自然语言处理(NLP,NaturalLanguageProcessing)是研究计算机处理人类语言的一门技术,目的是弥补人类交流(自然语言)和计算机理解(机器语言)之间的差距。NLP包含句法语义分析、信息抽取、文本挖掘、机器翻译、信息检索、问答系统和对话系统等领域。
①CS224n斯坦福深度自然语言处理课
②自然语言处理-DanJurafsky和ChrisManning
①Python自然语言处理
中英文版
②自然语言处理综论
③统计自然语言处理基础
计算机视觉的应用
无人驾驶
无人安防
人脸识别
车辆车牌识别
以图搜图
VR/AR
3D重构
无人机
医学图像分析
其他
StanfordCS223B
比较适合基础,适合刚刚入门的同学,跟深度学习的结合相对来说会少一点,不会整门课讲深度学习,而是主要讲计算机视觉,方方面面都会讲到
李飞飞:CS231n课程
1)入门学习:《ComputerVision:Models,LearningandInference》
2)经典权威的参考资料:《ComputerVision:AlgorithmsandApplications》
3)理论实践:《OpenCV3编程入门》
推荐系统就是自动联系用户和物品的一种工具,它能够在信息过载的环境中帮助用户发现令他们感兴趣的信息,也能将信息推送给对它们感兴趣的用户。推荐系统属于资讯过滤的一种应用。
这个系列由4门子课程和1门毕业项目课程组成,包括推荐系统导论,最近邻协同过滤,推荐系统评价,矩阵分解和高级技术等。
《推荐系统实践》(项亮著)
《推荐系统》(DietmarJannach等著,蒋凡译)
《用户网络行为画像》(牛温佳等著)
《RecommenderSystemsHandbook》(PaulB·Kantor等著)
LibRec
LibRec是一个Java版本的覆盖了70余个各类型推荐算法的推荐系统开源算法库,由国内的推荐系统大牛郭贵冰创办,目前已更新到2.0版本,它有效地解决了评分预测和物品推荐两大关键的推荐问题。
LibMF
C++版本开源推荐系统,主要实现了基于矩阵分解的推荐系统。针对SGD(随即梯度下降)优化方法在并行计算中存在的lockingproblem和memorydiscontinuity问题,提出了一种矩阵分解的高效算法FPSGD(FastParallelSGD),根据计算节点的个数来划分评分矩阵block,并分配计算节点。
SurPRISE
一个Python版本的开源推荐系统,有多种经典推荐算法
NeuralCollaborativeFiltering
神经协同过滤推荐算法的Python实现
Crab
基于Python开发的开源推荐软件,其中实现有item和user的协同过滤
MovieLen
MovieLens数据集中,用户对自己看过的电影进行评分,分值为1~5。MovieLens包括两个不同大小的库,适用于不同规模的算法。小规模的库是943个独立用户对1682部电影作的10000次评分的数据;大规模的库是6040个独立用户对3900部电影作的大约100万次评分。适用于传统的推荐任务
Douban
Douban是豆瓣的匿名数据集,它包含了12万用户和5万条电影数据,是用户对电影的评分信息和用户间的社交信息,适用于社会化推荐任务。
BookCrossing
这个数据集是网上的Book-Crossing图书社区的278858个用户对271379本书进行的评分,包括显式和隐式的评分。这些用户的年龄等人口统计学属性(demographicfeature)都以匿名的形式保存并供分析。这个数据集是由Cai-NicolasZiegler使用爬虫程序在2004年从Book-Crossing图书社区上采集的。
JesterJoke
Netflix
这个数据集来自于电影租赁网址Netflix的数据库。Netflix于2005年底公布此数据集并设立百万美元的奖金(netflixprize),征集能够使其推荐系统性能上升10%的推荐算法和架构。这个数据集包含了480189个匿名用户对大约17770部电影作的大约10亿次评分。
这个数据集包括20个新闻组的用户浏览数据。最新的应用是在KDD2007上的论文。新闻组的内容和讨论的话题包括计算机技术、摩托车、篮球、政治等。用户们对这些话题进行评价和反馈。
UCI库
UCI库是Blake等人在1998年开放的一个用于机器学习和评测的数据库,其中存储大量用于模型训练的标注样本,可用于推荐系统的性能测试数据。
今日头条推荐系统机制介绍,面向内容创作者
3分钟了解今日头条推荐系统原理
facebook是如何为十亿人推荐好友的
Netflix的个性化和推荐系统架构
《信用风险评分卡研究——基于SAS的开发与实施》
(2)特征准备:原始特征、衍生变量
(3)数据清洗:根据业务需求对缺失值或异常值等进行处理
(4)特征筛选:根据特征的IV值(特征对模型的贡献度)、PSI(特征的稳定性)来进行特征筛选,IV值越大越好(但是一个特征的IV值超过一定阈值可能要考虑是否用到未来数据),PSI越小越好(一般建模时取特征的PSI小于等于0.01)
(5)对特征进行WOE转换,即对特征进行分箱操作,注意在进行WOE转换时要注重特征的可解释性
(6)建立模型,在建立模型过程中可根据模型和变量的统计量判断模型中包含和不包含每个变量时的模型质量来进行变量的二次筛选。
知识图谱是一种结构化数据的处理方法,它涉及知识的提取、表示、存储、检索等一系列技术。从渊源上讲,它是知识表示与推理、数据库、信息检索、自然语言处理等多种技术发展的融合。
构建kg首先需要解决的是数据,知识提取是要解决结构化数据生成的问题。我们可以用自然语言处理的方法,也可以利用规则。
正则表达式(RegularExpression,regex)是字符串处理的基本功。数据爬取、数据清洗、实体提取、关系提取,都离不开regex。
推荐资料入门:
推荐资料进阶:
分词也是后续所有处理的基础,词性(PartofSpeech,POS)就是中学大家学过的动词、名词、形容词等等的词的分类。一般的分词工具都会有词性标注的选项。
推荐资料:
使用序列生出模型,主要是标记出三元组中subject及object的起始位置,从而抽取信息。
使用seq2seq端到端的模型,主要借鉴文本摘要的思想,将三元组看成是非结构化文本的摘要,从而进行抽取,其中还涉及Attention机制。
知识表示(KnowledgeRepresentation,KR,也译为知识表现)是研究如何将结构化数据组织,以便于机器处理和人的理解的方法。
需要熟悉下面内容:
需要熟悉常见的图数据库
需要熟悉常见的检索技术
由知名开源平台,AI技术平台以及领域专家:ApacheCN,Datawhale,AI有道和黄海广博士联合整理贡献。
参与名单:
ApacheCN:片刻,李翔宇,飞龙,王翔
Datawhale:范晶晶,马晶敏,李碧涵,李福,光城,居居,康兵兵,郑家豪