丰富的线上&线下活动,深入探索云世界
做任务,得社区积分和周边
最真实的开发者用云体验
让每位学生受益于普惠算力
让创作激发创新
资深技术专家手把手带教
遇见技术追梦人
技术交流,直击现场
海量开发者使用工具、手册,免费下载
极速、全面、稳定、安全的开源镜像
开发手册、白皮书、案例集等实战精华
为开发者定制的Chrome浏览器插件
机器学习数据集
机器学习中重要的一步是创建或寻找合适的数据来训练和检验算法。使用好的数据集可以帮助你规避或发现算法中的错误,改善程序的结果。在多数情况下,创建自己的数据集是一件费时的事。本文会向介绍一些有用的数据集,用于文本分类和图像分类问题。
文本分类
本节将介绍一些用于普通文本分类任务的数据集,如垃圾信息检测、情感分析和文档主题分类。
垃圾信息–非垃圾信息
垃圾信息过滤任务在文本分类中很常见,因此,用于这类任务的数据集很多。
SMS垃圾短信语料库
SMS垃圾短信语料库由两类文本信息组成,每个短信都被标记为垃圾信息或正常信息。这个数据集有大(1002条正常信息,322条垃圾信息)、小(1002条正常信息,82条垃圾信息)两种版本可下载。
Enron数据集
如果想研究垃圾电子邮件过滤,你可能会对Enron数据集感兴趣,该数据集收集了成千上万的邮件,都被分为垃圾邮件和正常邮件。有未处理和经过预处理的版本可供下载。
其它你可能会感兴趣的垃圾邮件分类的数据集有:SpamAssassin公共邮件语料库、TREC公共垃圾邮件语料库、Spambase数据集。
情感分析
可通过机器学习解决的另一个任务是文本情感分析,其中一个例子就是判断文本对某个主题陈述的是支持意见还是反对意见。
Twitter情感分析训练语料库
如果你对推文(tweet)的情感分类感兴趣,Twitter情感分析训练语料库可能是你需要的。它由超过100万条tweets组成,存于一个.csv文件中,每条语料都被标记为支持(1)或反对(0)。
影评数据集
影评数据集包含更复杂的文本,收集了1,000条正面影评和1,000条负面影评,未处理的.html文件形式和已处理的文本形式皆可获得。这个数据集的一部分作为语句集,还被标记了主观或客观的标签。
更多关于情感分类的更好用的数据集被整理形成一个列表,放在KavitaGanesan的博客中。
主题分类
20Newsgroups
路透社-21578
一个经常使用的用于评估文本分类算法的数据集是路透社-21578,它由出现在1987年路透社新闻专线中的文本组成,由路透社公司员工整理。通常只是使用这个数据集的一些子集,作为类别不均匀分布的文档使用。通常情况下,使用最频繁的文档只占了10或90个类别。
图像分类
这一节将介绍一些在用机器学习解决图像分类问题时有用的数据集,列出的数据集从简单的手写数字,到复杂物体的图像,会对学习图像分类和测试算法很有帮助。
数字和字母
MNIST
MNIST数据集是学习图像分类经常使用的数据集,包含上千张从0到9的手写数字的小二进制图像,划分为训练集和测试集。可以从YannLeCun的网站下载IDX文件格式,如果你想使用png格式的图像做数据,可以从这找到转化的版本。
MNIST数据集摘录
Chars74K
另一个可通过机器学习解决的任务是字符识别,基于这个目的,可以用Chars74K数据集可用来训练和测试。它拥有超过74,000张字母和数字图像,被分成64个不同的种类。字母都是手写体,通过自然图片和电脑字体获得。由于种类更多,并且数据是彩色图像,这个数据集比MNIST集复杂得多。
人脸
正面人脸图像
正面人脸图像数据集是为评估图像中正面人脸识别程序而建立的,包含人的图像以及通过x、y坐标给出的人脸在图片中的位置信息。这里可以下载该数据集。
正面人脸图像数据集摘录
复杂场景中标记人脸
面部检测中经常使用的数据集是复杂场景中标记人脸数据集,拥有从网络中收集的超过13,000张图片。很多人不止一次出现在数据集中的图片中,对面部识别评估很有用。
复杂场景中标记人脸数据集摘录
动物
Oxford-IIIT宠物数据集
如果你在找大规模的猫狗数据集,你可以看看牛津-IIIT宠物数据集,有37个包含不同种类猫狗的类别,每个类别有200张图片。与很多其它数据集不同,它的图片的大小不一,更酷的是这个数据集不仅提供图像,还有动物的面部位置信息,以及图像的前景、背景信息(见下图)。
KTH-ANIMALS
如果你需要更普遍的动物数据集,KTH-ANIMALS值得一看。它可以从这下载,提供了19种不同类别的图像。每一类有大约100张不同大小的图片,和牛津-IIIT宠物数据集一样,也提供了前景、背景信息。
各种物体
CIFAR-10andCIFAR-100
对于更高级的图像分类应用,你可能对CIFAR数据集感兴趣。这些数据集包含大小为32×32像素的彩色图像,可以从AlexKrizhevsky的网站下载。
CIFAR-10数据集由60,000张图片组成,平均分布于10个种类。如果你需要拥有更多种类的更复杂的数据集,你可以使用CIFAR-100数据集,它提供了100个类,20个超类的图片。
这两个CIFAR数据集都有python、matlab或二进制版本提供下载。如果你更喜欢用png图像作为数据,可以使用这个工具进行转换。
STL-10
CIFAR数据集提供的图片很小,因此如果你想使用更高分辨率的图片,STL-10数据集可能更吸引你。这个数据集包含10个类的标记图片,与CIFAR-10数据集相似,但是图像大小有96×96像素。每个类含有较少的标记样例,但却有很大的未标记图像集,可以用作非监督训练。