基于Spark的音乐专辑数据分析展示

本实验采用Python语言,使用大数据处理框架Spark对音乐专辑数据进行处理分析,并对分析结果进行可视化。

安装完上述环境以后,为了支持Python可视化分析,还需要执行如下命令安装Flask组件:

在Kaggle数据平台上下载了数据集albums.csv。其中包含了10万条音乐专辑的数据。主要字段说明如下:1)album_title:音乐专辑名称2)genre:专辑类型3)year_of_pub:专辑发行年份4)num_of_tracks:每张专辑中单曲数量5)num_of_sales:专辑销量6)rolling_stone_critic:滚石网站的评分7)mtv_critic:全球最大音乐电视网MTV的评分8)music_maniac_critic:音乐达人的评分

A.启动Hadoop中的HDFS组件,在命令行运行下面命令:

hdfsdfs-mkdir-p/user/hadoopC.把本地文件系统中的数据集albums.csv上传到分布式文件系统HDFS中:

hdfsdfs-putalbums.csv三、pyspark的简单分析1.建立工程文件A.创建文件夹code。B.在code下创建main.py文件。C.在code下创建static文件夹,存放静态文件。D.在code/static文件夹下面创建data目录,存放分析生成的json数据。

本文对音乐专辑数据集albums.csv进行了一系列的分析,包括:1)统计各类型专辑的数量;2)统计各类型专辑的销量总数;3)统计近20年每年发行的专辑数量和单曲数量;4)分析总销量前五的专辑类型的各年份销量;5)分析总销量前五的专辑类型,在不同评分体系中的平均评分。

在main.py中复制以下代码:

/usr/local/hadoop/sbin/start-dfs.shD.在命令行运行:

spark-submitmain.py四、可视化实现本实验的可视化基于Echarts实现,实现的可视化页面部署在基于flask框架的web服务器上。

1)在code目录下新建SparkFlask.py文件,存放Flask应用。2)在code目录下新建一个名为templates的文件夹,存放html文件。3)在code/static目录下新建一个名为js的文件夹,存放js文件。最后的代码结构如下图所示:

在SparkFlask.py文件中复制以下代码:

fromflaskimportrender_templatefromflaskimportFlask#fromlivereloadimportServerapp=Flask(__name__)@app.route('/')defindex():#使用render_template()方法来渲染模板returnrender_template('index.html')@app.route('/')defreq_file(filename):returnrender_template(filename)if__name__=='__main__':app.DEBUG=True#代码调试立即生效app.jinja_env.auto_reload=True#模板调试立即生效app.run()#用run()函数来让应用运行在本地服务器上代码中已有详细注释,在此不多加解释。

(1)在code/templates目录下新建index.html文件。复制以下代码:

(3)在code/templates目录下新建genre-sales.html文件。复制以下代码:

(4)在code/templates目录下新建year-tracks-and-sales.html文件。复制以下代码:

(5)在code/templates目录下新建genre-year-sales.html文件。复制以下代码:

(6)在code/templates目录下新建genre-critic.html文件。复制以下代码:

THE END
1.超级简单的七行代码,实现python海龟画图,普通人分分钟学会程序员...顶部 首页首页 超级简单的七行代码,实现python海龟画图,普通人分分钟学会程序员 编程 涨知识 python 2024-11-27 00:00 · 0次播放 发布于:江西省 拳击那点事 +订阅 +1 评论 全部 还没有人评论过,快来抢首评 写评论相关推荐 查看更多精彩内容 https://m.sohu.com/a/830709525_100114195
2.Python练习实例56菜鸟教程Python 100例 题目:画图,学用circle画圆形。 程序分析:无。 程序源代码: 实例(Python 2.0+) #!/usr/bin/python# -*- coding: UTF-8 -*-if__name__=='__main__':fromTkinterimport*canvas=Canvas(width=800,height=600,bg='yellow')canvas.pack(expand=YES,fill=BOTH)k=1j=1foriinrange(0,26):...https://www.runoob.com/python/python-exercise-example56.html
1.Python简单绘图一python画图Python简单绘图一 其实一直都想学习一下Python,但是程序员都知道,只有当你真正用到一门语言的时候,学起来效率最高,所以我现在要用了 本来这个画图的工作,同事已经用MATLAB完成了,但是我自己一直觉得MATLAB不感冒,所以尝试用Python来做。 例子:http://matplotlib.org/examples/index.html...https://blog.csdn.net/lucky_greenegg/article/details/77109484
2.python画图plot大小[python]pandasplot()画图命令总结python画图plot大小 [python] pandas plot( )画图命令总结 介绍 本文不是一篇详尽的、从简到繁的 Maplotlib 画图教程,而是用各种例子快速直观地让读者上手 Matplotlib 画图中的一些常用的、基础的操作。本文不对各种数据图(折线图、柱状图等)作介绍。文中配有效果示意图及代码。本文亦可作常用画图函数/参数查询之...https://blog.51cto.com/u_16099267/11242990
3.Python常用画图代码(折线图柱状图饼图)?简单记录一下最简单常用的三种论文插图的python画图代码,以作备忘。 ? 有很多很牛b的作图教程,我也学不来,就扔给大家自己学吧: 如何在论文中画出漂亮的插图?[1] 折线图 代码 代码语言:javascript 复制 importnumpyasnpimportmatplotlib.pyplotasplt ...https://cloud.tencent.com/developer/article/1780434
4.Python利用Turtle绘画简单图形python首先,使用Python内置的Turtle绘图库需要在程序前添加以下代码: import turtle 也可以写成这样: from turtle import * 我们来讲一讲它们的区别: 使用import时,需要定义一个变量作为参数控制项,如: import turtle t=turtle.Pen() # 画图 t.forward(10) # 向右画10像素,详见下表 ...https://m.jb51.net/article/255723.htm
5.Python绘图,我只用Matplotlib(二)matplotlib 画图设置的刻度是由曲线以及窗口的像素点等因素决定。这些刻度精确度无法满足需求,我们需要手动添加刻度。上图中,纵轴只显示 2 的倍数的刻度,横轴只显示 1 的倍数的刻度。我们为其添加精准刻度,纵轴变成单位间隔为 1 的刻度,横轴变成单位间隔为 0.5 的刻度。 https://www.jianshu.com/p/78ba36dddad8
6.turtle使用海龟绘图可以编写重复执行简单动作的程序画出精细复杂的形状。 在Python 中,海龟绘图提供了一个实体“海龟”形象(带有画笔的小机器动物),假定它在地板上平铺的纸张上画线。 对于学习者来说这是一种接触编程概念和与软件交互的高效且久经验证的方式,因为它能提供即时、可见的反馈。 它还能提供方便直观的图形输出...https://docs.python.org/zh-cn/3/library/turtle.html