基于Spark的音乐专辑数据分析展示

本实验采用Python语言,使用大数据处理框架Spark对音乐专辑数据进行处理分析,并对分析结果进行可视化。

安装完上述环境以后,为了支持Python可视化分析,还需要执行如下命令安装Flask组件:

在Kaggle数据平台上下载了数据集albums.csv。其中包含了10万条音乐专辑的数据。主要字段说明如下:1)album_title:音乐专辑名称2)genre:专辑类型3)year_of_pub:专辑发行年份4)num_of_tracks:每张专辑中单曲数量5)num_of_sales:专辑销量6)rolling_stone_critic:滚石网站的评分7)mtv_critic:全球最大音乐电视网MTV的评分8)music_maniac_critic:音乐达人的评分

A.启动Hadoop中的HDFS组件,在命令行运行下面命令:

hdfsdfs-mkdir-p/user/hadoopC.把本地文件系统中的数据集albums.csv上传到分布式文件系统HDFS中:

hdfsdfs-putalbums.csv三、pyspark的简单分析1.建立工程文件A.创建文件夹code。B.在code下创建main.py文件。C.在code下创建static文件夹,存放静态文件。D.在code/static文件夹下面创建data目录,存放分析生成的json数据。

本文对音乐专辑数据集albums.csv进行了一系列的分析,包括:1)统计各类型专辑的数量;2)统计各类型专辑的销量总数;3)统计近20年每年发行的专辑数量和单曲数量;4)分析总销量前五的专辑类型的各年份销量;5)分析总销量前五的专辑类型,在不同评分体系中的平均评分。

在main.py中复制以下代码:

/usr/local/hadoop/sbin/start-dfs.shD.在命令行运行:

spark-submitmain.py四、可视化实现本实验的可视化基于Echarts实现,实现的可视化页面部署在基于flask框架的web服务器上。

1)在code目录下新建SparkFlask.py文件,存放Flask应用。2)在code目录下新建一个名为templates的文件夹,存放html文件。3)在code/static目录下新建一个名为js的文件夹,存放js文件。最后的代码结构如下图所示:

在SparkFlask.py文件中复制以下代码:

fromflaskimportrender_templatefromflaskimportFlask#fromlivereloadimportServerapp=Flask(__name__)@app.route('/')defindex():#使用render_template()方法来渲染模板returnrender_template('index.html')@app.route('/')defreq_file(filename):returnrender_template(filename)if__name__=='__main__':app.DEBUG=True#代码调试立即生效app.jinja_env.auto_reload=True#模板调试立即生效app.run()#用run()函数来让应用运行在本地服务器上代码中已有详细注释,在此不多加解释。

(1)在code/templates目录下新建index.html文件。复制以下代码:

(3)在code/templates目录下新建genre-sales.html文件。复制以下代码:

(4)在code/templates目录下新建year-tracks-and-sales.html文件。复制以下代码:

(5)在code/templates目录下新建genre-year-sales.html文件。复制以下代码:

(6)在code/templates目录下新建genre-critic.html文件。复制以下代码:

THE END
1.超级简单的七行代码,实现python海龟画图,普通人分分钟学会程序员...94%韩国人拒食中国白菜,只因嫌脏?别忘了泡菜都是从中国出... 02:51 俄引爆洲际导弹,核战危机笼罩全球,普通人该如何逃生自救? 00:47 海龟是两栖动物吗 00:46 暹罗猫冷知识,保证让你大开眼界! 01:26 用0.03秒避开闪电攻击,他是死神都无法选中的男人 01:07 男子设计厨房设计画图,这制图技术真是非常...https://www.sohu.com/a/830709525_100114195
2.Python练习实例56菜鸟教程Python 100例 题目:画图,学用circle画圆形。 程序分析:无。 程序源代码: 实例(Python 2.0+) #!/usr/bin/python# -*- coding: UTF-8 -*-if__name__=='__main__':fromTkinterimport*canvas=Canvas(width=800,height=600,bg='yellow')canvas.pack(expand=YES,fill=BOTH)k=1j=1foriinrange(0,26):...https://www.runoob.com/python/python-exercise-example56.html
1.Python语言画图教程(通俗版)python画图基础教程本文是一篇适合初学者的Python画图教程,通过IDLE编辑器使用turtle模块进行简单图形绘制,包括前进、转向、抬笔、落笔等基本操作。文章末尾提出了在IDLE中运行代码遇到的问题与CMD的区别。 摘要由CSDN通过智能技术生成 1.我们先打开IDLE,也就是python自带的编译器。 https://blog.csdn.net/huzewen2010122/article/details/128490343
2.使用Python编写简单的画图板程序的示例教程python这篇文章主要介绍了使用Python编写简单的画图板软件的示例教程,利用到了经常被用来做游戏的pygame模块,需要的朋友可以参考下 从这次开始,我会由简单到困难(其实也不会困难到哪里去)讲几个例程,每一个例程都是我自己写(或者修改,那样的话我会提供原始出处)的,都具有一定的操作性和娱乐性。例程中汇尽量覆盖到以前所...https://www.jb51.net/article/76067.htm
3.python海龟画图简单使用码农集市专业分享IT编程学习资源python海龟画图 简单使用 爱屋**及乌上传537B文件格式pypython python海龟画图 (0)踩踩(0) 所需:1积分 .archivetempPCB图.png 2024-11-28 21:53:08 积分:1 .archivetemp360解压提醒.jpg 2024-11-28 21:33:52 积分:1 Java的Collection VS Collections - 揭秘数据操控的奥秘...https://www.coder100.com/index/index/content/id/4093993
4.pythonplot画图标题加粗mob64ca12e95b2b的技术博客Python Plot画图标题加粗教程 作为一名经验丰富的开发者,我很高兴能够帮助刚入行的小白们解决Python画图中的常见问题。今天,我们将一起学习如何在Python中使用matplotlib库来实现画图时标题加粗的效果。 流程概览 首先,让我们通过一个简单的表格来了解整个流程: ...https://blog.51cto.com/u_16213402/11526052
5.Python图像处理教程(Pillow)11画图与添加文字绘制简单文本有两个阶段。 选择一种字体。 使用该字体绘制一个文本字符串。 字体是一种特殊的字体。它定义了字母、数字、标点符号和其他符号的形状,具有特定的风格。 下面是我们如何加载一种叫做Arial的字体。 font = ImageFont.truetype('alar.ttf', 100) ...https://www.jianshu.com/p/44470d58729e
6.turtle在本教程中我们将探索海龟绘图的一些基本知识。 启动海龟环境 在Python shell 中,导入 turtle 模块的所有对象: from turtle import * 如果你遇到了 No module named '_tkinter' 错误,则需要在你的系统中安装 Tk 接口包。 基本绘图 让海龟前进 100 步: forward(100) 你应该会看到(最可能的情况,是在你的...https://docs.python.org/zh-cn/3/library/turtle.html
7.Python常用画图代码(折线图柱状图饼图)?简单记录一下最简单常用的三种论文插图的python画图代码,以作备忘。 ? 有很多很牛b的作图教程,我也学不来,就扔给大家自己学吧: 如何在论文中画出漂亮的插图?[1] 折线图 代码 代码语言:javascript 复制 importnumpyasnpimportmatplotlib.pyplotasplt ...https://cloud.tencent.com/developer/article/1780434
8.python怎么画六边形?如何用Python画一个六边形?如果准备两只turtle,一个逆时针转,一个顺时针转,就可以画出两个六边形。https://www.yutu.cn/question/tiwen_94934.html
9.Python中使用pyecharts绘制可视化大屏图形物联沃pyecharts是一个基于Python语言的数据可视化库,可以用来创建各种类型的图形,如折线图、柱状图、散点图、饼图、地图等。它基于Echarts库,通过Python语言提供了更简单、更便捷的方式来创建图形,无需编写复杂的JavaScript代码。使用pyecharts,用户可以通过简单的Python代码来定义图形的数据、样式、布局等,然后生成HTML文件,...https://www.iotword.com/20414.html