基于Spark的音乐专辑数据分析展示

本实验采用Python语言,使用大数据处理框架Spark对音乐专辑数据进行处理分析,并对分析结果进行可视化。

安装完上述环境以后,为了支持Python可视化分析,还需要执行如下命令安装Flask组件:

在Kaggle数据平台上下载了数据集albums.csv。其中包含了10万条音乐专辑的数据。主要字段说明如下:1)album_title:音乐专辑名称2)genre:专辑类型3)year_of_pub:专辑发行年份4)num_of_tracks:每张专辑中单曲数量5)num_of_sales:专辑销量6)rolling_stone_critic:滚石网站的评分7)mtv_critic:全球最大音乐电视网MTV的评分8)music_maniac_critic:音乐达人的评分

A.启动Hadoop中的HDFS组件,在命令行运行下面命令:

hdfsdfs-mkdir-p/user/hadoopC.把本地文件系统中的数据集albums.csv上传到分布式文件系统HDFS中:

hdfsdfs-putalbums.csv三、pyspark的简单分析1.建立工程文件A.创建文件夹code。B.在code下创建main.py文件。C.在code下创建static文件夹,存放静态文件。D.在code/static文件夹下面创建data目录,存放分析生成的json数据。

本文对音乐专辑数据集albums.csv进行了一系列的分析,包括:1)统计各类型专辑的数量;2)统计各类型专辑的销量总数;3)统计近20年每年发行的专辑数量和单曲数量;4)分析总销量前五的专辑类型的各年份销量;5)分析总销量前五的专辑类型,在不同评分体系中的平均评分。

在main.py中复制以下代码:

/usr/local/hadoop/sbin/start-dfs.shD.在命令行运行:

spark-submitmain.py四、可视化实现本实验的可视化基于Echarts实现,实现的可视化页面部署在基于flask框架的web服务器上。

1)在code目录下新建SparkFlask.py文件,存放Flask应用。2)在code目录下新建一个名为templates的文件夹,存放html文件。3)在code/static目录下新建一个名为js的文件夹,存放js文件。最后的代码结构如下图所示:

在SparkFlask.py文件中复制以下代码:

fromflaskimportrender_templatefromflaskimportFlask#fromlivereloadimportServerapp=Flask(__name__)@app.route('/')defindex():#使用render_template()方法来渲染模板returnrender_template('index.html')@app.route('/')defreq_file(filename):returnrender_template(filename)if__name__=='__main__':app.DEBUG=True#代码调试立即生效app.jinja_env.auto_reload=True#模板调试立即生效app.run()#用run()函数来让应用运行在本地服务器上代码中已有详细注释,在此不多加解释。

(1)在code/templates目录下新建index.html文件。复制以下代码:

(3)在code/templates目录下新建genre-sales.html文件。复制以下代码:

(4)在code/templates目录下新建year-tracks-and-sales.html文件。复制以下代码:

(5)在code/templates目录下新建genre-year-sales.html文件。复制以下代码:

(6)在code/templates目录下新建genre-critic.html文件。复制以下代码:

THE END
1.超级简单的七行代码,实现python海龟画图,普通人分分钟学会程序员...顶部 首页首页 超级简单的七行代码,实现python海龟画图,普通人分分钟学会程序员 编程 涨知识 python 2024-11-27 00:00 · 0次播放 发布于:江西省 拳击那点事 +订阅 +1 评论 全部 还没有人评论过,快来抢首评 写评论相关推荐 查看更多精彩内容 https://m.sohu.com/a/830709525_100114195
2.python中的一些画图操作阿苏勒的吕归尘turtle 首先要了解python中的一个与画图有关的库(不用下载),就是turtle,也可以叫它海龟。 我们使用时需要先导入。 列如:import turtle 就可以使用了。 一些简单的操作 使用软件 我个人比较喜欢用python文件夹下的IDLE来画图。就长这样: 然后我们先建立一个文件 点https://www.cnblogs.com/iampigeon/p/16909767.html
1.Python语言画图教程(通俗版)python画图基础教程本文是一篇适合初学者的Python画图教程,通过IDLE编辑器使用turtle模块进行简单图形绘制,包括前进、转向、抬笔、落笔等基本操作。文章末尾提出了在IDLE中运行代码遇到的问题与CMD的区别。 摘要由CSDN通过智能技术生成 1.我们先打开IDLE,也就是python自带的编译器。 https://blog.csdn.net/huzewen2010122/article/details/128490343
2.python海龟画图简单使用码农集市专业分享IT编程学习资源python海龟画图 简单使用 爱屋**及乌上传537B文件格式pypython python海龟画图 (0)踩踩(0) 所需:1积分 .archivetempPCB图.png 2024-11-28 21:53:08 积分:1 .archivetemp360解压提醒.jpg 2024-11-28 21:33:52 积分:1 Java的Collection VS Collections - 揭秘数据操控的奥秘...https://www.coder100.com/index/index/content/id/4093993
3.python简单画图python画图100例python 简单画图 python画图100例 一、使用turtle库,绘制一个如下图所示正方形。 import turtle turtle.pendown() turtle.pensize(5) for i in range(4): turtle.seth(90*i) turtle.forward(200) 1. 2. 3. 4. 5. 6. 二、使用turtle库,绘制一个如下图所示六边形。https://blog.51cto.com/u_16099246/6576866
4.Python超简单容易上手的画图工具库推荐很多小伙伴应该接触过一些很好用的python画图工具库,今天小编介绍的这个画图工具库不仅好用,而且容易上手,是新手学习数据分析的好帮手,它就是百度开源的pyecahrts库。 pyecharts是一款很棒的python画图工具库。很简单的api调用就能生成漂亮的图表。并且可以进行一些互动。 https://m.w3cschool.cn/article/88413480.html
5.Python常用画图代码(折线图柱状图饼图)?简单记录一下最简单常用的三种论文插图的python画图代码,以作备忘。 ? 有很多很牛b的作图教程,我也学不来,就扔给大家自己学吧: 如何在论文中画出漂亮的插图?[1] 折线图 代码 代码语言:javascript 复制 importnumpyasnpimportmatplotlib.pyplotasplt ...https://cloud.tencent.com/developer/article/1780434
6.PYTHON画图神器MatplotlibPYTHON 画图神器 Matplotlib Matplotlib 是 Python 的一个绘图库。它包含了大量的工具,你可以使用这些工具创建各种图形,包括简单的散点图,正弦曲线,甚至是三维图形。 # 导入相关模块importmatplotlib.pyplotaspltimportnumpyasnp 画一个简单的图形 这里我们通过画出一个正弦曲线图来讲解下基本用法。https://www.jianshu.com/p/c41ac57cea33
7.Python利用Turtle绘画简单图形python首先,使用Python内置的Turtle绘图库需要在程序前添加以下代码: import turtle 也可以写成这样: from turtle import * 我们来讲一讲它们的区别: 使用import时,需要定义一个变量作为参数控制项,如: import turtle t=turtle.Pen() # 画图 t.forward(10) # 向右画10像素,详见下表 ...https://m.jb51.net/article/255723.htm