您现在的位置是:首页 > 技术教程 正文

手把手教你如何用python进行数据分析!(附四个案例)

admin 阅读: 2024-03-19
后台-插件-广告管理-内容页头部广告(手机)

一、前期准备

三个包:Numpy、Pandas和matplotlib;工具:jupyter notebook。首先确保导入这两个包

  1. #导入Numpy包
  2. import numpy as np
  3. #导入Pandas包
  4. import pandas as pd

二、基础知识

Pandas有三种数据结构:Series、DataFrame和Panel。Series类似于一维数组;DataFrame是类似表格的二维数组;Panel可以视为Excel的多表单Sheet。

1.read_table

read_table(filepath_or_buffer, sep=False, delimiter=None, header=’infer’, names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, skipfooter=0, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression=’infer’, thousands=None, decimal=b’.’, lineterminator=None, quotechar='”‘, quoting=0, doublequote=True, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, delim_whitespace=False, low_memory=True, memory_map=False, float_precision=None)

可以用于读取csv、excel、dat文件。

2.merge

merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=(’_x’, ‘_y’), copy=True, indicator=False, validate=None)

连接两个DataFrame并返回连接之后的DataFrame。

3.iloc

iloc函数:通过行号来取行数据(如取第二行的数据

4.pivot_table

通过使用pandas.pivot_table()函数,可以实现与电子表格软件(例如Excel)的数据透视表功能相同的处理

5.groupby

和sql中的分组类似,pandas中的groupby函数也是先将df按照某个字段进行拆分,将相同属性分为一组;然后对拆分后的各组执行相应的转换操作;最后输出汇总转换后的各组结果。

三、具体案例

数据分析步骤:1.提出问题 2.理解数据 3.数据清洗 4.构建模型 5.数据可视化

3.1 MoviesLens 1M数据集

GroupLens实验室提供了一些从MoviesLens用户那里收集的20世纪90年代末到21世纪初的电影评分数据的集合。浙西额数据提供了电影的评分、流派、年份和观众数据(年龄、邮编、性别、职业)。 MovisLens1M数据集包含6000个用户对4000部电影的100万个评分。数据分布在三个表格之中:分别包含评分、用户信息和电影信息。 

下载地址为:http://files.grouplens.org/datasets/movielens/,有好几种版本,对应不同数据量。

  1. #读取users.dat文件
  2. unames = ["user_id", "gender", "age", "occupation", "zip"]
  3. users = pd.read_table("datasets/movielens/users.dat", sep="::",
  4. header=None, names=unames, engine="python")
  5. #读取ratings.dat文件
  6. rnames = ["user_id", "movie_id", "rating", "timestamp"]
  7. ratings = pd.read_table("datasets/movielens/ratings.dat", sep="::",
  8. header=None, names=rnames, engine="python")
  9. #读取movies.dat文件
  10. mnames = ["movie_id", "title", "genres"]
  11. movies = pd.read_table("datasets/movielens/movies.dat", sep="::",
  12. header=None, names=mnames, engine="python")

 首先读取users.dat、rating.dat、movies.dat三个文件,并将他们存储在不同的DataFrame中,分别命名为users、ratings、movies。

  1. users.head(5)
  2. ratings.head(5)
  3. movies.head(5)
  4. ratings

分别输出三个DataFrame的前五行,并输出ratings的全部数据。

  1. data = pd.merge(pd.merge(ratings, users), movies)
  2. data
  3. data.iloc[0]

使用merge函数将ratings,users和movies进行合并,保留了三个DataFrame中所有的数据,并将他们之间重复的数据和行进行合并。合并生成名为data的新DataFrame,并输出整个数据以及读取第一行数据。

  1. mean_ratings = data.pivot_table("rating", index="title",
  2. columns="gender", aggfunc="mean")
  3. mean_ratings.head(5)

 使用pivot_table函数实现数据透视表功能,对rating中title列求均值,columns参数就是用来显示字符型数据的,显示性别数据。求均值生成名为mean_ratings的新DataFrame,并读取输出前五行数据。

  1. ratings_by_title = data.groupby("title").size()
  2. ratings_by_title.head()
  3. active_titles = ratings_by_title.index[ratings_by_title >= 250]
  4. active_titles

使用groupby函数对data这一DataFrame按照电影名称title分组,并计算每个电影标题对应的评分数量。第二行代码显示每个电影标题对应的评分数量。第三四行代码统计对应评分数量大于250的电影标题将其定义为active_titles并输出。

  1. mean_ratings = mean_ratings.loc[active_titles]
  2. mean_ratings

读取mean_ratings中评分数量大于250的电影标题对应的数据并输出。

  1. mean_ratings = mean_ratings.rename(index={"Seven Samurai (The Magnificent Seven) (Shichinin no samurai) (1954)":
  2. "Seven Samurai (Shichinin no samurai) (1954)"})

使用rename函数将mean_ratings中Seven Samurai (The Magnificent Seven) (Shichinin no samurai) (1954)重新更改为Seven Samurai (Shichinin no samurai) (1954)。

  1. top_female_ratings = mean_ratings.sort_values("F", ascending=False)
  2. top_female_ratings.head()

根据女性的评分使用排序函数对mean_ratings进行降序排序并输出。

mean_ratings["diff"] = mean_ratings["M"] - mean_ratings["F"]

 用mean_ratings中男性评分减去女性评分计算出男女评分差异diff。

  1. sorted_by_diff = mean_ratings.sort_values("diff")
  2. sorted_by_diff.head()

根据diff列的值使用排序函数对mean_ratings进行升序排序并输出。

sorted_by_diff[::-1].head()

使用切片操作对diff进行逆序排序,并输出。

  1. rating_std_by_title = data.groupby("title")["rating"].std()
  2. rating_std_by_title = rating_std_by_title.loc[active_titles]
  3. rating_std_by_title.head()

std函数用于表示标准差。对电影标题title根据评分标准差分组。并读取活跃标题(评分数量大于250的电影标题)的标准差输出。

rating_std_by_title.sort_values(ascending=False)[:10]

 根据评分标准差进行降序排序并读取前十行,也即输出评分标准差最大的十个电影标题。

  1. movies["genres"].head()
  2. movies["genres"].head().str.split("|")
  3. movies["genre"] = movies.pop("genres").str.split("|")
  4. movies.head()

读取电影中genres列数据,并通过|分隔开。将分割后的数据命名为genre列,原数据列genres删除。

  1. movies_exploded = movies.explode("genre")
  2. movies_exploded[:10]

 使用explode函数将genre列中分割的数据展开成单独的几列数据并记为movies_exploded这个新DataFrame,输出前十行数据。

  1. ratings_with_genre = pd.merge(pd.merge(movies_exploded, ratings), users)
  2. ratings_with_genre.iloc[0]
  3. genre_ratings = (ratings_with_genre.groupby(["genre", "age"])
  4. ["rating"].mean()
  5. .unstack("age"))
  6. genre_ratings[:10]

将movies_exploded,ratings,users这三个合并起来生成一个新DataFrame,并读取第一行数据。按照genre和age进行分组,并计算每个组评分的平均值,使用unstack函数将结果重塑为以age为列索引的形式。

 3.2 美国1880-2010年的婴儿名字

美国社会保障局(SSA)提供了从1880年至现在的婴儿姓名频率的数据。可以使用这些数据做很多事情:根据给定的名字对婴儿名字随时间的比例进行可视化,确定一个名字的相对排位,确定每年最受欢迎的名字,或者流行程度最高或最低的名字

数据集下载地址:http://github.com/wesm/pydata-book

  1. names1880 = pd.read_csv("datasets/babynames/yob1880.txt",
  2. names=["name", "sex", "births"])
  3. names1880

读取名为“yob1880.txt”文件,并将其列名设为name,sex,births。

names1880.groupby("sex")["births"].sum()

按照性别分组,并计算每组生日的总和。

  1. pieces = []
  2. for year in range(1880, 2011):
  3. path = f"datasets/babynames/yob{year}.txt"
  4. frame = pd.read_csv(path, names=["name", "sex", "births"])
  5. # Add a column for the year
  6. frame["year"] = year
  7. pieces.append(frame)
  8. # Concatenate everything into a single DataFrame
  9. names = pd.concat(pieces, ignore_index=True)
  10. names

提取从数据集中读取1880-2011年间的数据并生成names这个DataFrame。

  1. total_births = names.pivot_table("births", index="year",
  2. columns="sex", aggfunc=sum)
  3. total_births.tail()
  4. total_births.plot(title="Total births by sex and year")

 使用pivot_table函数以births和sex分组的出生数总和,并显示最后几行。

绘制一个标题为Total births by sex and year的折线图。

  1. def add_prop(group):
  2. group["prop"] = group["births"] / group["births"].sum()
  3. return group
  4. names = names.groupby(["year", "sex"], group_keys=False).apply(add_prop)
  5. names

定义一个增加组的函数add_prop,表示每个名字在出生年份和性别组中的比例,每个名字的出生率。

对names按照年份和性别分组,并对每组应用add_prop函数。

names.groupby(["year", "sex"])["prop"].sum()

 通过年份和性别分组,并计算对每组中的每个名字比例的总和。

  1. def get_top1000(group):
  2. return group.sort_values("births", ascending=False)[:1000]
  3. grouped = names.groupby(["year", "sex"])
  4. top1000 = grouped.apply(get_top1000)
  5. top1000.head()

 定义一个get_top1000的函数,该函数根据births进行降序排序,并取前1000行,也即births值最大的前1000。根据年份和性别分组,并对每个分组应用get_top1000函数。

  1. top1000 = top1000.reset_index(drop=True)
  2. top1000.head()

使用reset_index()函数对top1000 DataFrame 进行重置索引,并丢弃原始索引。设置drop=True可以移除原始索引列,以便在重置索引后不保留它。

  1. boys = top1000[top1000["sex"] == "M"]
  2. girls = top1000[top1000["sex"] == "F"]
  3. total_births = top1000.pivot_table("births", index="year",
  4. columns="name",
  5. aggfunc=sum)
  6. total_births.info()
  7. subset = total_births[["John", "Harry", "Mary", "Marilyn"]]
  8. subset.plot(subplots=True, figsize=(12, 10),
  9. title="Number of births per year")

 根据性别将top1000的值分为boys和girls两个数据集。并对births进行数据透视。

使用info()方法打印出total_births的全部数据,并选择John、Harry、Mary、Marilyn四个名字绘制标题为Number of births per year的折线图。

  1. plt.figure()
  2. table = top1000.pivot_table("prop", index="year",
  3. columns="sex", aggfunc=sum)
  4. table.plot(title="Sum of table1000.prop by year and sex",
  5. yticks=np.linspace(0, 1.2, 13))

对prop进行数据透视图,绘制标题为Sum of table1000.prop by year and sex的折线图。

  1. df = boys[boys["year"] == 2010]
  2. df

得到2010年男孩出生人数表

  1. prop_cumsum = df["prop"].sort_values(ascending=False).cumsum()
  2. prop_cumsum[:10]
  3. prop_cumsum.searchsorted(0.5)

 对2010年男孩出生人数表中prop值进行降序排序并计算累计和,并提取前10行,使用 searchsorted() 方法找到累计和达到 0.5 时的索引位置。

  1. df = boys[boys.year == 1900]
  2. in1900 = df.sort_values("prop", ascending=False).prop.cumsum()
  3. in1900.searchsorted(0.5) + 1

 得到1900年男孩出生人数表, 对表中prop值进行降序排序并计算累计和, searchsorted() 方法找到累计和达到 0.5 时的后一个索引位置。

  1. def get_quantile_count(group, q=0.5):
  2. group = group.sort_values("prop", ascending=False)
  3. return group.prop.cumsum().searchsorted(q) + 1
  4. diversity = top1000.groupby(["year", "sex"]).apply(get_quantile_count)
  5. diversity = diversity.unstack()
  6. fig = plt.figure()
  7. diversity.head()
  8. diversity.plot(title="Number of popular names in top 50%")

 定义一个get_quantile_count函数,对prop值进行降序排序并计算累计和, searchsorted() 方法找到累计和达到 0.5 时的后一个索引位置。

根据年份和性别分组,并对每组应用get_quantile_count函数,得到diversity这个新DataFrame,并绘制标题为Number of popular names in top 50%的折线图。

  1. def get_last_letter(x):
  2. return x[-1]
  3. last_letters = names["name"].map(get_last_letter)
  4. last_letters.name = "last_letter"
  5. table = names.pivot_table("births", index=last_letters,
  6. columns=["sex", "year"], aggfunc=sum)
  7. subtable = table.reindex(columns=[1910, 1960, 2010], level="year")
  8. subtable.head()

 定义一个返回字符串最后一个字母的函数。

使用map函数对names中每一个名字提取最后一个字母。进行数据透视。

展示1910,1960,2010年的数据。

  1. subtable.sum()
  2. letter_prop = subtable / subtable.sum()
  3. letter_prop

 展示每个年份和性别组合中每个名字的总和,以及占比

  1. import matplotlib.pyplot as plt
  2. fig, axes = plt.subplots(2, 1, figsize=(10, 8))
  3. letter_prop["M"].plot(kind="bar", rot=0, ax=axes[0], title="Male")
  4. letter_prop["F"].plot(kind="bar", rot=0, ax=axes[1], title="Female",
  5. legend=False)

 导入matplotlib包分别以男生和女生绘制两幅柱状图。

  1. letter_prop = table / table.sum()
  2. dny_ts = letter_prop.loc[["d", "n", "y"], "M"].T
  3. dny_ts.head()

 统计最后男生中名字最后一个字母为d、n、y的比例。

 并绘制折线图。

  1. all_names = pd.Series(top1000["name"].unique())
  2. lesley_like = all_names[all_names.str.contains("Lesl")]
  3. lesley_like

从top1000 DataFrame的"name"列获取唯一的姓名,并将结果存储在all_names变量中。选择all_names中包含"Lesl"的姓名,并将结果赋值给lesley_like变量。显示lesley_like Series,即包含以"Lesl"开头的姓名。

  1. filtered = top1000[top1000["name"].isin(lesley_like)]
  2. filtered.groupby("name")["births"].sum()

根据top1000 DataFrame中的"name"列与lesley_like中的姓名进行匹配,筛选出匹配的行数据,并将结果赋值给filtered变量。 对filtered DataFrame按姓名进行分组,计算每个姓名的出生人数总和,并显示结果。

  1. table = filtered.pivot_table("births", index="year",
  2. columns="sex", aggfunc="sum")
  3. table = table.div(table.sum(axis="columns"), axis="index")
  4. table.tail()

根据年份和性别对filtered进行透视,计算每个年份和性别的出生人数总和,并将结果存储在table变量中。对table进行归一化,即每行的总和作为除数,计算每个年份和性别的归一化比例。table归一化后最后几行的结果。

  1. fig = plt.figure()
  2. table.plot(style={"M": "k-", "F": "k--"})

 绘制折线图,其中男生用实线,女生用虚线。

3.3 美国农业部食品数据库

美国农业部提供了食物营养信息数据库。每种事务都有一些识别属性以及两份营养元素和营养比例的列表。这种形式的数据不适合分析,所以需要做一些工作将数据转换成更好的形式。

下载地址:http://www.nal.usda.gov/fnic/foodcomp/search/

  1. import json
  2. db = json.load(open("datasets/usda_food/database.json"))
  3. len(db)

计算列表中元素的个数

  1. db[0].keys()
  2. db[0]["nutrients"][0]
  3. nutrients = pd.DataFrame(db[0]["nutrients"])
  4. nutrients.head(7)

获得db列表中索引为0的所有关键值。 从db列表中索引为0的元素中获取键为"nutrients"的值的列表,并返回列表中的第一个元素。将db列表中索引为0的元素中的"nutrients"值转换为Pandas DataFrame对象。 显示nutrients DataFrame的前7行数据。

  1. info_keys = ["description", "group", "id", "manufacturer"]
  2. info = pd.DataFrame(db, columns=info_keys)
  3. info.head()
  4. info.info()

包含要从数据库中提取的信息的键的列表。使用info_keys作为列名,创建包含db数据的Pandas DataFrame对象,并将其存储在info变量中。 显示info DataFrame的前几行数据。显示info DataFrame的基本信息。

pd.value_counts(info["group"])[:10]

从DataFrame info 中选择了名为 "group" 的列,该列包含了食物的分组信息。对选定列中的每个唯一值进行计数,并返回计数结果。取计数结果中的前 10 个值,即返回出现次数最多的前 10 个分组。

  1. nutrients = []
  2. for rec in db:
  3. fnuts = pd.DataFrame(rec["nutrients"])
  4. fnuts["id"] = rec["id"]
  5. nutrients.append(fnuts)
  6. nutrients = pd.concat(nutrients, ignore_index=True)
  7. nutrients

 创建一个空列表。定义一个函数为每个记录创建一个包含营养信息的DataFrame对象,添加一个名为"id"的列,将记录的id值赋给该列的每个元素,并将每个记录的营养信息DataFrame添加到nutrients列表中, 将nutrients列表中的DataFrame对象合并为一个大的DataFrame,并重新索引行号。

  1. nutrients.duplicated().sum() # number of duplicates
  2. nutrients = nutrients.drop_duplicates()

计算duplicates的总值,并将其赋值给nutrients。

  1. col_mapping = {"description" : "food",
  2. "group" : "fgroup"}
  3. info = info.rename(columns=col_mapping, copy=False)
  4. info.info()
  5. col_mapping = {"description" : "nutrient",
  6. "group" : "nutgroup"}
  7. nutrients = nutrients.rename(columns=col_mapping, copy=False)
  8. nutrients

定义一个字典,里面有两个键值对。将其重命名为info,并输出。定义另一个字典,将其重命名为nutrients并输出。

  1. ndata = pd.merge(nutrients, info, on="id")
  2. ndata.info()
  3. ndata.iloc[30000]

 合并nutrients和info,并读取第30000行数据

  1. fig = plt.figure()
  2. result = ndata.groupby(["nutrient", "fgroup"])["value"].quantile(0.5)
  3. result["Zinc, Zn"].sort_values().plot(kind="barh")

以nutrient和fgroup分组,并排序绘制柱状图。

  1. by_nutrient = ndata.groupby(["nutgroup", "nutrient"])
  2. def get_maximum(x):
  3. return x.loc[x.value.idxmax()]
  4. max_foods = by_nutrient.apply(get_maximum)[["value", "food"]]
  5. # make the food a little smaller
  6. max_foods["food"] = max_foods["food"].str[:50]
  7. max_foods.loc["Amino Acids"]["food"]

 根据nutgroup和nutrient分组,并定义一个求最大值得函数,对value和food求最大值,对最大food读取前50行,读取Amino Acids行数据。

标签:
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

在线投稿:投稿 站长QQ:1888636

后台-插件-广告管理-内容页尾部广告(手机)
关注我们

扫一扫关注我们,了解最新精彩内容

搜索