Python利用线性回归、随机森林等对红酒数据进行分析与可视化实战（附源码和数据集 超详细）

需要源码和数据集请点赞关注收藏后评论区留言私信~~~

下面对天池项目中的红酒数据集进行分析与挖掘

实现步骤

1：导入模块

2：颜色和打印精度设置

3：获取数据并显示数据维度

字段中英文对照表如下

 

然后利用describe函数显示数值属性的统计描述值

 显示quality取值的相关信息

显示各个变量的直方图如下

 显示各个变量的盒图

酸性相关的特征分析 该数据集与酸度相关的特征有’fixed acidity’, ‘volatile acidity’, ‘citric acid’,‘chlorides’, ‘free sulfur dioxide’, ‘total sulfur dioxide’,‘PH’。其中前6中酸度特征都会对PH产生影响。PH在对数尺度，然后对6中酸度取对数做直方图

pH值主要是与fixed acidity有关，fixed acidity比volatile acidity和citric acid高1到2个数量级(Figure 4)，比free sulfur dioxide, total sulfur dioxide, sulphates高3个数量级。 一个新特征total acid来自于前三个特征的和

 甜度（sweetness） residual sugar主要与酒的甜度有关，干红（<= 4g/L），半干（4-12g/L），半甜（12-45g/L），甜（>= 45g/L），该数据集中没有甜葡萄酒

绘制甜度的直方图如下

 绘制不同品质红酒的各个属性的盒图

 

从上图可以看出：

红酒品质与柠檬酸，硫酸盐，酒精度成正相关 红酒品质与易挥发性酸，密度，PH成负相关 残留糖分，氯离子，二氧化硫对红酒品质没有什么影响

下面分析密度和酒精浓度的关系

密度和酒精浓度是相关的，物理上，但两者并不是线性关系。另外密度还与酒精中的其中物质含量有关，但是相关性很小

 

 酸性物质含量和PH 因为PH和非挥发性酸之间存在着-0.68的相关性，因为非挥发性酸的总量特别高，所以total acid这个指标意义不大

多变量分析 与红酒品质相关性最高的三个特征分别是酒精浓度，挥发性酸含量，柠檬酸。下面研究三个特征对红酒的品质有何影响

 

 

PH和非挥发性酸，柠檬酸成负相关

 

总结 对于红酒品质影响最重要的三个特征：酒精度、挥发性酸含量和柠檬酸。对于品质高于7的优质红酒和品质低于4的劣质红酒，直观上线性可分，对于品质为5和6的红酒很难进行线性区分

 随机森林、线性回归等算法部分

对数据类型编码，将数据集划分为训练集和测试集等等

对比原始数据与做了标准化处理的数据，其结果相差不大，所以该数据集不需要做标准化处理

下面我们展示各种算法的预测精度结果

可以发现误差都比较大，其中随机森林误差较高

 

 

 代码

部分代码如下 需要全部代码请点赞关注收藏后评论区留言私信~~~

1. #!/usr/bin/env python
2. # coding: utf-8
4. # ## 数据分析部分
6. # In[1]:
9. import numpy as np
10. import pandas as pd
11. import matplotlib.pyplot as plt
12. import seaborn as sns
13. # from sklearn.datasets import load_wine
16. # In[2]:
19. # 颜色
20. color = sns.color_palette()
21. # 数据print精度
22. pd.set_option('precision',3)
25. # In[3]:
28. df = pd.read_csv('.\winequality-red.csv',sep = ';')
29. display(df.head())
30. print('数据的维度：',df.shape)
33. # 
35. # In[4]:
38. df.info()
41. # In[5]:
44. df.describe()
47. # In[6]:
50. print('quality的取值：',df['quality'].unique())
51. print('quality的取值个数：',df['quality'].nunique())
52. print(df.groupby('quality').mean())
55. # 显示各个变量的直方图
57. # In[ ]:
63. # In[7]:
66. color = sns.color_palette()
67. column= df.columns.tolist()
68. fig = plt.figure(figsize = (10,8))
69. for i in range(12):
70. plt.subplot(4,3,i+1)
71. df[column[i]].hist(bins = 100,color = color[3])
72. plt.xlabel(column[i],fontsize = 12)
73. plt.ylabel('Frequency',fontsize = 12)
74. plt.tight_layout()
77. # 显示各个变量的盒图
79. # In[8]:
82. fig = plt.figure(figsize = (10,8))
83. for i in range(12):
84. plt.subplot(4,3,i+1)
85. sns.boxplot(df[column[i]],orient = 'v',width = 0.5,color = color[4])
86. plt.ylabel(column[i],fontsize = 12)
87. plt.tight_layout()
90. # 酸性相关的特征分析
91. # 该数据集与酸度相关的特征有’fixed acidity’, ‘volatile acidity’, ‘citric acid’,‘chlorides’, ‘free sulfur dioxide’, ‘total sulfur dioxide’,‘PH’。其中前6中酸度特征都会对PH产生影响。PH在对数尺度，然后对6中酸度取对数做直方图。
93. # In[9]:
96. acidityfeat = ['fixed acidity',
97. 'volatile acidity',
98. 'citric acid',
99. 'chlorides',
100. 'free sulfur dioxide',
101. 'total sulfur dioxide',]
103. fig = plt.figure(figsize = (10,6))
104. for i in range(6):
105. plt.subplot(2,3,i+1)
106. v = np.log10(np.clip(df[acidityfeat[i]].values,a_min = 0.001,a_max = None))
107. plt.hist(v,bins = 50,color = color[0])
108. plt.xlabel('log('+ acidityfeat[i] +')',fontsize = 12)
109. plt.ylabel('Frequency')
110. plt.tight_layout()
113. # In[10]:
116. plt.figure(figsize=(6,3))
118. bins = 10**(np.linspace(-2,2)) # linspace 默认50等分
119. plt.hist(df['fixed acidity'], bins=bins, edgecolor = 'k', label='Fixed Acidity') #bins: 直方图的柱数，可选项，默认为10
120. plt.hist(df['volatile acidity'], bins=bins, edgecolor = 'k', label='Volatitle Acidity')#label:字符串或任何可以用'%s'转换打印的内容。
121. plt.hist(df['citric acid'], bins=bins, edgecolor = 'k', label='Citric Acid')
122. plt.xscale('log')
123. plt.xlabel('Acid Concentration(g/dm^3)')
124. plt.ylabel('Frequency')
125. plt.title('Histogram of Acid Contacts')#title ：图形标题
126. plt.legend()#plt.legend（）函数主要的作用就是给图加上图例
127. plt.tight_layout()
129. print('Figure 4')
130. """
131. pH值主要是与fixed acidity有关，
132. fixed acidity比volatile acidity和citric acid高1到2个数量级(Figure 4)，比free sulfur dioxide, total sulfur dioxide, sulphates高3个数量级。
133. 一个新特征total acid来自于前三个特征的和。
134. """
137. # 甜度（sweetness）
138. # residual sugar主要与酒的甜度有关，干红（<= 4g/L），半干（4-12g/L），半甜（12-45g/L），甜（>= 45g/L），该数据集中没有甜葡萄酒。
140. # In[11]:
143. df['sweetness'] = pd.cut(df['residual sugar'],bins = [0,4,12,45],labels = ['dry','semi-dry','semi-sweet'])
144. df.head()
147. # In[12]:
150. plt.figure(figsize = (6,4))
151. df['sweetness'].value_counts().plot(kind = 'bar',color = color[0])
152. plt.xticks(rotation = 0)
153. plt.xlabel('sweetness')
154. plt.ylabel('frequency')
155. plt.tight_layout()
156. print('Figure 5')
159. # In[13]:
162. # 创建一个新特征total acid
163. df['total acid'] = df['fixed acidity'] + df['volatile acidity'] + df['citric acid']
165. columns = df.columns.tolist()
166. columns.remove('sweetness')
167. # columns
169. # ['fixed acidity',
170. # 'volatile acidity',
171. # 'citric acid',
172. # 'residual sugar',
173. # 'chlorides',
174. # 'free sulfur dioxide',
175. # 'total sulfur dioxide',
176. # 'density',
177. # 'pH',
178. # 'sulphates',
179. # 'alcohol',
180. # 'quality',
181. # 'total acid']
182. sns.set_style('ticks')
183. sns.set_context('notebook',font_scale = 1.1)
185. column = columns[0:11] + ['total acid']
186. plt.figure(figsize = (10,8))
187. for i in range(12):
188. plt.subplot(4,3,i+1)
189. sns.boxplot(x = 'quality',y = column[i], data = df,color = color[1],width = 0.6)
190. plt.ylabel(column[i],fontsize = 12)
191. plt.tight_layout()
193. print('Figure 7:PhysicoChemico Propertise and Wine Quality by Boxplot')
196. # 从上图可以看出：
197. #
198. # 红酒品质与柠檬酸，硫酸盐，酒精度成正相关
199. # 红酒品质与易挥发性酸，密度，PH成负相关
200. # 残留糖分，氯离子，二氧化硫对红酒品质没有什么影响
202. # In[14]:
205. sns.set_style('dark')
206. plt.figure(figsize = (10,8))
207. mcorr = df[column].corr()
208. mask = np.zeros_like(mcorr,dtype = np.bool)
209. mask[np.triu_indices_from(mask)] = True
210. cmap = sns.diverging_palette(220, 10, as_cmap=True)
211. g = sns.heatmap(mcorr, mask=mask, cmap=cmap, square=True, annot=True, fmt='0.2f')
213. # print('Figure 8:Pairwise colleration plot')
216. # In[ ]:
222. # In[15]:
225. # 密度和酒精浓度
226. # 密度和酒精浓度是相关的，物理上，但两者并不是线性关系。另外密度还与酒精中的其中物质含量有关，但是相关性很小。
228. sns.set_style('ticks')
229. sns.set_context('notebook',font_scale = 1.4)
231. plt.figure(figsize = (6,4))
232. sns.regplot(x = 'density',y = 'alcohol',data = df,scatter_kws = {'s':10},color = color[1])
233. plt.xlabel('density',fontsize = 12)
234. plt.ylabel('alcohol',fontsize = 12)
236. plt.xlim(0.989,1.005)
237. plt.ylim(7,16)
239. # print('Figure 9: Density vs Alcohol')
242. # 酸性物质含量和PH
243. # 因为PH和非挥发性酸之间存在着-0.68的相关性，因为非挥发性酸的总量特别高，所以total acid这个指标意义不大。
245. # In[16]:
248. column
251. # In[17]:
254. acidity_raleted = ['fixed acidity','volatile acidity','total sulfur dioxide','chlorides','total acid']
256. plt.figure(figsize = (10,6))
258. for i in range(5):
259. plt.subplot(2,3,i+1)
260. sns.regpltx = 'pH',y = acidity_raleted[i],data = df,scatter_kws = {'s':10},color = color[1])
261. plt.xlabel('PH',fontsize = 12)
262. plt.ylabel(acidity_raleted[i],fontsize = 12)
264. plt.tight_layout()
265. print('Figure 10:The correlation between different acid and PH')
268. # 多变量分析
269. # 与红酒品质相性最高的三个特征分别是酒精浓度，挥发性酸含量，柠檬酸。下面研究三个特征对红酒的品质有何影响。
271. # In[18]:
274. plt.style.use('ggplot')
276. plt.figure(figsize = (6,4))
277. sns.lmplot(x = 'alcohol',y = 'volatile acidity',hue = 'quality',data = df,fit_reg = False,scatter_kws = {'s':10},size = 5)
278. # In[19]:
281. sns.lmplot(x = 'alcohol', y = 'volatile acidity', col='quality', hue = 'quality',
282. data = df,fit_reg = False, size = 3, aspect = 0.9, col_wrap=3,
283. ={'s':20})
284. print("Figure 11-2: Scatter Plots of Alcohol, Volatile Acid and Quality")
286. # PH和非挥发性酸，柠檬酸
287. # PH和非挥发性酸，柠檬酸成负相关
288. # In[20]:
291. sns.set_style('ticks')
292. sns.set_context("notebook", font_scale= 1.4)
294. plt.figure(figsize=(6,5))
295. cm = plt.cm.get_cmap('RdBu')
296. sc = plt.scatter(df['fixed acidity'], df['citric acid'], c=df['pH'], vmin=2.6, vmax=4, s=15, cmap=cm)
297. bar = plt.colorbar(sc)
298. bar.n = 0)
299. plt.xlabel('fixed acidity')
300. plt.ylabel('ciric acid')
301. plt.xlim(4,18)
302. plt.ylim(0,1)
303. print('Figure 12: pH with Fixed Acidity and Citric Acid')
306. # 总结
307. # 对于红酒品质影响最重要的三个特征：酒精度、挥发性酸含量和柠檬酸。对于品质高于7的优质红酒和品质低于4的劣质红酒，直观上线性可分，对于品质为5和6的红酒很难进行线性区分。
309. # ## 数据掘时间部分
311. # In[21]:
314. # 数据建模
315. # 线性回归
316. # 集成算法
317. # 提升算
318. # 模型评估
319. # 确定模型参数
320. # 1.数据集切分
321. # 1.1 切分特征和标签
322. # 1.2 切分训练集个测试集
324. df.head()
327. # In[22]:
330. # 数据预处理工作
332. # 检查数据的完整性
333. df.isnull().sum()
336. # In[23]:
339. # 将object类型的数据转化为int类型
340. sweetness = pd.get_dummies(df['sweetness'])
341. df = pd.concat([df,sweetness],axis = 1)
342. df.head()
345. # In[24]:
348. df = df.drop('sweetness',axis = 1)
349. labels = df['quality']
350. features = df.drop('quality',axis = 1)
351. # 对原始数据集进行切分
352. from sklearn.model_selection import train_test_split
353. train_features,test_fatures,train_labels,test_labels = train_test_split(features,labels,test_size = 0.3,random_state = 0
354. print('训练特征的规模:'.shape)
355. print('训练标签的规模:',train_labels.shape)
356. print('测试特征的规模:',test_features.shape)
357. print('测试标签的规模:',test_labels.shape)
360. # In[25]:
363. from sklearn import svm
364. classifier=svm.SVC(kernel='linear',gamma=0.1)
365. classifier.fit(train_features,train_labels)
366. print('训练集的准确率',classifier.score(train_features,train_labels))
367. print('测试集的准确率',classifier.score(test_features,test_labels))
370. # In[26]:
373. from sklearn.linear_model import LinearRegression
374. LR = LinearRegression)LR.fit(train_features,train_labels
375. prediction = LR.predict(test_features)
376. prediction[:5]
379. # In[27]:
382. #对模型进行评估
383. from sklearn.metrics import mean_squared_error
384. RMSE = np.sqrt(mean_squared_error(test_labels,prediction))
385. print('线性回归模型的预测误差:',RMSE)
388. # In[28]:
391. # 对训练特征和测试特征做标准化处理，观察结果
393. from sklearn.preprocessing import StandardScaler
394. train_features_std = StandardScaler().fit_transform(train_features)
395. test_features_std = StandardScaler().fit_transform(test_features)
396. LR = LinearRegression()
397. LR.fit(train_features_std,train_labels)
398. prediction = LR.predict(test_features_std)
400. #观察预测结果误差
401. RMSE = np.sqrt(mean_squared_error(prediction,test_labels))
402. print('线性回归模型预测误差:',RMSE)
405. # 对比原始数据与做了标准化处理的数据，其结果相差不大，所以该数据集不需要做标准化处理。
406. #
407. # 集成算法：随机森林
409. # In[29]:
412. from sklearn.ensemble import RandomForestRegressor
413. RF = RandomForestRegressor()
414. RF.fit(train_features,train_labels)
415. prediction = RF.pre
417. # In[30]:
420. RF.get_params
423. # In[31]:
426. from sklearn.model_selection import GridSearchCV
427. param_grid = {'n_estimators':[100,200,300,400,500],
428. 'max_depth':[3,4,5,6],
429. 'min_samples_split':[2,3,4]}
431. RF = RandomForestRegressor()
432. grid = GridSearchCV(RF,param_grid = param_grid,scoring = 'neg_mean_squared_error',cv = 3,n_jobs = -1)
433. grid.fit(train_features,train_labels)
436. # In[32]:
439. # GridSearchCV(cv=3, error_score='raise-deprecating',
440. # estimator=RandomForestRegressor(bootstrap=True, criterion='mse', max_depth=None,
441. # max_features='auto', max_leaf_nodes=None,
442. # min_impurity_decrease=0.0, min_impurity_split=None,
443. # min_samples_leaf=1, min_samples_split=2,
444. # min_weight_fraction_leaf=0.0, n_estimators='warn', n_jobs=None,
445. # oob_sc
447. # In[33]:
450. grid.best_params_
453. # In[34]:
456. RF = RandomForestRegressor(n_estimators = 300,min_samples_split = 2,max_depth = 6)
458. RF.fit(train_features,train_labels)
461. # In[35]:
464. RandomForestRe
466. # In[36]:
469. prediction = RF.predict(test_features)
471. RF_RMSE = np.sqrt(mean_squared_error(prediction,test_labels))
472. print('随机森林模型的预测误差:',RF_RMSE)
475. # 集成算法：GBDT
477. # In[37]:
480. from sklearn.ensemble import GradientBoostingRegressor
482. GBDT = GradientBoostingRegressor()
483. GBDT.fit(train_features,train_labels)
484. gbdt_prediction =
485. GBDT.get_params
488. # In[ ]:

创作不易 觉得有帮助请点赞关注收藏~~~