【python】使用代理IP爬取猫眼电影专业评分数据

前言 

我们为什么需要使用IP代理服务？

在编写爬虫程序的过程中，IP封锁无疑是一个常见且棘手的问题。尽管网络上存在大量的免费IP代理网站，但其质量往往参差不齐，令人堪忧。许多代理IP的延迟过高，严重影响了爬虫的工作效率；更糟糕的是，其中不乏大量已经失效的代理IP，使用这些IP不仅无法绕过封锁，反而可能使爬虫陷入更深的困境。

本篇文章中介绍一下如何使用Python的Requests库和BeautifulSoup库来抓取猫眼电影网站上的专业评分数据。

正文

1、导包

1. import requests
2. from bs4 import BeautifulSoup
3. import pandas as pd
4. import matplotlib.pyplot as plt

Requests库是一个简单易用的HTTP库，用于发送网络请求和获取响应数据。BeautifulSoup库则是一个用于解析HTML和XML文档的Python库，可以帮助我们从网页中提取所需的数据。

2、设置代理

设置代理和代理信息可以在这里获取：IP代理服务

1. # 设置代理信息
2. proxyHost = "www.16yun.cn"
3. proxyPort = "5445"
4. proxyUser = "your_proxy_user"
5. proxyPass = "your_proxy_password"
7. # 设置代理
8. proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
9. "host": proxyHost,
10. "port": proxyPort,
11. "user": proxyUser,
12. "pass": proxyPass,
13. }
14. proxies = {
15. "http": proxyMeta,
16. "https": proxyMeta,
17. }

3、设置请求头

请求头的获取方式可以参考这篇文章：爬虫入门学习（三）请求headers处理-CSDN博客

当然不用自己的也行哈哈 

2. # 设置请求头，模拟浏览器访问
3. headers = {
4. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
5. }

4、发起请求

1. # 发起请求，获取网页内容
2. url = 'https://maoyan.com/films?showType=3'
3. response = requests.get(url, headers=headers, proxies=proxies) # 添加proxies参数
4. soup = BeautifulSoup(response.text, 'html.parser')

5、解析网页内容

1. # 解析网页内容，提取专业评分数据
2. movie_names = []
3. professional_scores = []
5. for movie in soup.find_all('div', attrs={'class': 'movie-item film-channel'}):
6. movie_name = movie.find('span', attrs={'class': 'name'}).text
7. score = movie.find('span', attrs={'class': 'integer'}).text + movie.find('span', attrs={'class': 'fraction'}).text
8. movie_names.append(movie_name)
9. professional_scores.append(score)
11. # 将数据存储到DataFrame中
12. data = {'电影名称': movie_names, '专业评分': professional_scores}
13. df = pd.DataFrame(data)

6、数据可视化

1. # 数据可视化
2. plt.figure(figsize=(10, 6))
3. plt.bar(df['电影名称'], df['专业评分'], color='skyblue')
4. plt.title('猫眼电影专业评分排行榜')
5. plt.xlabel('电影名称')
6. plt.ylabel('专业评分')
7. plt.xticks(rotation=45)
8. plt.show()

上述代码片段展示了如何运用Python中的Requests库与BeautifulSoup库，精准地抓取猫眼电影网站上的专业评分数据。随后，通过Pandas库对数据进行整理与分析，再借助Matplotlib库进行可视化呈现。这一数据采集、处理与可视化的完整流程。

完整代码如下：

1. # 导入所需的库
2. import requests
3. from bs4 import BeautifulSoup
4. import pandas as pd
5. import matplotlib.pyplot as plt
7. # 设置代理信息
8. proxyHost = "www.16yun.cn"
9. proxyPort = "5445"
10. proxyUser = "your_proxy_user"
11. proxyPass = "your_proxy_password"
13. # 设置代理
14. proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
15. "host": proxyHost,
16. "port": proxyPort,
17. "user": proxyUser,
18. "pass": proxyPass,
19. }
20. proxies = {
21. "http": proxyMeta,
22. "https": proxyMeta,
23. }
25. # 设置请求头，模拟浏览器访问
26. headers = {
27. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
28. }
30. # 发起请求，获取网页内容
31. url = 'https://maoyan.com/films?showType=3'
32. response = requests.get(url, headers=headers, proxies=proxies) # 添加proxies参数
33. soup = BeautifulSoup(response.text, 'html.parser')
35. # 解析网页内容，提取专业评分数据
36. movie_names = []
37. professional_scores = []
39. for movie in soup.find_all('div', attrs={'class': 'movie-item film-channel'}):
40. movie_name = movie.find('span', attrs={'class': 'name'}).text
41. score = movie.find('span', attrs={'class': 'integer'}).text + movie.find('span', attrs={'class': 'fraction'}).text
42. movie_names.append(movie_name)
43. professional_scores.append(score)
45. # 将数据存储到DataFrame中
46. data = {'电影名称': movie_names, '专业评分': professional_scores}
47. df = pd.DataFrame(data)
49. # 数据可视化
50. plt.figure(figsize=(10, 6))
51. plt.bar(df['电影名称'], df['专业评分'], color='skyblue')
52. plt.title('猫眼电影专业评分排行榜')
53. plt.xlabel('电影名称')
54. plt.ylabel('专业评分')
55. plt.xticks(rotation=45)
56. plt.show()

当然，如果你自己要使用的话得用自己专属的IP代理信息，而且具体情况得具体分析。如果你买了代理IP的话，不会的直接问客服，直接给你服务的服服帖帖的