分享Python7个爬虫小案例（附源码）

在这篇文章中，我们将分享7个Python爬虫的小案例，帮助大家更好地学习和了解Python爬虫的基础知识。以下是每个案例的简介和源代码：

1. 爬取豆瓣电影Top250

这个案例使用BeautifulSoup库爬取豆瓣电影Top250的电影名称、评分和评价人数等信息，并将这些信息保存到CSV文件中。

1. import requests
2. from bs4 import BeautifulSoup
3. import csv
5. # 请求URL
6. url = ''
7. # 请求头部
8. headers = {
9. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
10. }
12. # 解析页面函数
13. def parse_html(html):
14. soup = BeautifulSoup(html, 'lxml')
15. movie_list = soup.find('ol', class_='grid_view').find_all('li')
16. for movie in movie_list:
17. title = movie.find('div', class_='hd').find('span', class_='title').get_text()
18. rating_num = movie.find('div', class_='star').find('span', class_='rating_num').get_text()
19. comment_num = movie.find('div', class_='star').find_all('span')[-1].get_text()
20. writer.writerow([title, rating_num, comment_num])
22. # 保存数据函数
23. def save_data():
24. f = open('douban_movie_top250.csv', 'a', newline='', encoding='utf-8-sig')
25. global writer
26. writer = csv.writer(f)
27. writer.writerow(['电影名称', '评分', '评价人数'])
28. for i in range(10):
29. url = '' + str(i*25) + '&filter='
30. response = requests.get(url, headers=headers)
31. parse_html(response.text)
32. f.close()
34. if __name__ == '__main__':
35. save_data()

2. 爬取猫眼电影Top100

这个案例使用正则表达式和requests库爬取猫眼电影Top100的电影名称、主演和上映时间等信息，并将这些信息保存到TXT文件中。

1. import requests
2. import re
4. # 请求URL
5. url = ''
6. # 请求头部
7. headers = {
8. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
9. }
11. # 解析页面函数
12. def parse_html(html):
13. pattern = re.compile('

    (.*?)

    .*?

    (.*?)

    .*?

    (.*?)

    ', re.S)
14. items = re.findall(pattern, html)
15. for item in items:
16. yield {
17. '电影名称': item[1],
18. '主演': item[2].strip(),
19. '上映时间': item[3]
20. }
22. # 保存数据函数
23. def save_data():
24. f = open('maoyan_top100.txt', 'w', encoding='utf-8')
25. for i in range(10):
26. url = '' + str(i*10)
27. response = requests.get(url, headers=headers)
28. for item in parse_html(response.text):
29. f.write(str(item) + '\\\\n')
30. f.close()
32. if __name__ == '__main__':
33. save_data()

3. 爬取全国高校名单

这个案例使用正则表达式和requests库爬取全国高校名单，并将这些信息保存到TXT文件中。

1. import requests
2. import re
4. # 请求URL
5. url = ''
6. # 请求头部
7. headers = {
8. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
9. }
11. # 解析页面函数
12. def parse_html(html):
13. pattern = re.compile('.*?(.*?).*?.*?(.*?).*?(.*?).*?(.*?).*?', re.S)
14. items = re.findall(pattern, html)
15. for item in items:
16. yield {
17. '排名': item[0],
18. '学校名称': item[2],
19. '省市': item[3],
20. '总分': item[4]
21. }
23. # 保存数据函数
24. def save_data():
25. f = open('university_top100.txt', 'w', encoding='utf-8')
26. response = requests.get(url, headers=headers)
27. for item in parse_html(response.text):
28. f.write(str(item) + '\\\\n')
29. f.close()
31. if __name__ == '__main__':
32. save_data()

4. 爬取中国天气网城市天气

这个案例使用xpath和requests库爬取中国天气网的城市天气，并将这些信息保存到CSV文件中。

1. import requests
2. from lxml import etree
3. import csv
5. # 请求URL
6. url = ''
7. # 请求头部
8. headers = {
9. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
10. }
12. # 解析页面函数
13. def parse_html(html):
14. selector = etree.HTML(html)
15. city = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/h1/text()')[0]
16. temperature = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/i/text()')[0]
17. weather = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/@title')[0]
18. wind = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/span/text()')[0]
19. return city, temperature, weather, wind
21. # 保存数据函数
22. def save_data():
23. f = open('beijing_weather.csv', 'w', newline='', encoding='utf-8-sig')
24. writer = csv.writer(f)
25. writer.writerow(['城市', '温度', '天气', '风力'])
26. for i in range(10):
27. response = requests.get(url, headers=headers)
28. city, temperature, weather, wind = parse_html(response.text)
29. writer.writerow([city, temperature, weather, wind])
30. f.close()
32. if __name__ == '__main__':
33. save_data()

5. 爬取当当网图书信息

这个案例使用xpath和requests库爬取当当网图书信息，并将这些信息保存到CSV文件中。

1. import requests
2. from lxml import etree
3. import csv
5. # 请求URL
6. url = ''
7. # 请求头部
8. headers = {
9. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
10. }
12. # 解析页面函数
13. def parse_html(html):
14. selector = etree.HTML(html)
15. book_list = selector.xpath('//*[@id="search_nature_rg"]/ul/li')
16. for book in book_list:
17. title = book.xpath('a/@title')[0]
18. link = book.xpath('a/@href')[0]
19. price = book.xpath('p[@class="price"]/span[@class="search_now_price"]/text()')[0]
20. author = book.xpath('p[@class="search_book_author"]/span[1]/a/@title')[0]
21. publish_date = book.xpath('p[@class="search_book_author"]/span[2]/text()')[0]
22. publisher = book.xpath('p[@class="search_book_author"]/span[3]/a/@title')[0]
23. yield {
24. '书名': title,
25. '链接': link,
26. '价格': price,
27. '作者': author,
28. '出版日期': publish_date,
29. '出版社': publisher
30. }
32. # 保存数据函数
33. def save_data():
34. f = open('dangdang_books.csv', 'w', newline='', encoding='utf-8-sig')
35. writer = csv.writer(f)
36. writer.writerow(['书名', '链接', '价格', '作者', '出版日期', '出版社'])
37. response = requests.get(url, headers=headers)
38. for item in parse_html(response.text):
39. writer.writerow(item.values())
40. f.close()
42. if __name__ == '__main__':
43. save_data()

6. 爬取糗事百科段子

这个案例使用xpath和requests库爬取糗事百科的段子，并将这些信息保存到TXT文件中。

1. import requests
2. from lxml import etree
4. # 请求URL
5. url = ''
6. # 请求头部
7. headers = {
8. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
9. }
11. # 解析页面函数
12. def parse_html(html):
13. selector = etree.HTML(html)
14. content_list = selector.xpath('//div[@class="content"]/span/text()')
15. for content in content_list:
16. yield content
18. # 保存数据函数
19. def save_data():
20. f = open('qiushibaike_jokes.txt', 'w', encoding='utf-8')
21. for i in range(3):
22. url = '' + str(i+1) + '/'
23. response = requests.get(url, headers=headers)
24. for content in parse_html(response.text):
25. f.write(content + '\\\\n')
26. f.close()
28. if __name__ == '__main__':
29. save_data()

7. 爬取新浪微博

这个案例使用selenium和requests库爬取新浪微博，并将这些信息保存到TXT文件中。

1. import time
2. from selenium import webdriver
3. import requests
5. # 请求URL
6. url = ''
7. # 请求头部
8. headers = {
9. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
10. }
12. # 解析页面函数
13. def parse_html(html):
14. print(html)
16. # 保存数据函数
17. def save_data():
18. f = open('weibo.txt', 'w', encoding='utf-8')
19. browser = webdriver.Chrome()
20. browser.get(url)
21. time.sleep(10)
22. browser.find_element_by_name('username').send_keys('username')
23. browser.find_element_by_name('password').send_keys('password')
24. browser.find_element_by_class_name('W_btn_a').click()
25. time.sleep(10)
26. response = requests.get(url, headers=headers, cookies=browser.get_cookies())
27. parse_html(response.text)
28. browser.close()
29. f.close()
31. if __name__ == '__main__':
32. save_data()

希望这7个小案例能够帮助大家更好地掌握Python爬虫的基础知识！