您现在的位置是：首页 > 技术教程 正文

python爬虫 爬取网页图片

admin 阅读： 2024-03-21
后台-插件-广告管理-内容页头部广告（手机）

目录

一：爬虫基础

二：安装html解析的python工具

三：爬取网页图片

一：爬虫基础

爬虫基本过程：

1.请求标头 headers

2.创建一个会话 requests.Session

3.确定请求的路径

4.根据路径获取网页资源(HTML文件)

5.解析html文件BeautifulSoup div a 标签 获取对应的图片

6.建立网络连接进行下载  创建出下载的图片

了解基本HTML结构

保存带有图片的网页

查找带有data-imgurl属性的标签获取url

  1. <html>
  2. <head>head>
  3. <body>body>
  4. html>

头：引用资源

体：包含一切标签

可以 F12 或者 ctrl+shift+i 打开控制台，查看网页代码，获取自己想要的信息

二：安装html解析的python工具

具体可以参考下面的这篇文章：

https://blog.csdn.net/m0_56051805/article/details/128407402

三：爬取网页图片

以爬取百度网页图片为例，大致实现如下

根据地址查找对应图片的信息：

  1. # 根据地址去查找 对应的图片的信息
  2. def Find(url, A):
  3. global List # 保存信息的列表
  4. print('正在检测图片总数，请稍等.....')
  5. t = 0
  6. i = 1
  7. s = 0
  8. while t < 1000:
  9. # 时间戳 不简单刷新访问网址
  10. Url = url + str(t)
  11. try:
  12. # get获取数据
  13. Result = A.get(Url, timeout=7, allow_redirects=False)
  14. except BaseException:
  15. t = t + 60
  16. continue
  17. else:
  18. # 拿到网站的数据
  19. result = Result.text
  20. # 找到图片url
  21. pic_url = re.findall('"objURL":"(.*?)",', result, re.S)
  22. # 图片总数
  23. s += len(pic_url)
  24. if len(pic_url) == 0:
  25. break
  26. else:
  27. List.append(pic_url)
  28. t = t + 60
  29. return s

记录下相关的数据信息：

  1. # 记录相关数据
  2. def recommend(url):
  3. Re = []
  4. try:
  5. html = requests.get(url, allow_redirects=False)
  6. except error.HTTPError as e:
  7. return
  8. else:
  9. html.encoding = 'utf-8'
  10. # html文件解析
  11. bsObj = BeautifulSoup(html.text, 'html.parser')
  12. div = bsObj.find('div', id='topRS')
  13. if div is not None:
  14. listA = div.findAll('a')
  15. for i in listA:
  16. if i is not None:
  17. Re.append(i.get_text())
  18. return Re

对相应网页的图片进行下载：

  1. # 下载图片
  2. def dowmloadPicture(html, keyword):
  3. global num
  4. # 找到图片url
  5. pic_url = re.findall('"objURL":"(.*?)",', html, re.S)
  6. print('找到关键词:' + keyword + '的图片，开始下载图片....')
  7. for each in pic_url:
  8. print('正在下载第' + str(num + 1) + '张图片，图片地址:' + str(each))
  9. try:
  10. if each is not None:
  11. pic = requests.get(each, timeout=7)
  12. else:
  13. continue
  14. except BaseException:
  15. print('错误，当前图片无法下载')
  16. continue
  17. else:
  18. string = file + r'\\' + str(num) + '.jpg'
  19. fp = open(string, 'wb')
  20. fp.write(pic.content)
  21. fp.close()
  22. num += 1
  23. if num >= numPicture:
  24. return

伪装成浏览器向网页提取服务：

  1. if __name__ == '__main__': # 主函数入口
  2. # 模拟浏览器 请求数据 伪装成浏览器向网页提取服务
  3. headers = {
  4. 'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
  5. 'Connection': 'keep-alive',
  6. 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0',
  7. 'Upgrade-Insecure-Requests': '1'
  8. }
  10. # 创建一个请求的会话
  11. A = requests.Session()
  12. # 设置头部信息
  13. A.headers = headers
  15. word = input("输入要搜索的关键词:")
  16. # 拼接路径
  17. url = 'https://image.baidu.com/search/flip?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs1&word=' + word
  19. # 根据路径去查找
  20. total = Find(url, A)
  21. # 记录相关推荐图片
  22. Recommend = recommend(url)
  23. print('经过检测%s类图片共有%d张' % (word, total))
  25. numPicture = int(input('输入要下载的数量'))
  26. file = input('请建立一个存储图片的文件夹，输入文件夹名称即可: ')
  27. y = os.path.exists(file)
  28. if y == 1:
  29. print('该文件已存在，请重新输入')
  30. file = input('请建立一个存储图片的文件夹，)输入文件夹名称即可: ')
  31. os.mkdir(file)
  32. else:
  33. os.mkdir(file)
  35. t = 0
  36. tmp = url
  38. while t < numPicture:
  39. try:
  40. url = tmp + str(t)
  41. result = requests.get(url, timeout=10)
  42. print(url)
  43. except error.HTTPError as e:
  44. print('网络错误，请调整网络后重试')
  45. t = t + 60
  46. else:
  47. dowmloadPicture(result.text, word)
  48. t = t + 60

测试过程如下

1 输入要搜索的图片，可以检索网页图片的数量

2 输入自己想要下载的图片数量，同时创建一个存储下载图片的文件夹

3 等待下载完即可

4 到新创建的文件夹下可以查看到，网页上获取到的图片已经下载

文章学习自： 学术菜鸟小晨 博主的文章

百度，搜狗，360网络爬图

完整源码分享如下

  1. import re
  2. import requests
  3. from urllib import error
  4. from bs4 import BeautifulSoup
  5. import os
  7. num = 0
  8. numPicture = 0
  9. file = ''
  10. List = []
  13. # 根据地址去查找 对应的图片的信息
  14. def Find(url, A):
  15. global List # 保存信息的列表
  16. print('正在检测图片总数，请稍等.....')
  17. t = 0
  18. i = 1
  19. s = 0
  20. while t < 1000:
  21. # 时间戳 不简单刷新访问网址
  22. Url = url + str(t)
  23. try:
  24. # get获取数据
  25. Result = A.get(Url, timeout=7, allow_redirects=False)
  26. except BaseException:
  27. t = t + 60
  28. continue
  29. else:
  30. # 拿到网站的数据
  31. result = Result.text
  32. # 找到图片url
  33. pic_url = re.findall('"objURL":"(.*?)",', result, re.S)
  34. # 图片总数
  35. s += len(pic_url)
  36. if len(pic_url) == 0:
  37. break
  38. else:
  39. List.append(pic_url)
  40. t = t + 60
  41. return s
  44. # 记录相关数据
  45. def recommend(url):
  46. Re = []
  47. try:
  48. html = requests.get(url, allow_redirects=False)
  49. except error.HTTPError as e:
  50. return
  51. else:
  52. html.encoding = 'utf-8'
  53. # html文件解析
  54. bsObj = BeautifulSoup(html.text, 'html.parser')
  55. div = bsObj.find('div', id='topRS')
  56. if div is not None:
  57. listA = div.findAll('a')
  58. for i in listA:
  59. if i is not None:
  60. Re.append(i.get_text())
  61. return Re
  64. # 下载图片
  65. def dowmloadPicture(html, keyword):
  66. global num
  67. # 找到图片url
  68. pic_url = re.findall('"objURL":"(.*?)",', html, re.S)
  69. print('找到关键词:' + keyword + '的图片，开始下载图片....')
  70. for each in pic_url:
  71. print('正在下载第' + str(num + 1) + '张图片，图片地址:' + str(each))
  72. try:
  73. if each is not None:
  74. pic = requests.get(each, timeout=7)
  75. else:
  76. continue
  77. except BaseException:
  78. print('错误，当前图片无法下载')
  79. continue
  80. else:
  81. string = file + r'\\' + str(num) + '.jpg'
  82. fp = open(string, 'wb')
  83. fp.write(pic.content)
  84. fp.close()
  85. num += 1
  86. if num >= numPicture:
  87. return
  90. if __name__ == '__main__': # 主函数入口
  91. # 模拟浏览器 请求数据 伪装成浏览器向网页提取服务
  92. headers = {
  93. 'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
  94. 'Connection': 'keep-alive',
  95. 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0',
  96. 'Upgrade-Insecure-Requests': '1'
  97. }
  99. # 创建一个请求的会话
  100. A = requests.Session()
  101. # 设置头部信息
  102. A.headers = headers
  104. word = input("输入要搜索的关键词:")
  105. # 拼接路径
  106. url = 'https://image.baidu.com/search/flip?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs1&word=' + word
  108. # 根据路径去查找
  109. total = Find(url, A)
  110. # 记录相关推荐图片
  111. Recommend = recommend(url)
  112. print('经过检测%s类图片共有%d张' % (word, total))
  114. numPicture = int(input('输入要下载的数量'))
  115. file = input('请建立一个存储图片的文件夹，输入文件夹名称即可: ')
  116. y = os.path.exists(file)
  117. if y == 1:
  118. print('该文件已存在，请重新输入')
  119. file = input('请建立一个存储图片的文件夹，)输入文件夹名称即可: ')
  120. os.mkdir(file)
  121. else:
  122. os.mkdir(file)
  124. t = 0
  125. tmp = url
  127. while t < numPicture:
  128. try:
  129. url = tmp + str(t)
  130. result = requests.get(url, timeout=10)
  131. print(url)
  132. except error.HTTPError as e:
  133. print('网络错误，请调整网络后重试')
  134. t = t + 60
  135. else:
  136. dowmloadPicture(result.text, word)
  137. t = t + 60
标签:
声明

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。

在线投稿：投稿 站长QQ：1888636

后台-插件-广告管理-内容页尾部广告（手机）
相关文章
关注我们

扫一扫关注我们，了解最新精彩内容

搜索
排行榜
最近发表
标签列表