您现在的位置是：首页 > 技术教程 正文

python的BeautifulSoup库怎么用（详细教程）

admin 阅读： 2024-03-24
后台-插件-广告管理-内容页头部广告（手机）

BeautifulSoup 是 Python 中一个常用的解析 HTML 和 XML 的第三方库，使用它可以方便地从网页中提取数据。以下是一个简单的例子：

假设我们要从一个示例 HTML 文件中提取 h1 标签中的文本内容，可以按照如下步骤使用 BeautifulSoup 库：

  1. # 导入库
  2. from bs4 import BeautifulSoup
  4. # 读取示例 HTML 文件
  5. html = """
  8. Example Page

  11. Hello, World!

  14. """
  16. # 创建 BeautifulSoup 对象，并指定解析器为 lxml
  17. soup = BeautifulSoup(html, 'lxml')
  19. # 找到第一个 h1 标签，并输出其文本内容
  20. h1 = soup.find('h1')
  21. print(h1.text)

在上述代码中，我们首先读取了一个示例 HTML 文件，然后创建了一个 BeautifulSoup 对象，指定了使用 lxml 解析器来解析 HTML。接着，我们使用 find 方法找到了第一个 h1 标签，并通过 text 属性获取了其中的文本内容。最终运行结果会输出 "Hello, World!"。

除了 find 方法，还有其他一些常用的方法，例如 find_all、select 等，可以根据不同的需求进行选择和使用。此外，BeautifulSoup 还提供了一些常见的属性和方法，例如 name、string、attrs 等，可用于获取标签的名称、文本、属性等信息。

安装

BeautifulSoup 是第三方库，可以通过 pip 命令进行安装：

pip install beautifulsoup4

基本用法

在使用 BeautifulSoup 之前，我们需要先加载一个 HTML 或 XML 文档，并将其解析成 BeautifulSoup 对象。可以使用以下两种方式进行解析：

方式一：从字符串中解析

  1. from bs4 import BeautifulSoup
  3. # 从字符串中解析 HTML 或 XML
  4. html_doc = 'Example Page

    This is a paragraph.

    '
  5. soup = BeautifulSoup(html_doc, 'html.parser')

在上述代码中，我们首先创建了一个字符串 html_doc，然后使用 BeautifulSoup 类将其解析成一个 BeautifulSoup 对象 soup。第二个参数指定使用 html.parser 解析器来解析 HTML，如果要解析 XML，则需要使用其他解析器。

方式二：从文件中解析

  1. from bs4 import BeautifulSoup
  3. # 从文件中读取 HTML 或 XML
  4. with open('example.html', 'r') as f:
  5. soup = BeautifulSoup(f, 'html.parser')

在上述代码中，我们使用 open 函数打开一个名为 example.html 的文件，然后使用 BeautifulSoup 类将其解析成一个 BeautifulSoup 对象 soup。同样地，第二个参数指定使用 html.parser 解析器来解析 HTML，如果要解析 XML，则需要使用其他解析器。

基本用法示例

假设我们有以下 HTML 文件 example.html：

  1. html>
  2. <html>
  3. <head>
  4. <title>Example Pagetitle>
  5. head>
  6. <body>
  7. <h1>Hello, World!h1>
  8. <p class="first">This is the <b>firstb> paragraph.p>
  9. <p class="second">This is the <b>secondb> paragraph.p>
  10. <a href="https://www.example.com">Go to Example Websitea>
  11. body>
  12. html>

我们可以使用 BeautifulSoup 对象 soup 来提取其中的数据。例如，要获取文档标题，可以使用 title 属性

  1. print(soup.title)
  2. # Example Page

要获取标签的文本内容，可以使用 text 属性或 string 属性：

  1. print(soup.h1.text)
  2. # Hello, World!
  4. print(soup.h1.string)
  5. # Hello, World!

要获取标签的属性，可以使用 attrs 属性：

  1. print(soup.a.attrs['href'])
  2. # https://www.example.com

要获取所有符合条件的标签，可以使用 find_all 方法：

  1. # 获取所有 p 标签
  2. ps = soup.find_all('p')
  3. for p in ps:
  4. print(p.text)
  6. # This is the first paragraph.
  7. # This is the second paragraph.
  9. # 获取 class 为 "second" 的 p 标签
  10. p = soup.find('p', {'class': 'second'})
  11. print(p.text)
  12. # This is the second paragraph.

要获取某个标签的父标签或祖先标签，可以使用 parent 属性或 parents 属性：

  1. p = soup.find('p', {'class': 'first'})
  2. print(p.parent.name)
  3. # body
  5. for parent in p.parents:
  6. print(parent.name)
  8. # p
  9. # body
  10. # html
  11. # [document]

高级应用

BeautifulSoup 除了基本的用法之外，还有一些高级应用，例如：

  • 使用 CSS 选择器来查找标签；
  • 解析 XML 文档；
  • 处理特定类型的标签，例如 script 和 style 标签；
  • 自定义解析器等。

这里介绍其中的几个应用：

使用 CSS 选择器

BeautifulSoup 支持使用 CSS 选择器来查找标签，可以使用 select 方法。例如，要获取 class 为 "second" 的 p 标签，可以使用以下代码：

  1. p = soup.select_one('p.second')
  2. print(p.text以上回答的最后一行代码似乎缺失了一个右括号，以下是修复过的完整代码：
  4. ```python
  5. p = soup.select_one('p.second')
  6. print(p.text)
  7. # This is the second paragraph.

在上述代码中，我们使用 select_one 方法和 CSS 选择器 p.second 来获取 class 为 "second" 的 p 标签，并输出其中的文本内容。

如果要获取所有符合条件的标签，可以使用 select 方法：

  1. ps = soup.select('p')
  2. for p in ps:
  3. print(p.text)
  5. # This is the first paragraph.
  6. # This is the second paragraph.
  8. ps = soup.select('p.first')
  9. for p in ps:
  10. print(p.text)
  12. # This is the first paragraph.

解析 XML 文档

与解析 HTML 文档类似，BeautifulSoup 也支持解析 XML 文档。只需要将解析器切换为 'xml' 即可。例如：

  1. from bs4 import BeautifulSoup
  3. xml_doc = """
  6. Item 1
  7. 10.00
  10. Item 2
  11. 20.00
  14. """
  16. soup = BeautifulSoup(xml_doc, 'xml')
  18. items = soup.find_all('item')
  19. for item in items:
  20. name = item.find('name').text
  21. price = item.find('price').text
  22. print(f'{name}: {price}')

在上述代码中，我们将解析器指定为 'xml'，然后使用 find_all 和 find 方法查找特定的标签，并输出其中的文本内容。

处理特定类型的标签

有些特殊的标签，例如 script 和 style 标签，其内容并不是普通的文本，而是包含了 JavaScript 代码和 CSS 样式等信息。如果直接使用 text 属性获取其内容，会导致 JavaScript 代码和 CSS 样式丢失。为了解决这个问题，BeautifulSoup 提供了 string 属性和 get_text 方法来获取特定类型标签内的全部文本，包括其中的 JavaScript 代码和 CSS 样式。例如：

  1. from bs4 import BeautifulSoup
  3. html_doc = """

  9. Hello, World!

  10. This is a paragraph.

  14. """
  16. soup = BeautifulSoup(html_doc, 'html.parser')
  18. # 获取 style 标签中的样式代码
  19. style = soup.find('style').string
  20. print(style)
  21. # p { color: red; }
  23. # 获取 script 标签中的 JavaScript 代码
  24. script = soup.find('script').get_text()
  25. print(script)
  26. # \n\t\talert('Hello, World!');\n

在上述代码中，我们分别使用 string 属性和 get_text 方法获取了 style 和 script 标签中的全部内容。

总结

以上就是一个比较详细的 BeautifulSoup 教程，包括安装、基本用法和一些高级应用。BeautifulSoup 可以帮助我们方便地解析 HTML 和 XML 文档，并从中提取所需的信息，是 Python 网络爬虫开发中常用的工具之一。

标签:
声明

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。

在线投稿：投稿 站长QQ：1888636

后台-插件-广告管理-内容页尾部广告（手机）
相关文章
关注我们

扫一扫关注我们，了解最新精彩内容

搜索
排行榜
最近发表
标签列表