运用Python抓取PDF表格中的特定数据并生成Excel文件

在工作中遇到了一个问题，需要把PDF中的地方债数据粘贴到Excel表格中，在PDF的每个表格中需要找到“金额”“本息和”“项目总收益”“项目名称”“项目类型”……等等数据。每一页表格需要复制粘贴十次，一共四百多页的PDF岂不是要复制粘贴八千次！眼瞎了都粘不完吧！于是我开始尝试用Python来读取PDF表格，然后找到每个表格对应位置的数据，对应到新生成的序列中，最后导出为Excel。

如图一，这是PDF中每一页记录的地方债项目数据。

 我需要的Excel表格如下图所示：

接下来就是代码展示：

处理单页PDF的代码 

首先运用pdfplumber，如果没有安装需要先安装：

pip install pdfplumber

安装后就可以开始使用了：

1. import pdfplumber
2. #导入使用的库
5. # 读取pdf文件,使用的时候改成自己的路径就行
6. pdf = pdfplumber.open('D://test1.pdf')
8. # 访问第一页（使用时改成自己需要的页码即可，页码-1等于[]中需要填的数字
9. first_page = pdf.pages[0]
11. # 自动读取表格信息,返回列表
12. table = first_page.extract_table()
14. print(table)

我读取了对应页码的数据，输出结果如下：

这些数据看起来乱七八糟的，我需要把其中的“None”给去掉：

1. table = [[cell for cell in row if cell is not None and cell != ''] for row in table]
2. #table中乱七八糟的none就被去掉了
4. #接下来将列表转化为dataframe的结构，然后就可以进行进一步操作了
6. import pandas as pd
8. # 将列表转化为dataframe
9. table_data = pd.DataFrame(table)
11. table_data

 这是输出的结果，我们可以看到，已经出现了表格的形状，接着我们就可以精准定位我们想要的数据所在的位置了，例如第一行第二列的那个数据，就可以表示为table[0][1]

接下来的代码如下：

1. #生成一个新的表格序列，用来存储我们抓取到的数据
2. df = pd.DataFrame(columns=["城市", "项目名称", "项目类型（一级）", "项目类型（二级）", "金额（本金）", "期限", "计划总投资", "项目总收益", "本息和", "信用评级结果", "还本方式"])
4. #变量名称和后面的坐标位置根据实际情况来进行调整
5. city = ","
6. project_name = table[0][1]
7. project_type_1 = table[1][1]
8. project_type_2 = table[2][1]
9. amount = table[3][1]
10. duration = table[5][1]
11. planned_investment = table[9][1]
12. total_return = table[17][1]
13. principal_interest = table[28][1]
14. credit_rating = "AAA"
15. repayment_method = "分期还本"
17. #将抓取到的数据对应到表格序列中
18. df = df.append({
19. "城市": city,
20. "项目名称": project_name,
21. "项目类型（一级）": project_type_1,
22. "项目类型（二级）": project_type_2,
23. "金额（本金）": amount,
24. "期限": duration,
25. "计划总投资": planned_investment,
26. "项目总收益": total_return,
27. "本息和": principal_interest,
28. "信用评级结果": credit_rating,
29. "还本方式": repayment_method
30. }, ignore_index=True)
33. #最后输出excel表格即可。路径根据自己实际需要修改
35. output_file = "D:\\test1.xlsx"
36. df.to_excel(output_file, index=False)

遍历每一页的工作代码：

上面只是单页的代码，你可以根据单页的情况来确定定位表格位置的数据，接下来展示遍历每一页的代码：

1. import pdfplumber
2. import pandas as pd
4. pdf = pdfplumber.open('D://test1.pdf')
5. df = pd.DataFrame(columns=["城市", "项目名称", "项目类型（一级）", "项目类型（二级）", "金额（本金）", "期限", "计划总投资", "项目总收益", "本息和", "信用评级结果", "还本方式"])
8. #遍历每一页
9. for page in pdf.pages:
10. table = page.extract_table()
12. if table is not None:
13. table = [[cell for cell in row if cell is not None and cell != ''] for row in table]
15. print(f"Page {page.page_number}:")
16. for row in table:
17. print(row)
19. #此处要注意，我处理的pdf中，有些页面的表格是不对的，所以我确定了表格大于30行时才是我需要的表格，这里30这个数据根据实际情况调整，一般情况改为0也可以。
20. if len(table) >= 30 :
21. project_name = table[0][1]
22. project_type_1 = table[1][1]
24. #此处注意，我的pdf表格中，有些表格的项目类型二是空的，直接运行会报错，或者会忽略掉整条数据，因此这条代码的含义是，空着的就显示空就行。
25. try:
26. project_type_2 = table[2][1]
27. except IndexError:
28. project_type_2 = None
30. #其他变量如果有空的情况也可以用上面的这种格式来处理
31. amount = table[3][1]
32. duration = table[8][1]
33. planned_investment = table[9][1]
34. total_return = table[17][1]
35. principal_interest = table[28][1]
36. credit_rating = "AAA"
37. repayment_method = "分期还本"
39. df = df.append({
40. "城市": "",
41. "项目名称": project_name,
42. "项目类型（一级）": project_type_1,
43. "项目类型（二级）": project_type_2,
44. "金额（本金）": amount,
45. "期限": duration,
46. "计划总投资": planned_investment,
47. "项目总收益": total_return,
48. "本息和": principal_interest,
49. "信用评级结果": credit_rating,
50. "还本方式": repayment_method
51. }, ignore_index=True)
53. output_file = "D:\\test1.xlsx"
54. df.to_excel(output_file, index=False)

这样运行过后，上百页的pdf，原本要把眼睛都复制粘贴瞎的excel表格就生成出来了！

工作效率大大提升！

另外大家在代码使用过程中有什么问题也可以问chatgpt，根据实际情况去调试~