Question

python3.7爬虫使用xpath解析，获取的表格数据为什么不全面?

爬取如图所示网站时，使用Python命令行： day_record_list = response.xpath('//div[@class="row"]//table[@class]//tr')，然后用scrapy shell命令行调试返回的结果： 只能得到第一个tr里的内容（表头），而下面tr里的内容却没有，为什么？怎样才能获取完全的表格数据？





Answer 1

我认为是xpath默认提取xpath第一个tr属性了，xpath 表达式改成'//div[@class="row"]//table//tr[@height="38px" or @height=""]'

Answer 2

要不尝试一下css selector?
response. css(... ). getall()
或者就用个for循环，在每个xpath的tr后加上[i]

Answer 3

试试这个
t = response.xpath('//table').extract()[0]
import re

print(re.sub(p1,"",t))

追问

试过了，不行。

追答

试试这个

追问

我看你已经得到table的数据了，可是问一下，re(正则表达式)模块匹配, p1是什么东东？

追答

p1就是xpath取到的数据啊，这是一个变量而已

追问

可是P1变量没有赋值啊，我在命令行里输入后，提示错误：P1没有被定义

追答

p1是这个
p1 = re.compile(r'()', re.S)

追问

谢谢，按照你的方法，能够正常运行了~

但问题是，我为什么得不到table里的数据呢？

追答

p1 = re.compile(r'()', re.S)