Question

python如何爬取动态加载的网页数据，例如我的打工网企业链接（需要底部的加载更多才会显示）

Answer 1

content=urllib.urlopen(url).read()
for x in ['LabelWageDes','LabelWorkDes','LabelEnterpriseDesc']:
	pattern = re.compile(r'<span id="ctl00_ContentPlaceHolder1_'+x+'">(.*?)</span></div>')
	for value in pattern.findall(content):
		split_values = value.split('<br />')
		for line in split_values:
			print line

追问

不是这块，是这一块的里面的href（上次我是手动点那个加载一直到底部然后手动复制出来的），类似于百度图片那种到底就自动继续加载

追答

连接呢？