Question

python爬虫遇到有等待响应的网站怎么爬取

用python3.4爬取某一网页时遇到了问题。。代码如图二，问题如图一。该网站使用浏览器访问时，需要在图一卡个一两秒，然后才有正确的内容显示出来，而网站网址是没有发生改变的。爬取时，会出现：直接爬取了等待时候的html而不是最终的。这个是不是访问速度太快造成的？能设置爬取维持的时间吗？还是说是用其他的方法绕过？





Answer 1

设置一个
import time

略…
# 做个睡眠时间
t = time.sleep(要睡眠的时间，如05,1,2,)
# 在想写入文件做个判断
with open("文件路径","wb")as f:
f.write(网址,conten)
if == t:
break

Answer 2

python + selenium + phantomjs

追问

能否说的详细些，本人大菜鸟

追答

去学selenium 及 phantomjs 这两个模块的使用。