Question

怎么用python获取js生成的get请求地址

Answer 1

仔细分析一下这个地址还是比较固定的，saller_id 应该是卖家id, 这个可以在含有saller_id的页面先抓取出来，

size 是每页的显示的数量，page是页号，ajson=1是固定的，

总之可以自己构造这样一个地址，而不用通过抓取。

追问

如果只是采集这几个当然可以，sellid和其它参数也会变，而且随着滚动条下拉，会不断触发JS，会不断发出请求，我就自动获取请求，现在还没有发现selenium有这个功能，数据也能通过其它方式全获得，但太慢，效率太低

追答

如果这种方式还慢的话，我不知道还有没有更快的方式。
并且每页的显示的大小可以在size进行设置的，默认的一页显示10条数据，这种方式可以自由设置每页获取的数量的，比如可以设置30或者更多，这样就快了。
“滚动条下拉，会不断触发JS，会不断发出请求”，这种方式是一次只能获取1条数据的。

追问

如果能够捕捉get方法发现的请求的网址，就可以很容易获取数据，它的数据格式是json格式，在python里转换一下就可以下载，很方便，很可惜没有发现能捕捉每条get方法发出的请求。

Answer 2

python + selenium 可以抓取到动态页面数据

追问

python + selenium 可以抓取到动态页面数据，这个怎么自动获取get方法发出的请求地址，在firefox里能看js发出get方法和请求地址，在python+selenium里怎么获取js发出的请求地址

追答

搜索 python + selenium 相关信息

追问

这个回答等于没讲，我要是找到了，还提问吗，朋友

追答

有心学，这个信息足够了，不想自己动手动脑就算给你代码你也运行不起来。