Question

python 根据规律生成url列表然后在下载 做一个爬虫

import urllib
import requests
import os
url = 'http://188.161.79.8/qiongzhong/document/downloadFile.jsp?FILENAME=docAttach00290138802.doc'#我想把docAttach00290138802.doc里面的数字替换掉，从000000000000开始，一直循环下去，能下载的就下载，不能下载的就跳过。
r = requests.get(url)
b='333'
with open(b,"wb") as code:
code.write(r.content)

我就只能写到这里，哪位大神帮帮忙。。。

Answer 1

用爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求；
参考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。

Answer 2

import requests

for index in range(000000000000, 999999999999):
    try:
        filename = "%s.doc" % index
        url = 'http://188.161.79.8/qiongzhong/document/downloadFile.jsp?FILENAME=' + filename
        r = requests.get(url)
        with open(filename, "wb") as code:
            code.write(r.content)
    except Exception, e:
        print(str(e))
        continue  # 出现异常忽略