Question

python爬虫怎么获取到的网站的所有url

Answer 1

首先我们可以先获取要下载图片的整个页面信息。
getjpg.py
#coding=utf-8
import urllib

def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html

print html
　　Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数:
　　urllib.urlopen()方法用于打开一个URL地址。
　　read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下载下来。执行程序就会把整个网页打印输出。