Question

python怎样爬取网站目录结构

Answer 1

抓取每一页的所有a标签，采集所有href属性，分离域名，把此网站域名下的地址标记为采集入库条件，然后计算第一次采集到的地址的hash，如果hash重复，则不入库，否则入库再迭代二次采集，直到所有href的hash都复为结束条件，程序则认为数据库中已采集到此域下的所有地址，即可以开始抓站