python怎样爬取网站目录结构
展开全部
抓取每一页的所有a标签，采集所有href属性，分离域名，把此网站域名下的地址标记为采集入库条件，然后计算第一次采集到的地址的hash，如果hash重复，则不入库，否则入库再迭代二次采集，直到所有href的hash都复为结束条件，程序则认为数据库中已采集到此域下的所有地址，即可以开始抓站
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
