php怎么设置爬虫爬过的网页不再爬,原理是怎么样?

 我来答
qi_ling2005
2013-07-09 · TA获得超过500个赞
知道小有建树答主
回答量:468
采纳率:0%
帮助的人:275万
展开全部
爬过的网页网址放在一个数组或者list表或者其它地方,然后爬的时候去判断是否已存在,存在就不要去爬
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
郈山白
2011-05-19 · TA获得超过302个赞
知道小有建树答主
回答量:637
采纳率:0%
帮助的人:0
展开全部
百度爬取了,念袜只是还对你的网站有考核,没有释放出来弊咐。过一段时间就好了,做好网站租高纯内容更新,外链的建设,优质的友情链接
追问
是我自己用PHP写的爬虫,不是百度的爬虫
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式