Question

百度等蜘蛛爬虫是如何发现而且抓取网站目录等文件？

首先比如说，我有一个目录a，a目录下面有一个文件index.html文件。问题来，百度是怎么发现我的网站会有一个目录a？而且还有一个index.html文件?

Answer 1

爬虫是跟着链接抓取的 所以网站内部结构桥念颂陵要合理精剪 减少爬虫抓取的路径
可以把a目敏樱困录去掉 有利于爬虫抓取
最重要的是网站内容要好 权重高 质量好 爬虫自然来的频率也高 那收录也会好