Question

用小爬虫只能抓取网站首页是什么原因

我用小爬虫网站地图生成器生成这个网站（www.mtylwj.com）的地图，但是生成的xml地图只有首页

Answer 1

小爬虫只能抓取网站首页原因及解决方法：
1、刚刚做好的网站

对于新新的网站，首页刚刚被收录，这时候网站的权重是极低的。就不要期望这么快收录内页了，这样的情况，是很正常的，一般最少过了一个月之后，其他的内页才会放出来。
制定一个详细的优化方案，定时更新，切记使用一些不正常的手法。

2、robots.txt文件、服务器限制

这是很多新手容易犯的错误，对robots.txt文件不是很了解，但是不设置又觉得自己降低了档次，所以就错误的填写，导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。

解决策略：检查robots.txt文件和服务器是否有限制，自己看不懂可以找别人帮你。

3、网站的自身布局

网站布局是不是混乱，导航布局是不是混乱，导航不清楚，主页有没有足够的链接指向内页。

处理策略：收拾网站导航，理顺布局，让网站导航更清晰明了，调用内页关键词到主页，增多一种“最新作品”、“作品引荐”等版块，添加内页入口。

4、网站内容质量和更新频率
定期更新网站内容，吸引蜘蛛。