Question

用SitemapX制作网站地图抓取内页数很少

首先说明一下我的网站是ASP HTML的静态网页 当前页面有970个用SitemapX软件总是抓取才249个 带www会更少 可别抓取别的网站会很多产品数量都一样这是什么原因？
今天刚添加的页面1个都吧能抓取？是怎么回事？求高手解答！

Answer 1

90后吧，语言很有特色，基本没看明白什么问题。

追问

是我说的不够详细
用别的网站地图制作软件SiteMapBuilder 和 老虎 能抓取1300多个页面
使用这个SitemapX软件来抓取页面时候才200多个
有谁知道这是什么原因呢？

追答

你好。
你的网站有多少个真实的页面？存不存在url重复问题？
真实页面数量不是用sitemapbuilder或老虎抓取的数量，而是真实的页面数量。
没有用过sitemapx，只说两点：
1、如果sitemapx抓取的页面少于真实页面数，而其他工具抓取的页面等于真实页面数，说明sitemapx不太好用，你可以考虑使用其他工具。
2、如果sitemapx抓取的页面等于真实页面数，说明sitemapx比较好用，他能够自动判断一些冗余页面。
你提到的，有带www和不带www的页面，个人认为你需要处理一下，或者让所有的页面都带有www，或者都不带www，因为搜索引擎在抓取页面的时候，会自己判断是否带www的为独立站点，可能会认为你的网站存在页面重复的问题，对优化不好。
一句话，尽量满足搜索引擎，尽量减少搜索引擎的工作量。