Question

如何处理百度抓取异常的页面？

我的站是wordpress建的，固定链接已经更改过，但是百度还是提示有四个抓取异常的页面，全部为域名/?p=数字的链接，打开均为404，请问应该如何处理？

Answer 1

百度抓取异常的页面的原因有：网页不存在、服务器无法正常提供信息，或是服务器无法回应，也就是常说的网站404页面。具体的解决方法是在网站中设置一个404页面。具体的步骤如下：

1.先下载或者根据网站制作一个404错误页面，优化404页面，添加一些导航菜单或者返回首页的超链接；

2.打开网站使用服务器的FTP，登陆网站的后台；

3.登陆FTP，打开网站的根目录htdocs；

4.把刚刚我们下载好的404模板，用鼠标拖进左下角的任务栏，单击鼠标右键传输到根目录。（这里说下，404模板名字一定是命名“404”，比如：404.html这个才是正确的，其他命名名字，系统会无法识别的）；

5.进入到网站主机的管理后台，输入个人的账号登陆，然后点击管理控制台；

6.进入到主机后台后，点击站点信息，打开基础环境设置，直接设置404页面。

7.进入404错误页面设置界面，点击“浏览”选中刚刚上传的404模板，点设置404错误页面就好了；

8.测试是否已经成功设置404，在浏览器中输入自己的域名，在域名后缀加斜杠随便打几个字母测试。比如：xxxx.com/dfddfdsd，如图；

Answer 2

要看具体的问题，再针对问题解决抓取异常的问题

网站抓取异常分析：

1. 域名到期（或者域名转出等出现暂时不能访问就会出现抓取异常）

2. 服务器不稳定

3. 网站程序有问题

4. robots.txt文件里设置了拒绝百度蜘蛛抓取的代码

5. 网站被挂马
   

解决方案：

1. 查询域名是否到期，到期了需续费恢复正常

2. 服务器不稳定 咨询供应商及其解决稳定问题并修复

3. 网站程序有问题找建站程序员检测问题并修复

4. robots.txt文件里拒绝百度蜘蛛抓取的代码删除掉并更新

5. 网站被挂马，要查询挂马文件在哪里并删除，恢复网站，更改登录名和密码，安全密保要从新设置，防止下次被挂马
   

Answer 3

它可以帮助你检查错误的链接，不仅仅是URL链接，还包行DNS解析失败、服务器链接、robots.txt 文件等问题，几乎所有网站都会出现抓取错误。 网 站站长工具将错误分为两类：网站错误(site errors)和链接地址错误(URL errors)。如果在一个网站上出现多个抓取错误，那么你的网站信任度会下降，甚至会影响到排名，当然这工具对于百度优化同样有效。那么应当如何解决 Google网站管理员工具的抓取错误呢。 通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。 一、HTTP的错误 当一个网站上的网页(例如，当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求，服务器返回HTTP状态码响应请求。 如果出现403状态，可以不用理睬，这表明是你的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件，可以参考Google HTTP状态码帮助页面。 二、Sitemap中的错误 Sitemap错误往往会造成404错误页面，或在当前地图返回一个404错误页面，如果出现404错误页面请检查Sitemap中所有的链接， Google会不断抓取你已经删除的Sitemap，这点很郁闷，但也有办法解决：确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取，确保旧Sitemap出现404或者重新定向到新的Sitemap。 来自Google员工Susan Moskwa解释道： 阻止Googlebot的爬行，最好的办法是使这些网址(例如旧的sitemaps)出现404，当我们看到一个URL多次出现404后，Googlebot会停止爬行。 三、重定向错误 有些错误是因为301从定向引起的，执行重定向后要注意什么： 1：确保他们返回到正确的HTTP状态码。 2：确保没有任何循环重定向。 3：确保重定向指向有效的网页，而不是404页，或其他错误页，如503(服务器错误)或403(禁止抓取) 4：确保重定向不是指向一个空页面。 四、404错误 404错误可能会出现在以下几个方面： 1：删除了网站上的网页; 2：改变了网页的名称; 4：链接到了一个不存在的页面; 5：其他网站链接到你网站上一个不存在的页面; 6：网站迁移到一个新的域名不完全匹配的网站。 五、受robots.txt限制 还有一个原因是robots.txt文件阻止了Googlebot的抓取，如果出现大量抓取错误，第一步应该检查robots.txt 六、软404错误 通 常情况下，当有人请求的页面不存在，服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码，服务器也将显示一个404页。 这可能是一个标准的“未找到文件”的消息，或旨在提供更多信息的用户，它可能是一个自定义页面。

Answer 4

可以选择修改；至于结构调整方案，等你改完了再说吧，一步一步来。

追问

现在那些链接打开都是404，我并不知道他本来链接到什么地方，怎么办

Answer 5

百度抓取异常，是有4种不同的情况的，要看你是哪种情况啦