Question

搜索引擎蜘蛛抓取不到网页内容是怎么回事？

搜索引擎蜘蛛抓取不到网页内容是怎么回事？（注意 是抓取不到网页内容，不是不抓取网页）

Answer 1

你好，楼主：
蜘蛛可以抓取到网站页面，但是无法抓取到内容，有一下几点原因：
1、网站内容基本都是图片，或者是文字内容在图片里
2、网站使用了frame和iframe框架结构，通过iframe显示的内容可能会被百度丢弃
3、Flash、图片、Javascript，这些都是蜘蛛无法识别的，如果文字内容在里面的话
也是一样无法识别抓取。
因为你的问题是可以抓取到网页，所以这里排除掉，robots和服务器方面的对蜘蛛ip屏蔽的情况

建议你多到SEO十万个为什么里面多去了解下这方面的专业知识。
望采纳，谢谢！！！

追问

这些都检查过，其实我告诉你吧，还有一种情况就是技术在数据库限制了蜘蛛抓取

Answer 2

1. 首先检查你的robots文件是否允许蜘蛛抓取

2. 检查网站内容中是否都是FLASH或者java

3. 检查一个页面使用太多的链接

   
   

Answer 3

是不是页面做成了图片、FLASH形式，百度蜘蛛不会抓取图片上的内容的，既然网页可以抓取收录，robots应该是没问题的

Answer 4

网页是否采用js输出，目前百度蜘蛛是不支持js输出的内容的
还有display设置为none，flash等等原因都会导致百度蜘蛛抓取不到内容

Answer 5

网站robots.txt文件书写是否正确
网页内容要有文字，不能用图片来表达意思
网页是否采用js输出，目前百度蜘蛛是不支持js输出的内容的
还有display设置为none，flash等等原因都会导致百度蜘蛛抓取不到内容