Question

python爬虫返回错误

为什么会爬取失败呢？

Answer 1

你的脚本里写的有点问题，正常情况下不应该直接使用except来捕获所有错误，因为这样你根本看不到错误的原因，根据你图片里那爬取异常四个字，谁知道错误原因呢？正常的代码应该是这样写：
except Exception as e:
print("错误原因是：", e)
这样才能把系统给发送的异常信息显示出来，根据异常信息才能判断是哪一步执行出错了。
根据你图片中的代码信息，很有可能是你在链接中给出的参数出错了，就是那个keyword值。你可以把异常结果发出来就能看的比较明显了。
不知道我讲清楚了没有，希望可以帮助到你。

追问

感觉不对呀 那个keyword在这段代码里，其实就是百度搜索的关键词。我后面又写了一段关于360搜索的，然后也是这样的结构，是正确的。但是不知道为什么百度的就是显示错误

Answer 2

import requests
from bs4 import BeautifulSoup
heads = {
'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
wd = 'python'
url= 'http://www.baidu.com/s?w='+wd
r = requests.get(url,heads)
html = BeautifulSoup(r.content,'lxml',from_encoding='utf8')
print(html)
我还是习惯这样写