Python requests爬取今日头条，为什么获取不了网页内容
headers={'user-agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeG...
headers = {
'user - agent': 'Mozilla / 5.0(Windows NT 10.0; WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 53.0.2785.104Safari / 537.36Core / 1.53.4882.400QQBrowser / 9.7.13059.400'
}
response = requests.get('http://toutiao.com/group/6552087122092753412', headers = headers)
print(response.text)
-------------------------------------------------------------------------
得到的结果：
---------------------------------------------------------------------------
E:\Python_Pro\Spider\venv\Scripts\python.exe E:/Python_Pro/toutiao/jiepai.py
<html><head></head><body></body></html>
进程已结束,退出代码0
-----------------------------------------------------------------
求大神解答，是因为这个网页有反爬虫机制吗？我需要怎么破解。。萌新求大神指导 展开
'user - agent': 'Mozilla / 5.0(Windows NT 10.0; WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 53.0.2785.104Safari / 537.36Core / 1.53.4882.400QQBrowser / 9.7.13059.400'
}
response = requests.get('http://toutiao.com/group/6552087122092753412', headers = headers)
print(response.text)
-------------------------------------------------------------------------
得到的结果：
---------------------------------------------------------------------------
E:\Python_Pro\Spider\venv\Scripts\python.exe E:/Python_Pro/toutiao/jiepai.py
<html><head></head><body></body></html>
进程已结束,退出代码0
-----------------------------------------------------------------
求大神解答，是因为这个网页有反爬虫机制吗？我需要怎么破解。。萌新求大神指导 展开
2个回答
展开全部
感觉并没有什么反爬吧，照着你的写明明可以获取图片呀
也不大可能是requests的版本问题吧，我2.12.4都可以额~
追问
额。这就奇怪了？我这print（response.text）,显示不了网页源代码，只能显示
<html><head></head><body></body></html>，导致后面要爬取图片直接报错。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
这个是网页的反爬虫机制决定的，在requests请求的时候加入headers参数就可以了
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
