请问爬虫时遇到网页的Request URL是404要如何解决? 100

刚刚开始学习python爬虫,要爬的网页是用js写的,想读取json文件的信息,一直获取不了。显示如下:<html><head><title>404NotFound</t... 刚刚开始学习python爬虫,要爬的网页是用js写的,想读取json文件的信息,一直获取不了。显示如下:

<html>
<head><title>404 Not Found</title></head>
<body bgcolor="white">
<center><h1>404 Not Found</h1></center>
<hr><center>360wzws</center>
</body>
</html>

后来直接用开发者工具查看Request URL,粘到用浏览器直接打开也是404,请问会是什么原因,具体要怎么解决?
展开
 我来答
嘎嘎版额
2018-01-23 · TA获得超过308个赞
知道小有建树答主
回答量:318
采纳率:80%
帮助的人:91.1万
展开全部
404:文件资源找不到,可能是他的服务器上没有这个网页(可能之前有后来某种原因被删除了),可能你爬虫抓取链接(URL)的时候没抓对
怎么办???:直接跳过去就行了,人家不让你抓或者都没有这个资源,你再怎么爬取都没意思
追问
不是抓的不对,直接在浏览器打开都是404。会是他们网站的反爬虫策略吗?
追答
呃呃,浏览器直接打开都出现404了,那肯定是找不到这个资源了,或者不想让别人访问这个资源
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式