Question

[<twisted.python.failure.Failure <class 'OpenSSL.SSL.Error'>>]

scrapy 抓取https的url时报错了，求解答，详细点，本人菜鸟。

• 你的回答被采纳后将获得：
• 系统奖励15（财富值+成长值）+难题奖励30（财富值+成长值）

Answer 1

这个原因是因为请求网站的反爬机制，scrapy shell +url 默认的是scrapy的user_agent，所以网站会判定你为机器人，拒绝你访问，并踢翻了你的狗碗。。。。。
怎么解决呢？
1 在你的cmd窗口输入 scrapy shell -s USER_AGENT='Mozilla/5.0' （注意原原本本的copy）
2输入完那个 会返回一系列状态码，等待返回结束。
3然后输入 fetch('url') url是你的网址， 注意（）里面一定要加上英文半角引号哟~·~
如果解决了 请点个赞，祝大家爬虫有成~~~

Answer 2

如果是在Windows下，需要额外安装 pyOpenSSL 对应的版本。比如 pyOpenSSL-0.13.winxp32-py2.7.msi；如果它提示没有编译文件，可能还需要安装 mingwg。
如果是在Linux下，就很简单，直接 pip install scrapy 就可以了，它会自动安装好依赖包 twisted。windows下用同样这条命令就会出上面这种问题，所以要额外安装对应的软件。

Answer 3

应该把证书关闭就行了