Question

scrapy爬虫，不到一个小时就假死了怎么回事

Answer 1

你可以根据日志查一下，看看程序再抓哪些页面的时候死了，再分析一下为什么死。有些网站为了防止爬虫会采取一些措施，比如给你设计一个链接，你打开这个链接后跳到另一个页面，这个页面上还有一个链接，又链接到原来的页面，如果处理不好爬虫就在这死了。还有就是有些跳转会对爬虫有些干扰。其他的话有可能有些网站为了防止爬虫，直接返回403也有可能。
具体原因不清楚，但是你可以采取一些措施来避免。
比如你可以设计一个像硬件看门狗电路一样的程序，正常情况下，每隔一段时间就“喂狗”，当程序假死后，狗饿了，就会回来“咬你一口”，其实就是让程序复位啦。