Question

python 程序假死的问题

不知道为什么（也许是网络原因），有时候用python写的网络爬虫程序会经常不稳定。比如我写的几个爬虫，每天定时从网站上爬一些数据，有时候爬的好好的，有时爬了一半就卡在那里，动都不动（尤其是爬一些数据比较大的网站）。搞的我都烦死了，要经常去看它。不知道tim老师有没有遇到过。要怎么处理啊，或者说如果超过一定时间没有获取到数据，就自动结束然后再次打开，从上次结束的位置开始重新获取数据。

Answer 1

我遇到的这种现象常见在引用占用了大量的系统内存,
后来我将直接读入大量数据到内存的过程改为用iter读取, 现象没再出现.

你的方案"超过一定时间...", 可以视为"守护进程",
如果这个进程是你的应用内的某个线程, 恐怕它会一同"睡"去 :(

.. 还是先确认一下是否是内存占用的原因吧, 如果是通过节省内存的方式可以克服的.