Question

python下 selenium与chrome结合进行网页爬取，怎么设置代理IP

Answer 1

网上抓取和解析html的框架一抓一大把，各种工具直接拿来用就行了，比较省心。
首先速度/效率很成问题，有一次下载电影海报的时候，由于是crontab定期执行，也没做优化，开的php进程太多，直接把内存撑爆了。然后语法方面也很拖沓，各种关键字 符号 太多，不够简洁，给人一种没有认真设计过的感觉，写起来很麻烦。