Question

python下 selenium与chrome结合进行网页爬取，怎么设置代理IP

Answer 1

设置代理的话，可以使用这种方式，代码是我刚才测试过的，亲测可用from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://171.37.135.94:8123')
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/ip')
print(chrome.page_source)
chrome.quit()
不过话说回来，本来用selenium的话抓取速度就很慢了，加上代理的话（如果代理不稳定）可能还会慢出一大截。

Answer 2

网上抓取和解析html的框架一抓一大把，各种工具直接拿来用就行了，比较省心。 首先速度/效率很成问题，有一次下载电影海报的时候，由于是crontab定期执行，也没做优化，开的php进程太多，直接把内存撑爆了。