Question

用Python写爬虫，用什么方式，框架比较好

Answer 1

如果需要爬取的内容不是很多，可以使用网络库urllib+requestsHTML解析库BeautifulSoup4配合编码分析库chardet完成爬取网站内容。如果需要爬取的内容比较多，但爬取内容是静态，可以使用Scrapy爬虫框架编写爬虫bot，Scrapy框架能够比上面方法更高效的并行爬取网站内容。如果爬取的内容是动态生成的，可以使用Scrapy框架搭配scrapy-splash中间件或是phamtomJS抓取内容。