Question

如何写爬虫程序爬取豆瓣网或者新浪微博里的内容

Answer 1

用前嗅的ForeSpider数据采集软件可以采集，我之前采过豆瓣的影评，可以设置各种过滤规律，比如我只要豆瓣评分6.0以上的电影，就可以精确的过滤。
可以下载一个免费版的试试，没有功能和使用时长限制。
软件内部集成了数据挖掘功能，可以通过一个采集模板，精准挖掘全网的内容。在数据采集入库的同时，可以完成分类、统计、自然语言处理等诸多功能。
软件与ForeAna数据分析系统对接，可以实现强大的数据分析功能，对数据进行深度的大数据分析。
ForeSpider除了强大的可视化采集之外，还自带一套爬虫脚本语言，可以采集任何公开的数据。