Question

为什么python适合写爬虫

Answer 1

Python是一种计算机程序设计语言，是一种动态的、面向对象的脚本语言。Python最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。
　　爬虫一般是指网络资源的抓取，因为Python的脚本特性，Python易于配置，对字符的处理也非常灵活，加上Python有丰富的网络抓取模块，所以两者经常联系在一起。 接下来，为大家详细作答Python与爬虫工作之间的关系。
　　Python在写爬虫方面有什么优势?
　　1)抓取网页本身的接口
　　相比与其他静态编程语言，如Java、C#、C++，Python抓取网页文档的接口更简洁;相比其他动态脚本语言，如Perl、shell，Python的urllib2包提供了较为完整的访问网页文档的API。另外，抓取网页有时候需要模拟浏览器的行为，在Python里都有非常优秀的第三方包如Requests、mechanize，可以轻松帮你搞定。
　　2)网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤HTML标签，提取文本等。Python的Beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　即将到来的2020年是全面建成小康社会和“十三五”规划收官之年。船到中流浪更急、人到半山路更陡，不进则退、非进不可，希望大家能够把握机会，掌握Python技能，在未来职场大展拳脚。

Answer 2

有专门的框架 scrapy 可以看看