Question

Python爬虫学习去哪好

Answer 1

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。
　　但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。
　　零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。
　　用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：
　　网络爬虫基础知识:
　　爬虫的定义
　　爬虫的作用
　　Http协议
　　基本抓包工具(Fiddler)使用
　　Python模块实现爬虫：
　　urllib3、requests、lxml、bs4 模块大体作用讲解
　　使用requests模块 get 方式获取静态页面数据
　　使用requests模块 post 方式获取静态页面数据
　　使用requests模块获取 ajax 动态页面数据
　　使用requests模块模拟登录网站
　　使用Tesseract进行验证码识别
　　Scrapy框架与Scrapy-Redis：
　　Scrapy 爬虫框架大体说明
　　Scrapy spider 类
　　Scrapy item 及 pipeline
　　Scrapy CrawlSpider 类
　　通过Scrapy-Redis 实现分布式爬虫
　　借助自动化测试工具和浏览器爬取数据：
　　Selenium + PhantomJS 说明及简单实例
　　Selenium + PhantomJS 实现网站登录
　　Selenium + PhantomJS 实现动态页面数据爬取
　　爬虫项目实战：
　　分布式爬虫+ Elasticsearch 打造搜索引擎

Answer 2

Python入门比较简单，零基础也能入门的。自学python无人专业老师引导，遇到问题无法及时沟通解决，接收的信息较为零散，容易找错学习方向，导致学习效率低。建议零基础的你选择一家靠谱的学校，先打好基础，系统的学习，因为只有选择正确的学习方式方法才能到达预期目标。多多对比吧，看看学的内容、项目、就业、环境之类的，有试听的话先去试听下，这样也能避免掉坑。

Answer 3

学习Python爬虫，可以从以下内容着手学习：
1.Request模块、BeautifulSoup
2. PhantomJS模块学习
3. Selenium模块
4. 基于requests实现登录：抽屉
5. GitHub、知乎、博客园
6. 爬取拉钩职位信息
7. 开发Web版微信
8. 高性能IO性能相关模块
9. 自定义开发一个异步非阻塞模块
10. asyncio、aiohttp、grequests
11. Twisted、验证码图像识别
12. Scrqpy框架以及源码刨析
13. 框架组件介绍(engine、spider、downloader、scheduler、pipeline)分布式爬虫实战

Answer 4

随着人工智能时代呼声渐起，Python凭借其入门简单、应用广泛的优势成为很多想要入行互联网行业的人们的首选编程语言。如果你想学一门语言，可以从语言的适用性、学习的难易程度、企业主的要求几个方面考虑。从这几个角度看，学习Python都没有什么可挑剔的。如果你想要专业的学习Python开发，更多需要的是付出时间和精力，一般在2w左右。应该根据自己的实际需求去实地看一下，先好好试听之后，再选择适合自己的。只要努力学到真东西，前途自然不会差。

Answer 5

要学会使用Python爬取网页信息以下几点内容：1、要会Python2、知道网页信息如何呈现3、了解网页信息如何产生4、学会如何提取网页信息爬虫无非分为这几块：分析目标、下载页面、解析页面、存储内容，其中下载页面不提。1. 分析目标所谓分析就是首先你要知道你需要抓取的数据来自哪里？怎么来？普通的网站一个简单的POST或者GET请求，不加密不反爬，几行代码就能模拟出来，这是最基本的，进阶就是学会分析一些复杂的目标，比如说：淘宝、新浪微博登陆以及网易云的评论信息等等。2. 解析页面解析页面主要是选择什么库或者那些库结合能使解析速度更快，可能你一开始你通过种种地方了解到了bs库，于是你对这个库很痴迷，以后只要写爬虫，总是先写上：import requestsfrom bs4 import BeautifulSoup当然bs已经很优秀了，但是并不代表可以用正则表达式解析的页面还需要使用bs，也不代表使用lxml能解决的还要动用bs，所以这些解析库的速度是你在进阶时要考虑的问题。3. 存储内容刚开始学爬虫，一般爬取的结果只是打印出来，最后把在终端输出的结果复制粘贴保存就好了；后来发现麻烦会用上xlwt/openpyxl/csv的把存储内容写入表格，再后来使用数据库sqlite/mysql/neo4j只要调用了库都很简单，当然这是入门。进阶要开始学习如何选择合适的数据库，或者存储方式。当爬取的内容过千万的时候，如何设计使存储速度更快，比如说当既有人物关系又有人物关系的时候，一定会用neo4j来存储关系，myslq用来存储用户信息，这样分开是因为如果信息全部存入neo4j，后期的存储速度经十分的慢。当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说Scrapy。除了爬取策略以外，还有几点也是必备的：1. 代理策略以及多用户策略代理是爬虫进阶阶段必备的技能，与入门阶段直接套用代理不同，在进阶阶段你需要考虑如何设计使用代理策略，什么时候换代理，代理的作用范围等等，多用户的抓取策略考虑的问题基本上与代理策略相同。2. 增量式抓取以及数据刷新比如说你抓取的是一个酒店网站关于酒店价格数据信息的，那么会有这些问题：酒店的房型的价格是每天变动的，酒店网站每天会新增一批酒店，那么如何进行存储、如何进行数据刷新都是应该考虑的问题。3.验证码相关的一些问题有很多人提到验证码，我个人认为验证码不是爬虫主要去解决的问题，验证码不多的情况考虑下载到本地自己输入验证码，在多的情况下考虑接入打码平台。