Question

python爬虫需要什么基础

Answer 1

1. 学习Python基础知识并实现基本的爬虫过程

一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。

Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，我们可以按照requests
负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

2.了解非结构化数据的存储

爬虫抓取的数据结构复杂 传统的结构化数据库可能并不是特别适合我们使用。我们前期推荐使用MongoDB 就可以。

3. 掌握一些常用的反爬虫技巧

使用代理IP池、抓包、验证码的OCR处理等处理方式即可以解决大部分网站的反爬虫策略。

4.了解分布式存储

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis
这三种工具就可以了。

Answer 2

Python基础知识、web前端基础知识 首先你需要掌握的就是Python的基础知识,包括Python语法、编程结构等等,这些是你后续开发Pyth...

Python爬虫扩展框架的学习 Python爬虫的相关框架有很多,Requests、aiohttp、vibora、asks等等,这个同学们可以根据...

数据处理框架 我们在获取到网页数据之后下一步就是要进行数据的整理,因为你通过工具获取到的数据并不仅仅是你需要的数据,里面会杂糅所有的数据,需要通过...

反爬措施 后就是一定的反爬措施也是同学们需要掌握的,大多数网站都会通过一定的技术来反爬虫,例如验证码,动态数据等等,

Answer 3

python面向对象的基础！