Question

如何用python爬取网站数据

Answer 1

用python爬取网站数据方法步骤如下：

1.首先要明确想要爬取的目标。对于网页源信息的爬取首先要获取url,然后定位的目标内容。

2.先使用基础for循环生成的url信息。

3.然后需要模拟浏览器的请求(使用request.get(url)),获取目标网页的源代码信息(req.text)。

4.目标信息就在源代码中,为了简单的获取目标信息需要用Beautifulsoup库对源代码进行解析，因为是html信息，采用html.parser的方式进行解析。

5.随后要在源网页中进一步定位目标信息在网页源代码中的位置：在网页中F12键，查看元素信息，使用左上角的按钮进一步查看目标信息位置。

6.使用beautifululsoup进一步定位源代码信息。

7.最后使用循环取出单个元素信息。首先分析单个信息的位置：它在ul列表下，使用循环取出然后定位单个元素中信息的位置，并取出信息。

8.最终就得到目标信息列表了。