Question

怎么用python爬取相关数据

Answer 1

以下代码运行通过：

import requests
from bs4 import BeautifulSoup
import os


headers = {
    'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) "
                  "Chrome/22.0.1207.1 Safari/537.1"}
## 浏览器请求头（大部分网站没有这个请求头会报错）
all_url = 'http://www.mzitu.com/all'
start_html = requests.get(all_url, headers=headers)
## 使用 requests 中的 get 方法来获取 all_url 的内容 headers 为请求头
print(start_html.text)
## 打印 start_html
## concent 是二进制的数据，下载图片、视频、音频、等多媒体内容时使用 concent
## 打印网页内容时使用 text

运行效果：