Question

python3 用BeautifulSoup 爬取指定ul下的a标签

遇到一个问题，在用python爬取网站中a标签href的时候。用find_all会将整个网站中的a标签都取到，a标签没有唯一标识，但是他的ul有唯一的class，请问我要怎么取出ul中的a标签里的href？

Answer 1

用select('ul 的 css 路径').find_all(...)

css路径直接用浏览器开发视图，从ul复制就好，当然也可以把前面多余的部分删掉

Answer 2

这种明细就用select来的方便啊
soup.select('a ul.class')

Answer 3

# -*- coding:utf-8 -*-
#python 2.7
#XiaoDeng
#http://tieba.baidu.com/p/2460150866
#标签操作

from bs4 import BeautifulSoup
import urllib.request
import re

#如果是网址，可以用这个办法来读取网页
#html_doc = "http://tieba.baidu.com/p/2460150866"
#req = urllib.request.Request(html_doc)