python new_url = link['href'] 这句话是什么意思

#!/usr/bin/envpython2#-*-coding:UTF-8-*-importreimporturlparsefrombs4importBeautifulS... #!/usr/bin/env python2
# -*- coding: UTF-8 -*-
import re
import urlparse

from bs4 import BeautifulSoup

class HtmlParser(object):

def parse(self, page_url, html_cont):
if page_url is None or html_cont is None:
return

soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
new_urls = self._get_new_urls(page_url, soup)
new_data = self._get_new_data(page_url, soup)
return new_urls, new_data

def _get_new_urls(self, page_url, soup):
new_urls = set()
links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm"))
for link in links:
new_url = link['href']
new_full_url = urlparse.urljoin(page_url, new_url)
new_urls.add(new_full_url)
return new_urls

def _get_new_data(self, page_url, soup):
res_data = {}

# url

res_data['url'] = page_url
# <dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>
title_node = soup.find('dd', class_= "lemmaWgt-lemmaTitle-title").find("h1")
res_data['title'] = title_node.get_text()

summary_node = soup.find('div', class_="lemma-summary")
res_data['summary'] = summary_node.get_text()
return res_data
展开
 我来答
熊公八公
2016-08-05 · TA获得超过233个赞
知道小有建树答主
回答量:229
采纳率:0%
帮助的人:182万
展开全部
不知道你这是什么版本的python,或者说用了些我完全不了解的库。<br>
就那一段来说,links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm")):<br>
应当是在soup里检索所有符合 re.compile(r"/view/\d+\.htm") 的结果,存放在结构 links 里。<br>
for link in links: # 循环 links 结构; link 好像是个字典<br>
new_url = link['href'] # new_url 应该是符合re.compile(r"/view/\d+\.htm") 的其中一个结果
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式