
python中运行报错AttributeError: 'NoneType' object has no attribute 'group'
在网上搜的一个用python来爬取网页图片的代码,但是可能是版本的缘故,好多地方都不太对,自己改掉一些错误之后还剩下下图这个错误,实在不知道该从何下手,加了好几个QQ群都...
在网上搜的一个用python来爬取网页图片的代码,但是可能是版本的缘故,好多地方都不太对,自己改掉一些错误之后还剩下下图这个错误,实在不知道该从何下手,加了好几个QQ群都是想我推广腾讯课堂的,问个问题没有一个人理我,贴吧发帖也没得到什么好的回复,希望您能直接把改好的代码告诉我。这是完整的源码htt--p://pan.--baidu.--com/s/1pKOt2Ld
展开
1个回答
展开全部
# coding=utf-8
import re
import sys
import time
import requests
from lxml import etree
import importlib
importlib.reload(sys)
#定义一个爬虫
class spider(object):
def __init__(self):
print('开始爬取内容。。。')
#getsource用来获取网页源代码
def getsource(self,url):
html = requests.get(url)
return html.text
#changepage用来生产不同页数的链接
def changepage(self,url,total_page):
if re.search('index_(\d+)',url,re.S):
now_page = int(re.search('index_(\d+)',url,re.S).group(1)) #可修改
else:
now_page = 0
page_group = []
for i in range(now_page,total_page+1):
link = re.sub('index_\d+','index_%s'%i,url,re.S) #可修改
page_group.append(link)
return page_group
#getpic用来爬取一个网页图片
def getpic(self,source):
selector = etree.HTML(source)
pic_url = selector.xpath('//ul[@class="ali"]/li/div/a/img/@src') #可修改
return pic_url
#savepic用来保存结果到pic文件夹中
def savepic(self,pic_url):
picname=re.findall('(\d+)',link,re.S) #可修改
picnamestr = ''.join(picname)
i=0
for each in pic_url:
print('now downloading:{}'.format(each))
pic = requests.get(each)
fp = open('pic\\'+picnamestr +'-'+str(i)+ '.jpg', 'wb')
fp.write(pic.content)
fp.close()
i += 1
#ppic集合类的方法
def ppic(self, link):
print('正在处理页面:{}'.format(link))
html = picspider.getsource(link)
pic_url = picspider.getpic(html)
picspider.savepic(pic_url)
if __name__ == '__main__':
start = time.time()
url = 'http://www.baidu.com/' #可修改
picspider = spider()
all_links = picspider.changepage(url,3) #可修改
for link in all_links:
picspider.ppic(link)
end = time.time()
print('耗时:{}'.format(start-end))
代码质量很一般,都懒得细看了,直接给你加了个if判断。
建议看看嵩天教授的爬虫课,那个水平高一点。
追问
真的有用了,谢谢你,我会去看看你说的那个教授的课程,但是还想问一下:这个图片都保存在哪里啊?/尴尬
代码是有用了,但是不知道文件保存在何处😂
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询