Question

如何用python抓取这个网页的内容？

http://ipub.exuezhe.com/qkpaper.html?id=680541
在这个网页中，将
标题 作者 作者介绍 原发信息 内容提要 关键词 标题注释 期刊名称 复印期号
这几栏的内容，填充在excel相应区域里

Answer 1

Python实现常规的静态网页抓取时，往往是用urllib2来获取整个HTML页面，然后从HTML文件中逐字查找对应的关键字。如下所示：
复制代码代码如下:

import urllib2
url="网址"
up=urllib2.urlopen(url)#打开目标页面，存入变量up
cont=up.read()#从up中读入该HTML文件
key1='<a href="http'#设置关键字1
key2="target"#设置关键字2
pa=cont.find(key1)#找出关键字1的位置
pt=cont.find(key2,pa)#找出关键字2的位置(从字1后面开始查找)
urlx=cont[pa:pt]#得到关键字1与关键字2之间的内容(即想要的数据)
print urlx

Answer 2

如果包含动态内容可以考虑使用Selenium浏览器自动化测试框架，当然找人有偿服务也可以